計算機視覺是人工智能重要的技術領域之一。每年，國內外都會舉辦眾多的計算機視覺學術或者行業(yè)大會，其中，計算機視覺與模式識別國際會議（IEEE CVPR）、國際計算機視覺大會（ICCV）以及歐洲計算機視覺國際會議（ECCV）是最為知名的三大頂會。
在全球專家學者交流研討的同時，這些頂會還會舉辦系列挑戰(zhàn)賽，全球眾多頂尖團隊積極報名參賽，在計算機視覺的各個細分領域同臺“論劍”，一爭高下。
6月下旬舉辦的CVPR大會也不例外。在本次大會組織的各項計算機視覺挑戰(zhàn)賽中，聯想研究院團隊共斬獲6項冠軍，包括：
- 第一人稱視角與外界視角融合的4D視覺挑戰(zhàn)賽（Ego4D and EgoExo4D Challenge）社交互動（Looking At Me）賽道冠軍；
- 第一人稱視角與外界視角融合的4D視覺挑戰(zhàn)賽（Ego4D and EgoExo4D Challenge）手部姿態(tài)估計（Hand Pose）賽道冠軍；
- 自動駕駛ARGOVERSE挑戰(zhàn)賽3D物體檢測（3D Object Detection Challenge）賽道冠軍；
- 自動駕駛ARGOVERSE挑戰(zhàn)賽3D多目標跟蹤（3D Multi-Object Tracking Challenge）賽道冠軍；
- 自主系統挑戰(zhàn)賽（Autonomous Grand Challenge, AGC）具身多模態(tài)三維視覺定位(Multi-View 3D Visual Grounding)賽道冠軍，并拿下最具創(chuàng)新獎；
- 人工智能城市挑戰(zhàn)賽（AI City Challenge）多相機多行人跟蹤（Multi-Camera Multi-People Tracking）賽道冠軍。
其中，研究院PC創(chuàng)新與生態(tài)系統實驗室團隊收獲前四項冠軍，而人工智能實驗室和清華大學、以及與上海交通大學的兩個聯合團隊分別拿下自主系統挑戰(zhàn)賽具身多模態(tài)三維視覺定位冠軍和最具創(chuàng)新獎，以及AI CITY挑戰(zhàn)賽多相機多行人跟蹤賽道冠軍。
第一人稱視角與外界視角融合的4D視覺挑戰(zhàn)賽（Ego4D and EgoExo4D Challenge）
Ego4D數據集是一個大規(guī)模的以自我為中心的視頻數據集和基準套件。它提供3670小時的日常生活活動視頻，涵蓋數百種場景(家庭，戶外，工作場所，休閑等)，由來自全球74個地點和9個不同國家的931名獨特的相機佩戴者（camera wearer）拍攝。
Ego-Exo4D數據集則是一個多樣化的、大規(guī)模的多模式多視角視頻數據集和基準套件。Ego-Exo4D同時捕捉以自我為中心和以外部為中心的，大眾熟悉的人類活動視頻（例如，體育、音樂、舞蹈、自行車修理等）。
基于這兩個數據集，CVPR2024提出了一系列新的基準挑戰(zhàn)，這些挑戰(zhàn)圍繞著理解第一人稱視覺體驗展開。聯想研究院PC創(chuàng)新與生態(tài)系統實驗室團隊收獲了其中的社交互動（Looking At Me）賽道和手部姿態(tài)估計（Hand Pose）賽道兩項冠軍。
社交互動（Looking At Me）挑戰(zhàn)
在社交互動（Looking At Me）賽道，團隊以80.91 mAP（mean Average Precision，平均精度均值）的成績獲得了挑戰(zhàn)賽第一名。
社交互動是人類行為理解的關鍵。通過獲取以自我為中心的視頻數據,我們可以獲得一種獨特的視角,捕捉到每個參與者的言語交流和非語言線索。這種技術為研究社交互動提供了寶貴的信息源,有助于深入理解人類的社交行為。未來，這種技術有望推動虛擬助理和社交機器人的發(fā)展,使其能夠更好地融入人類的社交環(huán)境，提供更智能、更貼心的交互體驗。通過分析社交互動的細微信號，我們可以培養(yǎng)出更富同理心和社交智慧的人工智能系統，使其能夠更自然地與人類進行溝通互動。
比如該技術可以用來檢測家庭成員情緒狀態(tài)，并為其提供建議或播放音樂等緩解情緒，具備情境理解與響應能力。再比如，當檢測到廚房的煙霧報警器響起時，它不僅能即時通知家庭成員，還能自動聯系緊急服務，并指導家中的兒童安全撤離。
在該挑戰(zhàn)中，參與者獲得了一段視頻，其中包含了已被定位和識別的社交伙伴的人臉，并對每個可見的人臉進行分類，判斷它們是否都在看向相機佩戴者。由于場景中人與攝像機之間的距離，以及人體的運動，導致了人臉圖像的模糊，使得這項任務具有很高的挑戰(zhàn)性。
面對這項挑戰(zhàn)，團隊提出了由一個InterVL圖像編碼器和Bi-LSTM網絡組成的InternLSTM解決方案。InternVL負責提取空間特征，Bi-LSTM提取時間特征。為了解決任務的復雜性，我們引入了平滑濾波器，以消除輸出的噪聲或尖峰。
