理工科 STEM 技能，是解決真實(shí)世界中諸多問題的基礎(chǔ)。譬如，探索蛋白質(zhì)結(jié)構(gòu)、證明數(shù)學(xué)定理、發(fā)現(xiàn)新藥物等。（編者注：STEM，即科學(xué)、技術(shù)、工程和數(shù)學(xué)四門學(xué)科英文首字母的縮寫。）

而對于人工智能領(lǐng)域來說，理解視覺-文本的多模態(tài)信息，則是掌握 STEM 技能的關(guān)鍵。

可是，現(xiàn)有的數(shù)據(jù)集主要集中在檢驗(yàn)?zāi)Ｐ徒鉀Q專家級別難題的能力上，難以反映模型在基礎(chǔ)知識方面的掌握情況。并且，其往往只考慮文本信息而忽略視覺信息，又或者只關(guān)注 STEM 中某單一學(xué)科的能力。

另外，由于缺少細(xì)粒度的信息，該領(lǐng)域的科學(xué)家也無法更好地分析與改進(jìn)神經(jīng)網(wǎng)絡(luò)模型存在的薄弱之處。

所以，模型在這種情況下生成的內(nèi)容，既無法讓人充分信任，又不能幫助指導(dǎo)未來模型開發(fā)的方向。

更重要的是，由于缺乏和人類表現(xiàn)相關(guān)的數(shù)據(jù)，因此科學(xué)家也不可能獲取到更具實(shí)際意義的模型表現(xiàn)參考，嚴(yán)重阻礙了人工智能的健康發(fā)展。

為了攻克上述局限性，近期，來自北京大學(xué)和美國圣路易斯華盛頓大學(xué)的研究團(tuán)隊(duì)，不僅成功完成了首個多模態(tài) STEM 數(shù)據(jù)集的構(gòu)建，還在此基礎(chǔ)上實(shí)現(xiàn)對大語言模型與多模態(tài)基礎(chǔ)模型的評測。

結(jié)果發(fā)現(xiàn)，即使是目前最先進(jìn)的人工智能模型，其 STEM 基礎(chǔ)水平也存在較大的提升空間，尚不具備解決更有難度的現(xiàn)實(shí)問題的能力。也就是說，與人類智能相比，目前人工智能的水平還有一定差距。

圖丨綜合評測效果（來源：ICLR 2024）

近日，相關(guān)論文以《測量神經(jīng)網(wǎng)絡(luò)模型的視覺-語言理工科技能》（Measuring Vision-Language STEM Skills of Neural Models）為題收錄于 2024 國際表征學(xué)習(xí)大會（ICLR 2024，International Conference on Learning Representations 2024）上[1]。

據(jù)悉，該會議將于今年 5 月 7 日至 5 月 11 日在奧地利的首都維也納召開。

STEM 數(shù)據(jù)集相關(guān)資源如下。

評測鏈接：
https://huggingface.co/spaces/stemdataset/stem-leaderboard

數(shù)據(jù)集頁面：
https://huggingface.co/datasets/stemdataset/STEM

代碼 GitHub：
https://github.com/stemdataset/STEM

北京大學(xué)博士研究生沈劍豪和袁野是共同第一作者，圣路易斯華盛頓大學(xué)王晨光助理教授和北京大學(xué)張銘教授擔(dān)任共同通訊作者。王晨光助理教授博士畢業(yè)于北京大學(xué)，導(dǎo)師是張銘教授。

圖丨相關(guān)論文（來源：ICLR 2024）

 

搭建 STEM 數(shù)據(jù)集，全方位評測神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)理工科能力

據(jù)王晨光介紹，課題組在確定研究目標(biāo)和題目之后，便開始著手收集數(shù)據(jù)。

一向擅長于算法研究的團(tuán)隊(duì)成員，在面對爬蟲編寫、數(shù)據(jù)清洗和去重等工作時不免有些犯難。盡管如此，他們還是迎難而上，設(shè)計(jì)了多種用于數(shù)據(jù)清洗和去重的規(guī)則，最終成功獲得了首個多模態(tài) STEM 數(shù)據(jù)集。

圖丨左起；王晨光、張銘、沈劍豪、袁野、Srbuhi Mirzoyan（來源：課題組）

值得一提的是，該數(shù)據(jù)集包含 448 個 STEM 技能，共 1073146 道題目，是目前涵蓋面最廣、包含題目最多的多模態(tài) STEM 題目數(shù)據(jù)集。

圖丨相關(guān)論文（來源：ICLR 2024）

接著，他們開始針對數(shù)據(jù)集進(jìn)行評測與分析。

由于該數(shù)據(jù)集包含科目（科學(xué)、技術(shù)、工程、數(shù)學(xué)）、技能和年級三個維度標(biāo)簽，因此研究人員選擇從這三個維度切入，對每個維度的數(shù)據(jù)數(shù)量分布、問題類型分布、問題長度分布等信息進(jìn)行了詳盡分析。

與此同時，他們也針對每個科目，按照 6:2:2 的比例，劃分了訓(xùn)練集、驗(yàn)證集與未公開標(biāo)簽的測試集。

隨后，研究人員又設(shè)計(jì)了模型評測方案。

其中，在選擇評測指標(biāo)時，他們除了關(guān)注準(zhǔn)確率，還重點(diǎn)使用全球范圍內(nèi)最被認(rèn)可的在線習(xí)題網(wǎng)站之一（https://www.ixl.com/）的考試分?jǐn)?shù)。

后者是基于該網(wǎng)站千萬用戶的真實(shí)考試成績得出的，與學(xué)生對知識的掌握程度呈正相關(guān)。當(dāng)分?jǐn)?shù)達(dá)到 90 以上（通常是小學(xué)生水平）時，就代表學(xué)生掌握了該技能。

“我們讓模型模仿考生在線答題，再將得到的考試分?jǐn)?shù)與真實(shí)人類的考試結(jié)果進(jìn)行比較。”王晨光表示。

這也正是該工作的一大亮點(diǎn)。原因在于，過去將人類的表現(xiàn)與人工智能做比較時，前者都是由相對較小的樣本（例如幾百到幾千人）總結(jié)出的，而該團(tuán)隊(duì)的結(jié)果卻是基于千萬量級的數(shù)據(jù)得到的，可信度更高。

然后，在模型評測環(huán)節(jié)，研究人員選擇使用當(dāng)前主流的大基礎(chǔ)模型，包括 OpenAI 的多模態(tài) CLIP 模型，以及大語言模型 ChatGPT 的 GPT3.5-Turbo 版本。

前者根據(jù)模型判斷問題選項(xiàng)與圖片的匹配程度來做出選擇，后者則利用字幕模型為圖片生成描述，并利用語言模型選擇回答。

“我們評測了不同規(guī)模的 CLIP 模型與 GPT3.5-Turbo 模型，發(fā)現(xiàn)在 0 樣本的設(shè)置下，模型的錯誤率很高。這表明現(xiàn)有模型無法直接真正地掌握這些知識。”王晨光表示。

進(jìn)一步地，他們又利用劃分出的訓(xùn)練數(shù)據(jù)集，對 CLIP 模型進(jìn)行了微調(diào)，發(fā)現(xiàn)微調(diào)后的模型取得了顯著的效果提升，綜合準(zhǔn)確率從 54.4% 提升至 76.3%。不過，這離 90 分依然有一定差距。

除此之外，該課題組還對模型結(jié)果的各個側(cè)面進(jìn)行了分析。

具體來說，首先，在年級層面，他們發(fā)現(xiàn)模型的測驗(yàn)分?jǐn)?shù)隨著題目所屬年級的升高而降低，這符合年級越高的題目難度就越高的預(yù)期。

圖丨測驗(yàn)分?jǐn)?shù)隨年級變化（來源：ICLR 2024）

其次，通過模型在不同技能上的評測表現(xiàn)，他們發(fā)現(xiàn)模型在抽象知識與復(fù)雜推理任務(wù)上的表現(xiàn)欠佳。

另外，過去的經(jīng)驗(yàn)表明，模型應(yīng)該對正確答案有著較高的預(yù)測置信度，這代表著模型的校準(zhǔn)度較好。

“我們發(fā)現(xiàn)在我們的數(shù)據(jù)集上微調(diào)過的模型，表現(xiàn)出了良好的校準(zhǔn)性，模型的置信度與準(zhǔn)確率呈現(xiàn)清晰的相關(guān)性。”王晨光說。

另一方面，他們在研究模型規(guī)模與效果之間關(guān)系的過程中，也發(fā)現(xiàn)了清晰的正相關(guān)關(guān)系。

與此同時，他們還分析了模型表現(xiàn)與問題長度、問題類型、選項(xiàng)數(shù)量等其它因素之間的關(guān)系，發(fā)現(xiàn)隨著問題變長、選項(xiàng)數(shù)量變多和樣例數(shù)量變少，模型的表現(xiàn)都會下降。

除此之外，他們也評估了準(zhǔn)確率與測驗(yàn)考試分?jǐn)?shù)這兩種指標(biāo)的相關(guān)性，發(fā)現(xiàn)它們同樣呈現(xiàn)出顯著的正相關(guān)。

“最終，在整體的評價指標(biāo)上，我們確認(rèn)即使是微調(diào)過的模型，與人類對應(yīng)年級學(xué)生水平相比也有顯著差距。基于此，我們?nèi)匀恍枰獙ふ腋行У姆椒ǎ鼓Ｐ驼莆?STEM 知識技能。”王晨光說。

圖丨與人類表現(xiàn)比較（來源：ICLR 2024）

 

嘗試推出更多評測大語言模型的數(shù)據(jù)集，加快通用人工智能實(shí)現(xiàn)的進(jìn)程

顯而易見，在該項(xiàng)研究中，STEM 數(shù)據(jù)集發(fā)揮了關(guān)鍵作用。

它不僅有利于模型增強(qiáng) STEM 的基礎(chǔ)知識，還能幫助研究人員評估模型對于基礎(chǔ) STEM 技能掌握的程度，并通過細(xì)粒度的數(shù)據(jù)分析有針對性地改進(jìn)模型。

王晨光表示，他和團(tuán)隊(duì)期待該數(shù)據(jù)集可以進(jìn)一步推動當(dāng)前多模態(tài)大模型的研究，朝著模型能夠充分理解 STEM 技能、解決真實(shí)場景下 STEM 問題的目標(biāo)更進(jìn)一步。

并且，也希望發(fā)布的測試集可以作為評測人工智能基礎(chǔ)模型能力的標(biāo)準(zhǔn)評測之一，得到社區(qū)的廣泛使用。

“更重要的是，我們提供的與大規(guī)模人類（主要是小學(xué)生）真實(shí)水平的比較，可以作為未來模型開發(fā)的目標(biāo)和參考，以加快通用人工智能目標(biāo)實(shí)現(xiàn)的進(jìn)程。”他說。

目前，基于該數(shù)據(jù)集，該課題組已經(jīng)成功評測了神經(jīng)網(wǎng)絡(luò)模型在基礎(chǔ)教育中的理工科能力。

接下來，他們一方面計(jì)劃繼續(xù)收集數(shù)據(jù)，并嘗試推出諸如人文學(xué)科、社會學(xué)科等領(lǐng)域的數(shù)據(jù)集，以更好地評測大語言模型在其他關(guān)鍵學(xué)科上的能力。

在這方面值得關(guān)注的是，該團(tuán)隊(duì)最近已經(jīng)提出了一個新的社會學(xué)科數(shù)據(jù)集 Social，包含較大規(guī)模的文本評估數(shù)據(jù)，可用來評測大語言模型的社會學(xué)科基礎(chǔ)能力。

進(jìn)一步地，還設(shè)計(jì)了一種多智能體交互的方法，能夠增強(qiáng)大語言模型在 Social 數(shù)據(jù)集上的表現(xiàn)。

相關(guān)論文以《衡量大語言模型的社會規(guī)范》（Measuring Social Norms of Large Language Models）為題收錄于計(jì)算語言學(xué)協(xié)會北美分會 2024 年年會（NAACL 2024，2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics）上[2]。

據(jù)悉，該會議將于今年 6 月 16 日至 6 月 21 日在墨西哥的首都墨西哥城召開。

另一方面，他們也打算通過研究模型在細(xì)粒度數(shù)據(jù)集上的表現(xiàn)，找出模型能力不足的部分，并研究如何改進(jìn)。

此外，還希望通過結(jié)合檢索的 RAG 方法、設(shè)計(jì)特殊的模型架構(gòu)和訓(xùn)練方法，來進(jìn)一步增強(qiáng)模型的基礎(chǔ)能力。

“我們相信，只有先在基礎(chǔ)理工科和文科領(lǐng)域?qū)崿F(xiàn)突破，扎實(shí)打好基礎(chǔ)，人工智能才有被進(jìn)一步應(yīng)用的可能性。”王晨光如是說。