人工智能（AI）是未來的技術(shù)。怎樣才能管好AI、用好AI，不僅需要我這樣的AI研究人員，還需要來自金融、經(jīng)濟(jì)等各領(lǐng)域的人士的集思廣益。下面我談一談自己的看法——怎樣把AI管起來，讓它成為開創(chuàng)美好未來的工具？

在我最優(yōu)秀的學(xué)生里，中國人占到很大的比例。所以每次來到美麗的中國，我都特別高興。接下來我要介紹的工作進(jìn)展，有部分就是由我的中國學(xué)生完成的。

剛才，我們聽常啟德先生介紹了聯(lián)合國可持續(xù)發(fā)展目標(biāo)。我同意他的看法。事實(shí)上，我們最近寫了一篇論文，揭示了AI的巨大潛力，如果使用得當(dāng)，勢必有助于我們更快地實(shí)現(xiàn)這些目標(biāo)——不僅是在金融領(lǐng)域，而是對全世界全人類而言。

現(xiàn)在：人工智能能做什么？

近幾年，人工智能的發(fā)展可謂一日千里。我們看個機(jī)器人行走的視頻，不久前還是這水平：

00:10

第二個機(jī)器人特別尬，因?yàn)槭锹槭±砉さ臋C(jī)器人……現(xiàn)在的機(jī)器人已經(jīng)完全不同：

00:15

我們再試試Midjourney。2022年，我們向這個生成圖像的AI輸入了一個指令，得到圖一：

圖一

一年后，輸入同樣一個指令，得到的是圖二：

圖二

所以說，進(jìn)步是肉眼可見的快。

再看一個有聲音的：

00:08

“深度偽造”（deep fake），也到了真假難辨的地步。這真的不是湯姆·克魯斯嗎？當(dāng)然不是。

有些研究人員認(rèn)為，這些大型語言模型仍然非常愚蠢，缺乏對世界的深刻理解。雖然看上去花俏，但并沒有超出統(tǒng)計(jì)學(xué)的范疇，他們把這些模型叫做“隨機(jī)鸚鵡”（stochastic parrots），言下之意，它們只是在重復(fù)以前聽過的東西。我們最近的一篇論文，證明這種看法是錯誤的。

這些大語言模型能夠自主開發(fā)模型，并合成它們所學(xué)到的東西。以Llama2為例。這個AI從未受過圖像訓(xùn)練，也沒見過世界地圖。但我們發(fā)現(xiàn)，僅僅通過閱讀文本，它就在心里，準(zhǔn)確地說，是第53層創(chuàng)制了一幅字面意義上的世界地圖（圖三）。它知道北京在這里，波士頓在那里，還知道你去過哪里。

圖三

事實(shí)上，Llama2不僅建構(gòu)了一個物理世界的模型，還建構(gòu)了一個抽象概念的模型，比如是非對錯。我們錄入了很多句子，有些是對的，比如“北京在中國”，有些是錯的，比如“芝加哥在馬達(dá)加斯加”，然后觀察它怎么處理這些信息。我們發(fā)現(xiàn)，在某一層，Llama2把它認(rèn)為正確的信息放在左邊，錯誤的則放在右邊。所以，我們其實(shí)可以打造一個大語言模型的測謊儀，看看AI有沒有撒謊，它告訴你的是不是正確的，以及你們交互的結(jié)果是否與它認(rèn)為是正確的相同。

可見，這些模型已經(jīng)變得很聰明，問題是：它們能走多遠(yuǎn)？我喜歡用抽象的任務(wù)景觀來思考這個問題——海平面代表2018我年制作這個bot時人工智能執(zhí)行任務(wù)的水平，高地則代表人類的水平（圖四）。現(xiàn)在許多高地都沉到海平面下面了，可見這幾年人工智能發(fā)展得有多快。

圖四

末日：人工智能控制人類？

現(xiàn)在，人工智能已經(jīng)勝任很多編程工作，它們開始證明數(shù)學(xué)定理，創(chuàng)作藝術(shù)作品，還能給我們當(dāng)副駕駛。那么，問題來了：我們會有實(shí)現(xiàn)人工通用智能（AGI）的那一天嗎？

到那天，大水將淹沒所有的陸地，而人工智能可以像人類一樣去完成人類所有的任務(wù)。到那天，人工智能自己就能開發(fā)人工智能，甚至比人類做得還要好——那以后人工智能發(fā)展的速度會比現(xiàn)在快得多，因?yàn)殚_發(fā)AI的是AI，而不是人類這種精力有限的肉體凡胎。AI的智能每個月、每星期，甚至每一天都會翻番，也許還會出現(xiàn)智能爆炸，到那時AI會比人類聰明得多，就像人類比毛毛蟲和蝸牛聰明得多一樣。

關(guān)于人工通用智能，爭議一直很大，眾說紛紜。不過，大家的觀點(diǎn)一直在變。幾年前，我的MIT同事羅德尼·布魯克斯（Rodney Brooks）預(yù)測說，人類在未來三百年內(nèi)是搞不出AGI的。AI研發(fā)人員比他樂觀，但也認(rèn)為我們距離AGI還有好幾十年。多數(shù)同仁認(rèn)為，我們?nèi)陜?nèi)是做不出像ChatGPT4這樣聰明的AI的。但現(xiàn)在，我們已經(jīng)做出來了。微軟聲稱在ChatGPT4中看到了AGI的火花，也就是說，我們正在靠近人工通用智能。

在座的可能都聽說過本吉奧（Yoshua Bengio），他是被引用次數(shù)最多的人工智能科學(xué)家，不出意外的話，很快就會成為史上被引用次數(shù)最多的科學(xué)家。按照他的觀點(diǎn)， ChatGPT 已經(jīng)通過“圖靈測試”，能夠很好地掌握語言和知識，足以讓人誤以為它是人類。

過去三年里，人們對AGI預(yù)測的變化是有那么大。生成式人工智能（Gen AI）和大語言模型的出現(xiàn)，“砰”地一下改變了人們的看法。顯然，AGI不再只是一種長期的可能性。根據(jù)AI領(lǐng)軍企業(yè)Anthropic的CEO達(dá)里奧·阿莫代（Dario Amodei）的判斷，它兩三年內(nèi)就會出現(xiàn)。所以我們不應(yīng)該再使用“長期”這個詞，因?yàn)檫@讓AGI聽起來跟恐龍一樣遙不可及。當(dāng)然，未來存在各種可能性，抵達(dá)AGI也許真的需要很長時間。我們不妨多討論討論。

人工智能的教父阿蘭·圖靈（Alan Turing）曾在1951年就預(yù)言說：如果AGI出現(xiàn)了，那么很快，機(jī)器就會變得很聰明、超級聰明。它們會控制一切，換句話說，人類將失去對地球的控制。

這聽上去可能挺奇怪的。所以，阿蘭·圖靈為什么要說這樣的瘋話呢？如果你只是把人工智能當(dāng)成一門技術(shù)，就像是電力或者互聯(lián)網(wǎng)，那就真的沒什么好擔(dān)心的。但圖靈顯然不這樣認(rèn)為。在他看來，人工智能不是一門技術(shù)，而是一個新的物種，一個在各方面都碾壓我們的數(shù)字代理和機(jī)器人物種。它們?nèi)〉每刂茩?quán)是自然而然的事。

不只圖靈這樣認(rèn)為。OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）設(shè)想過一種極端場景，就是我們所有人都會被淘汰。“極端”可能只是一種禮貌的說法，達(dá)里奧·阿莫代認(rèn)為概率在10% 到 25%之間。事實(shí)上，中國和西方頂級的AI研究人員最近都警告說，人工智能可能導(dǎo)致人類滅絕。雖然只是“可能”，不“一定”會發(fā)生，但我們必須認(rèn)真對待這一風(fēng)險，并努力化解它。

未來：可證明安全的人工智能

接下來，我想談?wù)勗趺窗袮I管起來，在一切變得不可控之前。畢竟，是我們?nèi)祟愒趧?chuàng)造AI，我們還不至于束手無策——所以讓我們一起確保人工智能為我們所用，管好它，用它創(chuàng)造美好的未來。

我們應(yīng)該怎么做呢？我認(rèn)為，我們首先要有遠(yuǎn)見，想得遠(yuǎn)，才能做得大。本吉奧、我和其他一些研究人員正在擬訂一項(xiàng)倡議，我們管它叫“定量人工智能倡議”。前幾周，我們寫了一篇論文專門解釋這一“安全人工智能”的愿景。

其基本邏輯是：當(dāng)技術(shù)很薄弱時，我們不用太擔(dān)心安全問題——如果出了問題，我們可以想辦法解決；技術(shù)越強(qiáng)大，容錯率就越低，我們就越是要在安全性上下功夫。

比如說有人想在中國推出新型飛機(jī)，要做到怎樣才算安全達(dá)標(biāo)呢？“我們感覺良好。我們試飛了一個小時，沒掉下來，所以是安全的”——這顯然是不夠的，要做的遠(yuǎn)遠(yuǎn)不止于此。我們得進(jìn)行定量計(jì)算，比如估算飛機(jī)在某一年發(fā)生故障的概率，如此這般，直到我們能夠證明它足夠安全，利大于弊。對于人工智能的安全性，我們同樣需要進(jìn)行事先的定量計(jì)算。我相信我們可以做到。

以其底層技術(shù)的革新為標(biāo)志，人工智能經(jīng)歷了許多不同的發(fā)展時期。從計(jì)算上看，我們經(jīng)歷了打孔卡時期，然后是磁帶、晶體管、集成電路等等，到現(xiàn)在的微芯片時期。硬件方面，GPU的迭代速度極快；軟件方面，各種算法也是日新月異。

而我們這個時期的標(biāo)志，我認(rèn)為是“Transformer”模型，它是所有大語言模型的基礎(chǔ)。許多年后，人們也許會把它稱作“2024年的真空管”。真空管現(xiàn)在看起來很古老了，但卻是開啟計(jì)算機(jī)時代的第一項(xiàng)技術(shù)。Transformer也一樣，我相信，它是開啟大語言模型時代的第一項(xiàng)技術(shù)，但不是最后一項(xiàng)，也不是最好的，更不是最安全可靠的。

我們最近有篇關(guān)于KANs架構(gòu)的論文。和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)架構(gòu)MLP不同,KANs將權(quán)重（weight）從節(jié)點(diǎn)移到邊緣，能以更少的參數(shù)獲得更高的精度，性能大大優(yōu)于MLP。我只是舉個例子說明我們今天的技術(shù)并不是最好或最終的，一切都在革新。所以什么才配得上“明日技術(shù)”這幾個字呢？我認(rèn)為它不僅要比今天的AI更強(qiáng)，還要更好懂、更安全、更容易管理。

現(xiàn)在對人工智能的管理大多還停留在“破解”的階段上，也就是“發(fā)現(xiàn)bug，解決bug”的思路，在測試中誘導(dǎo)大語言模型說些“壞話”什么的，然后修復(fù)導(dǎo)致出錯的漏洞。但就像我在前面提到過的，這種方式只適用于低技術(shù)階段，因?yàn)樗淦淞恐荒茏C明問題存在，而永遠(yuǎn)無法證明問題不存在。如果你想證明問題不存在，證明強(qiáng)大的人工智能很安全，那么你可能需要另外一種防護(hù)欄。而我們所能擁有的最強(qiáng)大防護(hù)欄，不是別的，正是數(shù)學(xué)證明。

舉個例子。假設(shè)你研究數(shù)學(xué)，喜歡數(shù)學(xué)，有人告訴你“任何兩個立方數(shù)相加，不會等于第三個立方數(shù)”——他說得對嗎？你試著用3³加4³，嗯，它們的和不是立方數(shù)……你試了10次，沒發(fā)現(xiàn)反例，于是下結(jié)論“他說得對”。不，這不是數(shù)學(xué)證明，無法證明“他說得對”，而只證明了你沒發(fā)現(xiàn)反例。

當(dāng)然，這個說法是對的，因?yàn)橛腥俗C明了：在無窮的整數(shù)里，沒有一個立方數(shù)是另外兩個立方數(shù)之和，這就是“費(fèi)馬最后定理”。

在人工智能和計(jì)算機(jī)科學(xué)領(lǐng)域，形式驗(yàn)證（formal verification）同樣是個大課題，也就是對軟件進(jìn)行嚴(yán)格的數(shù)學(xué)證明，證明它在任何輸入情況下都能按指令行事。可證明安全的人工智能——這是很高的安全標(biāo)準(zhǔn)。

目前相關(guān)領(lǐng)域的進(jìn)展比較慢，因?yàn)楣ぷ髁刻螅叶喟氲每咳藖硗瓿伞２贿^，我很樂觀，用不了多久大語言模型和AI就能解決這個問題。人工智能已經(jīng)徹底改變了藝術(shù)創(chuàng)作和語言處理，通過編寫代碼，它也將徹底改變程序綜合（program synthesis）。這樣一來，形式驗(yàn)證的許多工作就可以由AI自動完成，我們證明代碼安全性的能力也會隨之突破。

以下是我對可證明安全的人工智能的設(shè)想。舉個例子，假設(shè)你經(jīng)營著一家大型金融企業(yè)，你要用AI工具來做一些高風(fēng)險交易。你肯定不想出錯，因?yàn)檫@會讓客戶血本無歸。于是，你把這個AI需要遵守的規(guī)范都寫下來，交給一個強(qiáng)大的人工智能系統(tǒng)，讓它幫你編寫所需的工具，并出具相關(guān)安全證明。這些證明能夠通過證明檢查器的自動檢驗(yàn)，表明所生成的代碼滿足安全規(guī)范。

你可能會說：“我怎么能相信這個工具呢？我壓根不知道人工智能是怎樣工作的。這個工具的代碼行數(shù)太多，我讀不過來，而且證明太長，我也讀不過來”。沒關(guān)系，你不需要懂人工智能，也不用看它編寫的工具或證明代碼，你只要知道證明檢查器是怎么回事就行了——其實(shí)就是一個只有 300 行左右代碼的軟件，它能嚴(yán)格檢查和驗(yàn)證證明是否有效。

證明檢查器可以安裝在你的筆記本電腦上，飛快地運(yùn)行。只要安全證明通過驗(yàn)證，你就可以放心使用你的AI工具了，這個復(fù)雜、強(qiáng)大的財務(wù)軟件系統(tǒng)會完全遵照你的要求工作——不是多數(shù)時候，而是一直永遠(yuǎn)，因?yàn)檫@套軟件經(jīng)過嚴(yán)格的數(shù)學(xué)證明，沒有bug，沒有安全漏洞，只要宇宙不崩壞，它就是可靠的。

如果出于某種原因，你的人工智能系統(tǒng)寫的工具軟件不夠好，那你還有另外一個辦法：讓傳統(tǒng)的人工智能系統(tǒng)、大語言模型之類的去學(xué)習(xí)算法。比如，我們現(xiàn)在用 Python或者 C++ 寫的翻譯軟件都遠(yuǎn)遠(yuǎn)不如Transformer寫的好用。所以你得讓機(jī)器去學(xué)習(xí)，然后再用一個類似于神經(jīng)科學(xué)家的AI軟件去捕捉學(xué)習(xí)到的算法和數(shù)據(jù)，并轉(zhuǎn)化為 Python或者 C++ 代碼，最后進(jìn)行形式驗(yàn)證。這就是所謂的”機(jī)械可解釋性”（mechanistic interpretability）。這是人工智能的一個小眾領(lǐng)域，去年我在MIT組織了這個領(lǐng)域的最大型會議，但其實(shí)也沒幾個人參加。不過，這方面的技術(shù)發(fā)展得很快，在座感興趣的都可以加入進(jìn)來。

舉個非常簡單的例子。我們小時候?qū)W加法，有時老師會讓我們用豎式做循環(huán)進(jìn)位加法，從個位起傳遞進(jìn)位。現(xiàn)在我們讓神經(jīng)網(wǎng)絡(luò)系統(tǒng)去學(xué)加法，給它一堆數(shù)據(jù)，當(dāng)然是用二進(jìn)制來做。不一會兒，它的準(zhǔn)確率就達(dá)到了100%。這時，我們知道這個神經(jīng)網(wǎng)絡(luò)里已經(jīng)有了一個數(shù)字相加的算法。接下來的問題是，在這個訓(xùn)練出來的黑盒模型里，怎樣把這個算法“取出來”？我們用另外一個AI工具到神經(jīng)網(wǎng)絡(luò)里去找，再把找到的算法轉(zhuǎn)化成我們需要的Python版本。 這里可以看到這個Python程序也有循環(huán)，就像我們小時候?qū)W的多位數(shù)加法，從低到高計(jì)算和進(jìn)位。顯然這段生成的Python程序，比原始訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)，效率好得多。然后我們對這段Python代碼進(jìn)行形式驗(yàn)證，證明它能正確地將任何數(shù)字相加——不僅是訓(xùn)練數(shù)據(jù)中的數(shù)字，而是任意數(shù)字、任意多數(shù)字，我們可以信任它。

當(dāng)然，我這里討論的是一個非常宏大的目標(biāo)——可證明安全的人工智能或定量安全的人工智能。要實(shí)現(xiàn)全部目標(biāo)，我們有漫長的路要走。重要的是記住，我們的征程會很精彩，即便只是在初始階段。比如你能取得形式證明，證明任何人不經(jīng)過認(rèn)證都沒法登錄你的筆記本電腦，不香嗎？這樣你永遠(yuǎn)都不用擔(dān)心被黑了。

還有，不管多么強(qiáng)大的AI，只要你想，就可以隨時關(guān)閉它，或者可以讓它只運(yùn)行一定的時間；如果它只能在上海的某個數(shù)據(jù)中心使用，那么當(dāng)你或其他人把它帶到其他地方，它就會停止工作。那不是很爽嗎？

這些我們都能做到。我對此感到興奮，也渴望合作。

結(jié)語

最后，總結(jié)一下。我今天主要談了技術(shù)——人工智能的技術(shù)變得越來越強(qiáng)大，但我們也有很多安全技術(shù)可以把它管好，確保AI為我們工作，而不是與我們作對。

前面的發(fā)言者談到了國家政策和良好治理的重要性。我想強(qiáng)調(diào)的是，如何引導(dǎo)管好人工智能，是一個全球性的挑戰(zhàn)，因?yàn)槲磥矸浅?qiáng)大的人工智能所帶來的風(fēng)險當(dāng)然是全人類共同面臨的。無論如何，技術(shù)都不會止步于國界，因此它所帶來的挑戰(zhàn)也不是任何國家可以獨(dú)力應(yīng)對的。

如果我們做對了，世界會因人工智能而更美好；但如果我們搞砸了，整個世界都會一團(tuán)糟。在政策方面，我認(rèn)為我們應(yīng)該做的和不應(yīng)該做的都是顯而易見的。

無為而治是不可能的。你不能說：“行吧，每個人都有權(quán)利用AI盡可能快地制造出他們想要的東西。只要在超級智能出現(xiàn)前，有人能及時找到控制這些東西的辦法就行了。”

我們必須像對待其他強(qiáng)大技術(shù)那樣去對待人工智能，簡單說，我們需要安全驗(yàn)證機(jī)制。比如在中國，如果有人想推出一種很好的新藥，那么他首先要獲得國家藥品管理部門的批準(zhǔn)，而不是直接在淘寶上賣。有了這樣的藥品安全機(jī)制，醫(yī)藥公司在研發(fā)新藥的同時，也會把足夠的資源投入臨床檢測，以證明新產(chǎn)品足夠安全，給患者帶來的好處大于副作用。再比如，如果你想兜售一款新型飛機(jī)，那么你肯定得先把定量風(fēng)險分析做好，否則民航局是不會放行的。

對于人工智能，我們也應(yīng)該采取同樣的做法。首先我們要有統(tǒng)一明確的安全標(biāo)準(zhǔn)，對于相對初級和無害的AI，比如今天多數(shù)的大語言模型，安全標(biāo)準(zhǔn)可以很低，但對于功能逐漸強(qiáng)大、可能造成更大損害甚至失控的AI系統(tǒng)，我們的安全標(biāo)準(zhǔn)也要逐級提高。

標(biāo)準(zhǔn)確立之后，市場會完成剩下的工作。誰先達(dá)到安全標(biāo)準(zhǔn)，誰就先占領(lǐng)AI市場，富可敵國。這樣一來，AI公司就不僅有動力制造更聰明的機(jī)器，還會盡可能快地確保它們達(dá)到安全標(biāo)準(zhǔn)。