諾貝爾物理學(xué)獎：Hopfield 和 Hinton 的 AI 如何改變我們的世界

如果您在觀看最新的 AI 生成的視頻時驚掉了下巴，您的銀行余額被欺詐檢測系統(tǒng)從犯罪分子手中挽救出來，或者您的一天因為能夠在奔跑中口述短信而變得更加輕松，那么您要感謝許多科學(xué)家、數(shù)學(xué)家和工程師。

但是，有兩個名字對使這些體驗成為可能的深度學(xué)習(xí)技術(shù)做出了基礎(chǔ)性貢獻，他們是：普林斯頓大學(xué)物理學(xué)家約翰·霍普菲爾德和多倫多大學(xué)計算機科學(xué)家杰弗里·辛頓.

這兩位研究人員是獲得諾貝爾物理學(xué)獎2024 年 10 月 8 日，以表彰他們在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的開創(chuàng)性工作。

盡管人工神經(jīng)網(wǎng)絡(luò)是以生物神經(jīng)網(wǎng)絡(luò)為模型的，但兩位研究人員的工作都借鑒了統(tǒng)計物理學(xué)，因此獲得了物理學(xué)獎。

2024 年 10 月 8 日，安德斯·伊爾貝克在瑞典斯德哥爾摩宣布 2024 年諾貝爾物理學(xué)獎時對媒體發(fā)表講話。（喬納森·納克斯特蘭德/蓋蒂圖片社）

神經(jīng)元如何計算

人工神經(jīng)網(wǎng)絡(luò)起源于對活體大腦中生物神經(jīng)元的研究。1943 年，神經(jīng)生理學(xué)家沃倫·麥卡洛克（Warren McCulloch）和邏輯學(xué)家沃爾特·皮茨（Walter Pitts）提出了一種神經(jīng)元工作原理的簡單模型.

在 McCulloch-Pitts 模型中，神經(jīng)元與其相鄰的神經(jīng)元相連，并且可以接收來自它們的信號。然后它可以將這些信號組合起來，向其他神經(jīng)元發(fā)送信號。

但有一個轉(zhuǎn)折點：它可以以不同的方式權(quán)衡來自不同鄰居的信號。想象一下，您正在嘗試決定是否購買一部新的暢銷手機。您與您的朋友交談并詢問他們的建議。

一個簡單的策略是收集所有朋友的推薦，并決定接受大多數(shù)人所說的任何內(nèi)容。例如，您問三個朋友 Alice、Bob 和 Charlie，他們分別說 yay、yay 和 nay。這導(dǎo)致您決定購買這款手機，因為您有兩個 yes 和一個 nay。

但是，您可能會更信任一些朋友，因為他們對技術(shù)小工具有深入的了解。因此，您可能決定更多地考慮他們的建議。

例如，如果 Charlie 知識淵博，您可能會數(shù)他的 nay 三次，現(xiàn)在您決定不買手機 – 兩個 yes 和 3 個反對。

如果你不幸有一個在技術(shù)小工具問題上完全不信任的朋友，你甚至可以給他們一個負的權(quán)重。所以他們的 yay 算作 nay，他們的 nay 算作 yay。

一旦您自己決定新手機是否是一個不錯的選擇，其他朋友可以向您征求建議。

同樣，在人工和生物神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元可以聚合來自鄰居的信號，并向其他神經(jīng)元發(fā)送信號。

此功能導(dǎo)致了一個關(guān)鍵區(qū)別：網(wǎng)絡(luò)中是否存在循環(huán)？例如，如果我今天問 Alice、Bob 和 Charlie，明天 Alice 問我推薦，那么就會出現(xiàn)一個循環(huán)：從 Alice 到我，再從我回到 Alice。

在遞歸神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元來回通信，而不僅僅是一個方向。(Zawersh/維基媒體,CC BY-SA)

如果神經(jīng)元之間的連接沒有循環(huán)，那么計算機科學(xué)家稱它為前饋神經(jīng)網(wǎng)絡(luò)。前饋網(wǎng)絡(luò)中的神經(jīng)元可以分層排列。

第一層由 inputs 組成。第二層從第一層接收信號，依此類推。最后一層表示網(wǎng)絡(luò)的輸出。

但是，如果網(wǎng)絡(luò)中存在一個循環(huán)，計算機科學(xué)家將其稱為遞歸神經(jīng)網(wǎng)絡(luò)，并且神經(jīng)元的排列可能比前饋神經(jīng)網(wǎng)絡(luò)更復(fù)雜。

Hopfield 網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)的最初靈感來自生物學(xué)，但很快其他領(lǐng)域開始影響它們的發(fā)展。這些課程包括邏輯、數(shù)學(xué)和物理。

物理學(xué)家約翰·霍普菲爾德（John Hopfield）使用物理學(xué)的思想來研究特定的遞歸神經(jīng)網(wǎng)絡(luò)的類型，現(xiàn)在稱為 Hopfield 網(wǎng)絡(luò)。特別是，他研究了它們的動態(tài)：隨著時間的推移，網(wǎng)絡(luò)會發(fā)生什么變化？

當信息通過社交網(wǎng)絡(luò)傳播時，這種動態(tài)也很重要。每個人都知道模因正在病毒式傳播，回音室在在線社交網(wǎng)絡(luò)中形成。這些都是集體現(xiàn)象，最終由網(wǎng)絡(luò)中人們之間的簡單信息交換產(chǎn)生。

霍普菲爾德是使用物理場中的模型，尤其是那些為研究磁學(xué)而開發(fā)的，以了解遞歸神經(jīng)網(wǎng)絡(luò)的動力學(xué)。他還表明，他們的動態(tài)可以給這樣的神經(jīng)網(wǎng)絡(luò)一種記憶形式.

玻爾茲曼機和反向傳播

在 1980 年代，Geoffrey Hinton、計算神經(jīng)生物學(xué)家 Terrence Sejnowski 和其他人擴展了 Hopfield 的想法，創(chuàng)建了一類名為玻爾茲曼機，以 19 世紀物理學(xué)家的名字命名路德維?！げ柶澛?/a>.

顧名思義，這些模型的設(shè)計植根于玻爾茲曼開創(chuàng)的統(tǒng)計物理學(xué)。

與可以存儲模式并糾正模式中的錯誤的 Hopfield 網(wǎng)絡(luò)不同（就像拼寫檢查器一樣），玻爾茲曼機器可以生成新模式，從而播下現(xiàn)代生成式 AI 革命的種子。

Hinton 也是 1980 年代發(fā)生的另一項突破的一部分：反向傳播.如果你想讓人工神經(jīng)網(wǎng)絡(luò)完成有趣的任務(wù)，你必須以某種方式為人工神經(jīng)元之間的連接選擇合適的權(quán)重。

反向傳播是一種關(guān)鍵算法，可以根據(jù)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)集上的性能來選擇權(quán)重。然而，訓(xùn)練多層人工神經(jīng)網(wǎng)絡(luò)仍然具有挑戰(zhàn)性。

在 2000 年代，Hinton 和他的同事們巧妙地使用 Boltzmann 機器訓(xùn)練多層網(wǎng)絡(luò)首先逐層預(yù)訓(xùn)練網(wǎng)絡(luò)，然后在預(yù)訓(xùn)練網(wǎng)絡(luò)之上使用另一種微調(diào)算法來進一步調(diào)整權(quán)重。

多層網(wǎng)絡(luò)被重新命名為深度網(wǎng)絡(luò)，深度學(xué)習(xí)革命已經(jīng)開始。

一位計算機科學(xué)家解釋說機器學(xué)習(xí)對孩子、高中生、大學(xué)生、研究生，然后是專家。