[哈佛] 哈佛研究獲實錘!AI不懂因果,AGI神話破滅
AI在接受了數百萬條逐向導航指令的訓練後，在它自己的“腦子”裡勾勒出了一張曼哈頓地圖，來自論文“Evaluating the World Model Implicit in a Generative Model”
Vafa解釋說，雖然這張亂七八糟的地圖能讓司機崩潰，但AI本質上是從所有可能的起點出發，為各種路況學了一大堆獨立的導航規則。
AI龐大的“腦容量”加上超強算力，讓它能用人類根本想不到的野路子解決問題。
真會思考，還是死記硬背？
有些研究表明，模型會為不同數字范圍（比如200到210）專門學一套乘法規則。你覺得這種方法做數學不太靠譜？沒錯，你想對了。
現在的AI本質上是一堆復雜、拼湊的“奇葩機器”，充滿了各種臨時湊合的解決方案來應對我們的指令。
Vafa說，理解這一點能很好地解釋為什麼AI在面對稍稍超出其訓練范圍的任務時就會掉鏈子。
比如，當團隊僅封鎖虛擬曼哈頓1%的道路時，AI的繞行表現就直線暴跌。
Vafa表示，這體現了當今AI與人類的巨大差異。
一個人可能無法記住99%的導航路線，但他有足夠的靈活性，來輕松繞過一點道路施工路段。
這也解釋了為什麼模型需要那麼大：它們得記住一大堆經驗法則，沒法像人類一樣把知識壓縮成一個心理模型。
人類可能試幾次就理解了，但AI需要學習海量的數據。
為了推導出那些零散的規則，AI得看到所有可能的單詞、圖像、棋盤位置等組合。而且為了訓練得更好，它們得反復看這些組合無數次。
或許這也能解釋：為什麼不同公司的AI“思考”方式如出一轍，連性能表現都趨於接近——而這種性能，可能已經觸頂了。
截至每年第二季度的各家模型最高智力分數
AGI未取得任何進展
今年3月，Anthropic 發布了一篇新論文“On the Biology of a Large Language Model”，以前所未有的方式揭示了這些AI模型內部的“想法”。
由此，我們不再需要通過分析外部行為來猜測，而是可以窺視LLM黑盒中發生的推理過程，並檢查LLM在多大程度上可解釋。
結果表明，這些模型根本沒有像許多人認為的那樣進行推理。
內部發生的事情看起來不像人類進行推理時所采取的步驟，而且，當模型告訴我們它們如何推理時，這完全是捏造的。這與我們觀察到的它們內部正在做的事情並不相符。
您的點贊是對我們的鼓勵
這條新聞還沒有人評論喔，等著您的高見呢
Vafa解釋說，雖然這張亂七八糟的地圖能讓司機崩潰，但AI本質上是從所有可能的起點出發，為各種路況學了一大堆獨立的導航規則。
AI龐大的“腦容量”加上超強算力，讓它能用人類根本想不到的野路子解決問題。
真會思考，還是死記硬背？
有些研究表明，模型會為不同數字范圍（比如200到210）專門學一套乘法規則。你覺得這種方法做數學不太靠譜？沒錯，你想對了。
現在的AI本質上是一堆復雜、拼湊的“奇葩機器”，充滿了各種臨時湊合的解決方案來應對我們的指令。
Vafa說，理解這一點能很好地解釋為什麼AI在面對稍稍超出其訓練范圍的任務時就會掉鏈子。
比如，當團隊僅封鎖虛擬曼哈頓1%的道路時，AI的繞行表現就直線暴跌。
Vafa表示，這體現了當今AI與人類的巨大差異。
一個人可能無法記住99%的導航路線，但他有足夠的靈活性，來輕松繞過一點道路施工路段。
這也解釋了為什麼模型需要那麼大：它們得記住一大堆經驗法則，沒法像人類一樣把知識壓縮成一個心理模型。
人類可能試幾次就理解了，但AI需要學習海量的數據。
為了推導出那些零散的規則，AI得看到所有可能的單詞、圖像、棋盤位置等組合。而且為了訓練得更好，它們得反復看這些組合無數次。
或許這也能解釋：為什麼不同公司的AI“思考”方式如出一轍，連性能表現都趨於接近——而這種性能，可能已經觸頂了。
截至每年第二季度的各家模型最高智力分數
AGI未取得任何進展
今年3月，Anthropic 發布了一篇新論文“On the Biology of a Large Language Model”，以前所未有的方式揭示了這些AI模型內部的“想法”。
由此，我們不再需要通過分析外部行為來猜測，而是可以窺視LLM黑盒中發生的推理過程，並檢查LLM在多大程度上可解釋。
結果表明，這些模型根本沒有像許多人認為的那樣進行推理。
內部發生的事情看起來不像人類進行推理時所采取的步驟，而且，當模型告訴我們它們如何推理時，這完全是捏造的。這與我們觀察到的它們內部正在做的事情並不相符。
您的點贊是對我們的鼓勵
這條新聞還沒有人評論喔，等著您的高見呢| 分享: |
| 注： | 在此頁閱讀全文 |
