第一個被人類騙錢的AI傻了,近5萬美元不翼而飛!

2024-11-30 | 來源: 新智元 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

Karpathy：你以為你在和AI聊天，但其實是在和「人」聊天

而且，為什麼人類能夠通過語言的操控，輕易指導AI的行動？

這就引出了這個問題：當我們和AI聊天的時候，背後究竟發生了什麼？

最近，AI大牛Karpathy在一篇長文中，揭示了和AI對話背後的本質。

大家現在對於「向AI提問」這件事的認知過於理想化了。所謂AI，本質上就是通過模仿人類數據標注員的數據訓練出來的語言模型。

與其神化「向AI提問」這個概念，不如將其理解為「向互聯網上的普通數據標注員提問」來得實在。

當然也有一些例外。

比如在很多專業領域（如編程、數學、創意寫作等），公司會雇傭專業的數據標注員。這種情況，就相當於是在向這些領域的專家提問了。

美國一戶人家價值1100萬美元的加密貨幣被搶走

比特幣最高逼近9.2萬美元美聯儲降息概率升至85%

比特幣跌破8.2萬美元,你必須知道這10件事

不過，當涉及到強化學習時，這個類比就不完全准確了。

正如他之前吐槽過的，RLHF只能勉強算是強化學習，而「真正的強化學習」要麼還未成熟，要麼就只能應用在那些容易設定獎勵函數的領域（比如數學）。

但總體來說，至少在當下，你並不是在詢問某個神奇的 AI，而是在向背後的人類數據標注員提問——他們的集體知識和經驗被壓縮並轉化成了大語言模型中的token序列。

簡言之：你並不是在問 AI，而是在問那些為它提供訓練數據的標注員們的集體智慧。

來源：Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View

舉個例子，當你問「阿姆斯特丹的十大著名景點」這樣的問題時，很可能是某個數據標注員之前碰到過類似問題，然後他們花了20分鍾，用谷歌或者貓途鷹（Trip Advisor）之類的網站來查資料，並整理出一個景點清單。這個清單就會被當作「標准答案」，用來訓練AI回答類似的問題。

如果你問的具體地點並沒有在微調訓練數據中出現過，AI就會根據它在預訓練階段（也就是通過分析海量互聯網文檔）學到的知識，生成一個風格和內容都相近的答案列表。