人民大學高瓴教授為Sora吵起來了(圖)

2024-03-27 | 來源: 智東西 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

正方毛佳昕：數據驅動是實現通用人工智能的可行路徑。從人工智能發展的歷史來看，從感知到語言，都是用數據驅動解決問題。人類也是通過數據來學習的，比如我看很多書、做很多題目，然後參加物理考試，跟現在訓練大模型做物理題的數據驅動方式是一樣的。

Hinton說人腦是個很高效的系統，人腦用的功率比大模型小得多，但人腦的缺點是裡面的神經網絡權重沒法告訴另一個人，通訊效率很差。

數據驅動的反面是理論驅動，這裡的“理論”不是物理定律，而是認知理論。所以數據驅動路線對應的另一條路線是基於AI的理論驅動路徑，或是基於人類認知世界的理論來驅動的路徑。Hinton之前是這個路徑的，但他最近觀點發生了改變，認為人腦雖然在計算效率上有優勢，但在通訊效率上遠比不上數字計算機。

反方沈蔚然：通用人工智能是類似人並且超越人的人工智能。現在很多單個任務都超過人，我們希望能做一個通用人工智能算法或者模型，在大部分任務上都能夠超過人。

我不認為學習物理通過看書做題是接收數據，從物理學的角度，數據應該是做實驗得到的數據，看書的理論是接受別人前人總結的結果。現有的數據驅動方式無法把數據總結成一些簡潔易懂的理論，然後在此基礎上做進一步推導。我認為這是要實現通用人工智能目前回避不掉的事情。

盡管多層感知機理論上可以擬合任意函數，但部分數學函數需要無窮的數據才能擬合，卻可以有簡單的數學表達。

正方林衍凱：對方辯友一直在切換辯題，把“純數據驅動路線能夠不能使實現通用人工智能”切換成“能不能在有限/高效的能源下實現通用人工智能”，這並不是我們的辯題，還有把“通用人工智能”切換成“要達到超過人的治理水平”。

從技術角度來看，大模型無法總結規律，做的更多是記憶組合，現在很多大模型研究中做的是壓縮，壓縮的基礎一開始是記憶，在訓練過程中為了最優化函數，就是在尋找能更好擬合數據的規律。這指向數據驅動能像人一樣思考演化。

軍情五處會見英國24所大學校長警告間諜活動威脅

美國大學示威潮：南加州大學宣布取消主畢業禮

美大學陷入緊張拜登支持言論自由

真實世界的數據是無限的，不能局限於網上的數據。大模型在壓縮的過程中可以自主探索，並從數據中學到物理規律。

反方孫浩：這個問題叫“純數據驅動路線能不能實現通用人工智能”？它的關鍵要素是“實現”和“數據驅動”。實現通用人工智能的前提是資源有限的。目前用於訓練的數據在許多方面都是缺失的，基於此訓練不能達到類人的效果。

世界是極其復雜的，我們能觀測到或能獲取到的描述世界的數據極其稀疏，甚至可能是缺失的。但是描述世界的方式應該是非常簡潔的，這樣才是通用的基本特征。例如用微分方程的形式去描述，它就有很強的通用性，同時基於的數據非常少。數據是關鍵要素，但不應該是唯一的要素。

正方黃文炳：我們並沒有強調說這個數據能不能獲取，而是說在足夠數據的條件之上，能不能實現通用人工智能。有兩個觀點我不敢苟同。一是談到人工智能的定義，我們認為通用人工智能指的是機器所能掌握的處理大多數任務的一般通用能力。通用人工智能的英文是AGI，其中G是General，代表的是一般范圍，不是Universal（萬有）能力。純數據驅動能不能實現通用人工智能？它並不一定包括能解決科學領域的方程、實驗的結果，但一定能實現大多數人在日常生活中所掌握的通用智能的能力。

我們承認數據驅動不一定能實現所有的智能，包括物理的人工智能，但這與今天的辯題不矛盾。同樣在物理場景中有很多嚴格的假設，在這些場景下純數據能不能實現通用人工智能，那種智能還不一定是人工智能，我認為是不行的。

反方徐君：假如有兩個參數不同的Sora，到底哪個是對的？可能一個對，也可能兩個都不對。目前來看，Sora在認識物理世界的時候是有很大偏差的，存在不穩定性，一旦版本更新，意味著已學到的物理規律就需要被刷新一遍，這從經驗上也不可行。

人不僅僅有認識世界數據的經驗，還有理性的處理，也就是說對這個世界數據的處理能力。從這個角度來看，Sora不僅要接收來自世界不同經驗的數據，同時它需要具備像人一樣甚至超過人的理性思維去處理數據，兩者缺一不可。

從數據的角度來看，Sora目前僅介紹了文本、視頻和圖像，還有很多領域的數據沒接觸到。從模型的角度來看，它基於擴散模型和Transformer的簡單結構，不可能產生理性的分析和想象的能力，所以從模型處理能力上也鎖死了。不管從經驗的角度來看，還是從理性分析的角度來看，我覺得AGI都被圈住了。