OpenAI CFO重磅曝料:全球最強編程智能體已就緒
OpenAI的產品團隊認為,o3 mini已經成為了全球最具競爭力的程序員。
在Sarah Fryer看來,如今已經非常接近AGI了。
也就是說,AI系統能夠承擔世界上大多數真正有價值的、人類的工作。
但可以肯定地說,作為一個世界共同體,我們還並未充分發揮它的潛力。
如今,有3個scaling law正在發生。
一個是預訓練,也就是讓通用模型變得更聰明。這就需要更多的數據和更先進的算法專業知識。在更多算力的支持下,研究人員可以發揮更大的作用。
這就意味著,要想成功,就必須投入大量的資金。
在GPT-3、GPT-4、GPT-5這樣的大模型上,計算規模就在呈對數增長。
然後,就進入了後訓練階段。
比如我們想創建一個需要診病的模型,就需要對它微調,讓它專注於醫學。
而第三個階段——推理時計算,就是讓這輛「汽車」能切換到運動模式的時刻。
此時,需要在真正的賽道上行駛,從四驅模式切換到運動模式。
以上,就是關於擴展性的三條定律。
OpenAI的研究者,已經推出了「強化微調」技術。
他們發現,其實並不需要很多信息,就能讓模型在一個特定領域展現出顯著的性能提升。
但關鍵在於,我們能否達到那個具體的領域?如果你想研究神經疾病,比如退行性疾病的結果,你能在這個特定領域獲得足夠的信息嗎?
即使是一點點的信息,也會極大提升模型的實用性。
按照OpenAI的說法,星際之門需要投資5000億美元在計算能力上,或者說,它需要10吉瓦的算力。
這個數字是怎麼得出來的?
這是通過預訓練擴展、後訓練擴展和推理時擴展這三個scaling law。
在模型開發的每個階段,都會需要越來越多的算力。
可以說,OpenAI沒有推出某些模型,就是因為沒有足夠的計算資源。
Sarah Friar表示,自己是個糟糕的CFO。
Sora差不多在前年2月或3月就准備好了,但直到差不多去年12月,OpenAI才真正推出了它。
甚至到現在,Sora也還沒有完全上線。
OpenAI選擇的,是推出深度研究,因為他們知道商業界非常喜歡這個特性。
因為沒有足夠的算力投入業務,Sarah Friar承認,自己每天做出最糟糕的決定,就是不給研究者提供最有價值的資源——研究所需的算力。
她甚至透露:很多時候,Sam Altman來上班時就會生她的氣,因為她沒有提供足夠的算力。
為什麼她會陷入這種境地?
因為在兩三年前,那些拍板決定算力決策的人,根本想象不到如今算力需求的增長會如此之快。
兩年時間裡,OpenAI的周活用戶就達到了4億,收入每年都翻了三倍。
現在,整個愛爾蘭的負載是7吉瓦,整個國家的使用量都比OpenAI需要的10吉瓦少。
而在她看來,在三年後當人們回過頭來,會覺得這時的人們對5000億這個數字神經緊張,簡直是大驚小怪。
所以,該如何擴大規模?電力來源於哪裡?是否需要培養人力?
事實證明,電工、暖通空調人員等,都是真正能夠制約建設的資源。
因此,美國政府也會對星際之門特別感興趣,因為它既是一種財政投資,也是有助於在經濟上保持領先地位。
而DeepSeek也讓人看到,AI正處於激烈競爭中。
OpenAI目前的關注點在於算力、研究人員、數據。
他們需要尋找地點和電力,他們需要平整地面,建設數據中心,填充設備,購買GPU。
OpenAI需要真正證明:它有能力成功應對挑戰。


分享: |
注: | 在此頁中閱讀全文 |