GPT-5難產內幕:團隊遭挖空,推理成魔咒

2025-08-02 | 來源: 新智元 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

GPT-5，曾經差點難產？這條誕生路，簡直是烈火煉真金。一邊是人才出走、小札截胡、團隊內部陷入混亂，另一邊，推理模型魔咒讓研究者苦惱不已，專案甚至一度停擺。外媒曝出這期GPT-5誕生內幕，可謂亮點滿滿，幹貨十足。就在剛剛，外媒The Information曝光了關於GPT-5的一大波最新內幕，眾多猛料來了！

例如，GPT-5並未取得技術突破，不存在GPT-3到GPT-4這種等級的躍升。

例如，OpenAI正面臨嚴重的資料瓶頸和技術難題。

還有一個勁爆大瓜，OpenAI大波核心研究者一下子被小札撬走，直接導致了OpenAI內部的組織架構混亂！

為此，研究副總裁Jerry Tworek在Slack上公開向研究主管Mark Chen抱怨，許多同事都看到了。

不過，就在這麼一篇唱衰的文章發布之際，OpenAI同時又有好消息了。

近日，OpenAI又獲得了一筆巨額融資。據悉，OpenAI已提前數月籌集了83億美元資金，這就導致它的估值直接達到3,000億美元，這是今年400億美元融資計劃的一部分。

參與此輪融資的，有一大波全新投資者，其中Dragoneer投資集團以28億美元領投本輪，Blackstone、TPG、Fidelity、Founders Fund、紅杉資本等跟投。

不過，雖說Dragoneer是本輪融資的最大出資方，但軟銀仍是整個400億融資計劃的牽頭者。

GPT-5還沒發布，各方勢力都下場了，這不免讓人把期待值拉滿，屏息等待下周的盛況了。

Orion隕落真相GPT-5沒做出來，降級成4.5了

去年萬眾矚目的Orion，大家應該都還記得。

The Information爆料說，在2024年下半年的大部分時間裡，OpenAI都在全力開發Orion模型，它被寄予了厚望，原計劃作為GPT-5推出。

跟5月發布的旗艦模型GPT-4o相比，Orion本該有個巨大飛躍。

結果它的表現令人大失所望，最終只能被降級成GPT-4.5，在今年2月推出。默默上線後，GPT-4.5迅速淡出公眾視野。

所以，Orion為何會失敗？

最核心的原因就在於，團隊摸到了預訓練階段的天花板。因為高品質網絡資料已經日益枯竭，訓練小模型時還有效的技巧，在大模型身上竟然就會失效。

這不光導致了GPT-5的延期，也讓OpenAI的團隊內部陷入了自我懷疑。

GPT-5，根本沒有GPT-3到GPT-4級的躍遷

這個從神壇跌落的故事，要從去年12月說起。

當時，OpenAI的研究者完成了一項內部測試，結果震驚了整個團隊。

他們發現，當給一個新模型更多算力和思考時間，它就像開了掛一樣，復雜推理信手拈來，執行任務出色到驚人。

然而，激動的工程師們很快就發現，這份興奮只是暫時的。

當他們把這個新模型轉換為o3聊天版本時，那種驚人的效能提升就消失了。

可以說，這次事件，正是OpenAI在今年大部分時間裡所面臨技術挑戰的縮影。這讓OpenAI不僅內部技術進展緩慢，大獲成功的ChatGPT業務也受到影響。

例如，它的程式設計和數學能力又有了顯著提升。另外，它在驅動AI智能體方面也優於前代模型，只需要極少人工監督，就能處理復雜任務。

它能遵循極為復雜的指令，例如支援智能體何時應批准退款的規則。而在以往，模型需要學習多個棘手的“邊緣案例”，才能處理此類退款。

但總的來說，這些改進根本無法與2020年GPT-3到2023年的GPT-4之間的效能飛躍相提並論。

也就是說，我們需要做好對GPT-5失望的准備。

不過，OpenAI模型的任何改進，即便是漸進式的，也能刺激客戶需求，以及給投資人信心。這樣才能支援OpenAI未來三年半燒掉450億的計劃，畢竟租用伺服器實在太昂貴了。

高階主管為何相信GPT-8？

最近曾有OpenAI高層向投資人透露：沿著目前架構，他們相信模型有朝一日會達到GPT-8的水准。

CEO奧特曼也表示過，利用現有技術，OpenAI有望創造出AGI。

是什麼給了他們這樣的信念？

一位了解內情的微軟員工透露了玄機：測試GPT-5後，他們發現它在不消耗更多算力的情況下，就能產生更高品質的程式碼和文字。

部分原因在於，它學會了准確判斷不同任務所需的運算資源量。

內部“混亂不堪”

不過OpenAI內部，可並非一片和諧。

例如一些資深研究者，非常抵觸將自己的成果交給微軟，盡管這位最大股東擁有的合約權利截至2030年。

雖然兩家公司財務緊密，但在具體合作條款上，卻始終爭執不休。最新資訊是，OpenAI重組營利部門後，微軟很可能在其中獲得33%的股份。

而小札以天價薪資挖走的團隊，也讓OpenAI內部陷入了更大的混亂。

GPT-5要來了!OpenAI掌門人被"嚇壞"

AI界新瓜:GPT-5沒技術突破&小扎和奧特曼人才大戰

美俄日四人太空團隊赴國際空間站將模擬月球登陸

走了這麼多人，只能緊急進行組織架構調整。

上周，OpenAI的研究副總裁Jerry Tworek在Slack上向上司、研究主管Mark Chen抱怨團隊變動的事，許多同事都看到了這則信息。

當時，Tworek表示需要休假一周來重新思考，但最終並未休假。

絕境中的轉機推理模型的意外崛起

總之，直到今年6月，情況依然很嚴峻：在OpenAI開發的模型中，沒有一個能頂得住GPT-5的名號。

好在，“推理模型”成了他們的全新突破口。

23年末一項名為Q*的技術突破，能解決前所未見的數學問題，在OpenAI研究者中引發了巨大震動。

基於Q*，OpenAI開發了許多推理模型，在獲得更多算力時，它們就會表現更佳——看起來，預先訓練的表現成長瓶頸，就要被克服了。

去年秋天，第一個推理模型正式推出，它就是o1。24年底，OpenAI利用與o1基礎相同的GPT-4o，又推出了推理模型o3。

據說，雖然師出同門，但o3的教師模型在理解科學知識方面，比o1的教師模型進步大得多。

背後原因，就是OpenAI用了更多輝達芯片來開發o3的教師模型，這就讓它理解復雜概念時能力更強。

還有一個原因，就是它被賦予了搜尋網絡，以及從程式碼庫中提取資訊的能力。

並且，它也同樣受益於強化學習。在這個過程中，人類專家在生物學、軟體工程和醫學上提出刁鑽的問題和答案，然後讓模型針對這些問題產生數千個自己的答案。

隨後，OpenAI會利用那些與人類專家得出相同答案的AI生成回答（也即“合成資料”）來訓練模型。

推理模型為何總翻車

o3模型發布後，一度成為全球頭條，引發病毒式討論，然而現實很快就給了當頭一棒。

當o3的教師模型轉換為學生模型，變成一個可以讓人們提問的聊天版本時，它的表現顯著下降，甚至跟o1相比沒有任何差異。

同樣，建立讓企業透過API購買的版本時，同樣的問題也出現了。

有知情人分析，原因是這樣的：o3理解概念的方式很獨特，跟人類的溝通方式大相徑庭。

因此，如果建立一個聊天版本，其實就拉低了這個原始天才級模型的智能水平，因為它被迫用人類語言，而非自己的語言去交流。這種情況下，它的推理鏈就會被迫壓縮、扭曲。

甚至有開發者在偵錯時，偶爾能看到模型輸出“亂碼”般的中間語言──那可能就是它“思考”的原始型態，也就是這個天才原本的樣子。

也有人認為，OpenAI沒有投入足夠精力來訓練模型在聊天場景中與人類進行有效溝通。

總之，o系列模型讓ChatGPT的使用者非常困惑，因此公司決定重新回歸GPT的命名體系。

“通用驗證器”

好在，OpenAI還有辦法。

據悉，內部正在開發一種“通用驗證器”，可以自動化地確保模型在RL過程中產生高品質的答案。

本質上，這個過程是讓一個LLM承擔起檢查和評估另一個模型答案的任務，並利用各種資訊來源來對答案進行研究核實。

前一陣OpenAI的模型在數學競賽中拿了金牌後，資深研究員Alexander Wei在X上表示，他們所使用的強化學習方法是“通用”的。

也就是說，這個模型不僅能檢視程式設計這種標准答案清晰的內容，甚至還能判斷寫作這種主觀性很強的內容品質。

這就對GPT-5助力極大！