相信嗎?李開復:中國大模型與美國僅差6個月

2024-05-21 | 來源: AI未來指北 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

就像你如果有一台特斯拉，它不會因為別的牌子的車比它賣的很便宜它就覺得它要降價，我們就是特斯拉，我們的價錢是合適值得的。

如果你再問以後可能中國就是這麼卷，大家寧可賠光通輸也不讓你贏，那我們就走外國市場。

Q：對比海外第一梯隊，中國從落後到做小差距，為什麼作為後來者的千億參數模型在scaling law上看起來能夠加速的？決定Yi-Large性能提升加速的核心因素也有哪一些？在算力還是不夠多的前提下讓Yi-X-Large達到GPT4的水平，下一步要解決的最重要的技術問題是什麼？這個問題給到模型訓練負責人文灝。

黃文灝：首先我覺得我們一開始落後沒有7-10年沒有那麼多，可能之前落後一段時間，但現在很接近了。

首先做的事情是，零一萬物每一步在模型訓練上的決策都是正確的，這個看起來是比較容易的事情，其實做起來是不太容易的。

包括我們一開始花了很長時間去做數據質量提升，我們去做scaling Law，沒有很著急的推出第一款模型，把我們的基礎做的比較好，接下來我們不停地提升數據質量，不停地在做scale up，我們在基礎能力建設完以後，在scale up的中會非常順暢。

另一方面是我們很重視infra的建設，就是算法 Infra 其實是一個 co-design 的過程，在這種情況下我們才能夠把我們的算力發揮到比較好的水平。

所以我覺得因為我們前面做對了很多事情，follow這個路徑下去我們和世界一流梯隊之間的差距是會越來越小的。而且我們在這個過程中建立了一個非常強的人才團隊，我們有自己培養的，也有被我們的使命和願景吸引過來的人，我們一塊去做這個事情。所有的人都是工程、Infra、算法三位一體，這些人才在將來也會發揮越來越大的作用。

Q:在Coding方面剛才開復老師提到了Yi-Large並沒有針對Coding做專門優化，但還是位列第二。專門做優化的則排名好像沒有看到上來，這是為什麼？在Coding方面的優勢是怎麼實現的？我們給到文灝。

對話李開復:當AI比人聰明,我們還剩什麼?

中國AI硬件已超美國?李開復:全球幾乎無人能敵

受曹德旺邀請,李開復加入福建福耀科技大學!

黃文灝：剛才提到沒有專門對Coding做優化，是因為我們在LMSYS上面的模型和在我們自己的產品當中的模型的API是完全一致的。我們也分析過用戶需求，Coding並不是大家非常廣泛使用的場景，大家可能會在實際場景中有一些Coding問題，但是到非常專業的Coding問題還是會用一些Coding專門的模型，所以我們會有一個general的模型，因為我們覺得LMSYS是更general一些，我們提供是一個general模型的評測。驚奇的是發現它在Coding上也做的挺好的。

第二，我們有一些做Coding專項的優化，我們覺得Coding也是大模型發揮能力的一個場景，我們可能未來也會有一些相應計劃在這邊，所以我們做了Coding專門模型，Coding專門模型會對Coding場景，比如說代碼改寫、長代碼續寫、代碼補全有非常好的性能表現。之後我們也會陸續把Coding專項模型開放出來。

Q：目前AI的訓練是否遇到數據荒的情況？之前用國內的弱智吧數據訓練開源版本的Yi-34B效果顯著，零一萬物是否會另辟蹊徑的訓練數據源？目前比較好的數據來源是什麼啊？這個我們可以回答的尺度就可以。

黃文灝：首先我們沒有碰到數據荒的問題，至少我們看到數據還有一兩個數量級的增長，數據還是有很多可以挖掘的一些潛力，這裡有我們很多正在進行的工作，具體不太方便透露怎麼做，但是我們的確看到數據有很大潛力。而且我們最近在多模態上有一些finding，可以更進一步增加一到兩個數量級的數據量。

弱智吧我們可以簡單交流一下，這個工作是我們這邊的intern和和一些科研機構合作的。當時是我們的想法，這些數據可以對模型訓練有一些幫助，我們做數據團隊一直有這種奇思妙想去開拓不同的數據場景，提高數據的質量和數據的diversity。

李開復：終於說出來了，弱智吧是我們的點子。

Q：GPT-4O開始做原生多模態模型，統一文本、音頻、圖像、視頻的輸入輸出的多模態大模型會是一個確定方向嗎？可否透露一下零一萬物在多模態的進展。

李開復：其實跟我們交流過的媒體朋友和外界朋友會知道，我們在去年一直都認為全模態模型，omni，也就是我們挑了同樣的詞已經在做這個工作，這個工作不是人家出來你再跟風能夠跟得上的，我們有一定的累積，我們也相信全模態是正確方向。從我們的release schedule 來說，我們只能說在今年你們可以期待一個驚喜，細節請文灝再補充。