馬斯克: 英偉達贏麻了！馬斯克曝光10萬塊…

2024-05-26 | 來源: 機器之心 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

英偉達：盡管建，用的還是我的芯片……

——題記

最近幾年，隨著大語言模型的飛速發展與迭代，科技巨頭們都競相投入巨額財力打造超級計算機（或大規模 GPU 集群）。他們認為，更強大的計算能力是實現更強大 AI 的關鍵。

早在 2022 年，Meta 即宣布與英偉達共同打造大型 AI 研究超級計算機“AI Research SuperCluster”（RSC），它由 760 個英偉達 DGX A100 系統組成，共有 6080 塊 GPU，性能非常強大。

如今，馬斯克旗下人工智能初創公司 xAI 傳出了打造超級計算機的消息。

據外媒 The Information 報道，最近馬斯克向投資者透露，xAI 計劃建造超級算力工廠“Gigafactory of Compute”，為 AI 聊天機器人 Grok 的下一個版本提供算力支持。

據悉，xAI 計劃將 10 萬塊 H100 專用 GPU 串聯一台超級計算機，其規模至少是當前最大 AI 集群的四倍。如果 xAI 的計劃能夠順利完成，這台超級計算機將耗費數十億美元和大量電力。

不過，馬斯克似乎很有信心，他的目標是在 2025 年秋季之前讓這台超級計算機“跑”起來，並親自負責按時交付。

發給馬斯克560億特斯拉為什麼還漲？

500億薪酬，馬斯克憑啥拿這大酬勞

$560億到手!特斯拉股東批准馬斯克天價薪資計劃

當然，xAI 不想單打獨斗，其有望與甲骨文公司（Oracle）合作建造超級計算機。我們知道，xAI 是 Oracle 最大的 H100 服務器芯片租賃客戶，已經使用了後者超過 1.5 萬塊 H100 芯片。

屆時，xAI 超級算力工廠建成之後，10 萬塊 GPU 芯片集群將加速 Grok 聊天機器人的開發，減少語音限制。目前，Grok 的最新版本為 Grok 1.5，該版本實現了長上下文理解和高級推理能力，可以處理 128K token 的長上下文窗口。

而據馬斯克此前透露，xAI 正在訓練的 Grok 2 已經耗費了約 2 萬塊 H100 GPU，未來進階版本 Grok 3 可能需要高達 10 萬塊 H100 GPU。看來，馬斯克已經在為 Grok 3 未雨綢繆了。

最後，對於超級算力工廠而言，最關鍵的找到一個電力充沛（可能需要 100MW）的位置。因此，AI 數據中心位置的選擇非常重要。

至於建成的意義是什麼？這個規模龐大的超級算力工廠將幫助 xAI 追趕 OpenAI、微軟等資金更為雄厚的競爭對手。

此前同樣據 The Information 報道，微軟和 OpenAI 擬投入超 1000 億美元打造一個數據中心項目，其中包括一台“星際之門”（Stargate）的 AI 超級計算機，配備了數百萬個專用服務器芯片，旨在為 OpenAI 實現 AGI 提供動力。