6顆芯片1500美元,成本占GPU一半,英偉達搶瘋了

2024-05-21 | 來源: 騰訊科技 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

作為一名“AI政治家”，山姆·奧特曼頻繁地出現在全球各大科技、經濟活動的演講台，言必稱“算力”。

我在《黃仁勳“人肉快遞”，掀起900億美元算力爭奪戰》中也提到，來源無非兩種路徑：買和自研。現在，硅谷巨頭們基本都是兩條腿走路，一邊買、一邊下場自研，連蘋果也被傳出和台積電搞了4年的推理芯片項目ACDC（Apple Chip in Data Center）。

主流GPU供應商包括英偉達、AMD、Intel這幾家，但每年數百萬顆GPU能夠生產出來的前提，是上游的供應商能夠提供足夠的零部件，比如最為關鍵的HBM存儲芯片。

以H200為例，1顆邏輯芯片要搭配6顆HBM存儲芯片，到GB200，1顆邏輯芯片要搭配8顆HBM存儲芯片，整體需求會在現有的基礎上增長30%以上。TrendForce預計2025年GB200的出貨量將達到100萬顆，單單這一款產品，對HBM存儲的需求就將達到800萬顆。

01 AI帶火HBM

HBM（High Bandwidth Memory），中文翻譯過來即高帶寬內存，由於這幾年的GPU產品大量的采用而火起來（如下圖），但實際上它也不算特別新的概念，2013年就被固態技術協會定位行業標准。

美考慮擴大限制中國取得AI芯片(圖

不續簽 50年石油美元時代結束了

美升級制裁盧布應聲下跌,俄民眾搶購美元

主要GPU廠商的主流產品對應的HBM型號，來源：TrendForce

2015年，AMD Radeon R9 Fury X全行業首次應用HBM內存，但由於當時深度學習向量計算需求還沒有爆發，且HBM與GPU/CPU封裝在一起，相比DDR內存容量還小，作為早期技術成本太高而無法在消費級產品上大規模的應用。

高到什麼程度呢？AMD RX Vega當時搭載了2顆HBM2內存，BOM成本大概是160美元，單顆成本80美元，數倍於GDDR5 / GDDR5X，TrendForce預估HBM的單價是DDR的5倍，而且HBM的價格隨著算力需求的上升也在不斷上漲，這個差距還會進一步拉大。

貴，還不得不用，問題在於處理器和內存之間的數據交換存在瓶頸。

相比主流的存儲方案，HBM的高帶寬，在解決數據交換瓶頸上具有天然的優勢。根據Embedded整理的數據，16GB的HBM2e每個堆棧的帶寬達到460.8GB/s。

架構上，傳統方案一般為存算分離架構，處理器是處理器，內存是內存，存儲顆粒和邏輯芯片分開，而采用3D堆疊的HBM內存，則通過CoWoS與邏輯芯片封裝在一起。