SEMICON／AI記憶體戰！Google5千億訂單待交貨　喊話供應商：加速擴產

AI算力需求持續爆發，但記憶體供應能不能跟得上才是關鍵問題。今（1）日「記憶體高峰論壇」請來Google母公司Alphabet供應鏈基礎建設資深總監Nikhil Cherian演講，他特別向記憶體供應鏈喊話，要求業者「加速產能爬坡、擴大供應，才能跟上AI基礎建設需求」。他指出，AI產業已從過去的算力受限正式轉向記憶體受限，而Google Cloud目前已簽約但尚未履約的訂單高達5140億美元，背後都需要大量記憶體才能完成部署。

喊話記憶體供應鏈　產能要跟上AI需求

Alphabet供應鏈基礎建設資深總監Nikhil Cherian指出，AI模型規模持續快速成長，從2017年Transformer問世至今，模型參數量約以每年十倍的速度在增加，算力需求也一路進入Exaflops時代。而當運算晶片速度不斷提升，系統反而開始受到記憶體容量與頻寬限制，甚至出現處理器等待記憶體的情況，讓大量的運算資源無法充分發揮。

另外，AI模型越來越複雜，也讓記憶體需求快速攀升，Nikhil Cherian點出三大原因，包括需要大量HBM常駐模型權重的混合專家模型（MoE）、讓AI能長時間自主工作的Agentic Workflows、為加速Token生成而大量使用的KV Cache。

訓練、推理分流　Google推兩款TPU應戰

面對記憶體瓶頸，Google也開始針對不同工作負載設計硬體，2026年首次在一年內推出兩款客製化TPU，分別鎖定訓練與推理。其中TPU v8T主攻大規模訓練，單一Pod可擴展至9600顆晶片、提供121 Exaflops算力及2PB記憶體，TPU v8I則針對推理需求強化，將SRAM提升至384MB、HBM提高至288GB，降低KV Cache資料在晶片外搬移造成的延遲。

2027年「80%算力用於推理」　Google 5140億美元訂單待交貨

Nikhil Cherian提到，產業預估到2027年，AI總算力將有高達80%用於推理，這也代表全球AI服務對記憶體的需求還會持續增加。目前Google除了透過TurboQuant等技術壓縮KV Cache之外，也積極與記憶體供應商共同投資產能並建立長期合作，甚至回收舊伺服器零組件、開發介面轉接器延續舊世代記憶體的使用壽命。

因此他也再次向記憶體供應鏈喊話，AI市場正迎來跨多年、規模龐大的成長機會，業者必須優先擴充產線、加快產能釋放，Google與供應商才能一起抓住這波AI基礎建設商機。

SEMICON Taiwan登場！矽光子與先進封裝6大趨勢一次看