生成式AI快速普及，帶動運算需求爆發，晶片效能的競爭已不再只侷限於運算核心本身，「記憶體」正逐漸成為左右AI效能的關鍵變數。2025年12月底，輝達（NVIDIA）斥資高達200億美元，取得AI新創公司Groq的SRAM（靜態隨機存取記憶體）技術授權，震撼市場，也讓原本由HBM（高頻寬記憶體）主導的AI記憶體版圖，出現新的討論空間。

從輝達押注SRAM，看推論時代的下一步布局

這項投資不只是金額驚人，更重要的是其背後所透露的技術方向轉變：在AI推論（Inference）時代，記憶體的「速度」比「容量」更重要。

GPU遇上「記憶體牆」，SRAM成為解法之一

長期以來，AI晶片多仰賴HBM來滿足大量資料存取需求，但隨著大型語言模型（LLM）參數規模持續擴張，HBM在容量、頻寬與功耗上的物理限制逐漸浮現，業界所稱的「記憶體牆（Memory Wall）」問題，成為效能進一步提升的瓶頸。

輝達此次導入Groq的SRAM技術，正是為了改善GPU在推論階段的即時反應能力。SRAM不需刷新、延遲極低、功耗相對較小，雖然單位成本高、容量有限，但在高頻、低延遲的推論應用中，具備獨特優勢。

簡單來看，HBM與DRAM追求的是「裝得多」，而SRAM追求的是「跑得快」。

Groq憑什麼值200億美元？

Groq在2025年9月的市場估值尚未達到70億美元，輝達卻願意以近3倍代價取得技術授權，關鍵在於其記憶體架構設計。Groq的語言處理器（LPU）並不依賴產能吃緊、成本高昂的HBM，而是改以高密度SRAM為核心，專注於提升推論速度與能效。在實際測試中，Groq的解決方案在運行Meta於2024年底推出的輕量化Llama 3.3 70B模型時，推論速度可達傳統GPU的10倍，能耗則降低約9成，顯示在特定推論場景下具備成本優勢。

從Google TPU到輝達，推論戰場逐漸成形

值得注意的是，類似的記憶體配置思維早已出現在Google的TPU架構中。最新一代TPU v7（Ironwood）透過高比例HBM搭配SRAM，兼顧效能與能耗表現，市場甚至預期其在2026年ASIC晶片出貨量上，有機會超越AWS。

而Groq的創辦人暨執行長Jonathan Ross，正是當年Google TPU的核心設計者之一。這也讓外界認為，輝達此次投資不只是取得技術，更是延攬一整套成熟的推論架構思維。