今年最需要研究的產業會是什麼?筆者認為,生成式AI與ChatGPT也許是公認的標準答案。ChatGPT橫空出世,捲起千堆雪,也開啟CSP巨頭們的AI大戰。從最新財報來看,微軟(Microsoft)維持資本支出並專注在AI;Google雲端業務首度獲利;Meta將3座資料中心規格改成同時支援AI及非AI雙架構,亞馬遜(Amazon)將修建倉儲的費用轉向雲計算(Cloud Services)業務,在在都顯示出發展AI是科技巨頭們的焦點。
根據研調機構TrendForce預估,雖然2022年AI伺服器年出貨量僅占整體伺服器比重約1%,但2023年預估出貨量將年增8%,2022年至2026年年均複合成長率(CAGR)達10.8%。而IDC數據則預估2022年~2025年CAGR達19.5%。
目前伺服器標準功耗約在750W到1,200W,而AI伺服器主流採用輝達(NVIDIA)的DGX A100伺服器,最高系統功率則高達6,500W。為了確保運算效能,高階散熱需求隨之出現,目前散熱解決方案以氣冷及液冷為主,氣冷靠散熱模組將熱散至空氣中,一般採用均熱板及散熱模組,更高階則有3D VC解決方案(將熱導管垂直硬焊在熱板上,增加蒸氣空間,體積彈性也更大)。液冷則用冷水板吸熱,再用水帶走熱能,除了散熱效率較好之外,也擁有比氣冷更低的PUE值,讓企業能降低電費成本。
液冷解決方案在功耗超過500W後效率較佳,因此目前伺服器仍以傳統氣冷為主流。但隨伺服器新平台功耗提升到350W至400W,加上AI伺服器功耗飆升,逐漸逼近傳統氣冷散熱極限後,更高階的3D VC氣冷及液冷將持續被導入。目前英特爾(Intel)已經開始推薦客戶針對功率高達350W的問題採用液冷方案。