達人開講
輝達晶片「不僅貴，而且還供不應求」！為什麼AI開發成本直逼天價？
撰文者：經濟日報／編譯季晶晶 更新時間：2024-05-10
瀏覽數：1,609
圖片來源：達志影像
AI熱已持續將近18個月，一些最大型的科技公司證明，AI能驅動營收。但這也是個大錢坑。
微軟和Alphabet旗下Google的上季財報均顯示，企業客戶增加AI相關服務的支出，帶動其雲端運算的營收激增。Meta Platforms的技術貨幣化雖然落後其他公司，但也說AI有助提高用戶參與度和廣告定位。
3家公司斥資數百億美元開發AI以取得這些早期成果，他們還沒打算縮手。微軟25日表示，上季資本支出年增79%至140億美元，預計將因投資AI基設而「大幅增加」。
Alphabet本季支出年增91%至120億美元，預期下半年將「達到或超過」該水準。Meta想積極投資AI研究和產品開發，預計今年資本支出高達350億美元至400億美元。這可嚇壞了投資人。
AI成本高昂的原因有2：AI模型愈來愈大，開發成本也就愈來愈高；而且，全球對AI服務的需求有賴新建更多資料中心來支持。
大型語言模型變更大
目前知名的AI產品都由大型語言模型驅動，其中包括OpenAI的ChatGPT。多家領先群倫的AI公司押注，要通往更複雜的AI，或能力超越人類的AI，這些大型語言模型必須變得更大，那需要取得更多數據、有更強的運算能力，並讓系統接受更長時間的訓練。
OpenAI競爭對手Anthropic執行長Dario Amodei在4月初受訪表示，市場上AI模型的訓練成本約1億美元，而「正在受訓的模型，以及今年稍晚或明年初推出的模型，成本接近10億美元」他還說，2025和2026年時「成本會接近50億美元或100億美元」
運算成本
成本大都與晶片有關。訓練大型語言模型，必須依賴能高速處理大量數據的GPU，這些晶片的供應主要來自輝達（NVIDIA），不僅貴，而且還供不應求。
NVIDIA的H100是訓練AI模型的黃金標準，售價約3萬美元，有些經銷商還賣數倍高的價錢。Meta執行長祖克柏曾說，今年底前要買進35萬顆H100，即使打了折扣，總額可能也上百億美元。
只租不買也成，但也不便宜。亞馬遜雲端運算部門將英特爾GPU叢集出租給客戶，每小時要價約6美元，出租NVIDIA的H100叢集，每小時將近100美元。
NVIDIA上月發布一款名為Blackwell的新型處理器，處理大型語言模型的速度快上數倍，定價在3萬到4萬美元間。訓練有1.8兆個參數的AI模型，差不多是GPT-4的規模，大約要8,000個Hopper的GPU，執行同樣任務只需2,000顆Blackwell。但速度改進可能被業界推動建立更大AI模型所抵消。
資料中心
買了晶片之後需有地方安置。Meta與亞馬遜、微軟和谷歌等最大型雲端運算公司，以及其他算力出租服務提供商正競相建置新的伺服器農場。這些建築往往必須客製，以容納一排排硬碟機架、處理器、冷卻系統、體積龐大的電氣設備和備用發電機。
根據研究機構Dell'Oro Group，今年各家公司建置資料中心的支出，將從2020年的1,930億美元狂飆到2,940億美元。很大程度與數位媒體服務有關，但有愈來愈多的支出被指定用於價格昂貴的NVIDIA晶片，以及其他支撐AI榮景的專用硬體。
授權交易和人才
晶片和資料中心之外，一些AI公司還必須花上數百萬美元，從出版商那裡取得內容授權。
OpenAI已與多家歐洲出版商達成交易，將他們的新聞內容納入ChatGPT。這些交易的財務條款未披露，但彭博資訊曾報導，OpenAI同意向Politico和Business Insider的德國出版商Axel Springer支付數千萬歐元，以合法取用其內容。這家新創公司還與時代周刊、美國有線電視新聞頻道和福斯新聞網，進行內容授權談判。
除OpenAI外，大型科技公司也想方設法取得語言數據，以打造引人注目的AI工具。路透報導，谷歌與Reddit達成價值6,000萬美元的授權協議。另據紐約時報，Meta也在討論收購圖書出版商Simon & Schuster。
科技公司同時瘋狂搶奪AI人才。去年，Netflix一度刊廣告招AI產品經理，年薪是叫人咋舌的90萬美元。
較便宜替代方案
微軟最近推出了3種輕量級AI模型。僅管大型語言模型 「仍將是解決多種複雜任務的黃金標準，但對於某些客戶和用例而言，較小的AI模型可能就夠了」。
其他公司，像是兩名前Google員工創辦的Sakana AI，也專注於小模型。
Forrester Research的AI分析師Rowan Curran說：「你並不需要一直開跑車。有時只需要一輛小貨車或皮卡」。
但目前而言，AI領域的傳統觀點是愈大愈好。這將付出高昂代價。
本文獲「經濟日報」授權轉載
臉書粉絲專頁，請按此
延伸閱讀
▶520行情有影？ 法人點名這幾類股是關鍵
▶整理包／日圓貶破34年新低 貨幣弱勢下給日本帶來哪些影響？
▶整理包／繳稅季到！哪家銀行信用卡最好康？各家回饋、哩程、12期0利率一次看
▶想買AI股參與成長，現在是追高嗎？艾蜜莉：投資很難一直賺，怕風險建議ETF
經濟日報每日透過專業記者群，將國內、全球、兩岸、財經、產業、觀點、股市、企管經營等資訊與分析，匯整成即時、精確與最精闢的內容，為財經業界每日必讀的數位全媒體。
您可能有興趣的文章