輝達（NVIDIA）執行長黃仁勳來台，再度化身為最強AI推銷員，掀起市場高度對AI應用前景的期待，並喊出「3兆美元產值的IT產業，未來有望催出高達100兆美元的產業革命」；剛落幕的台北國際電腦展（COMPUTEX）、蘋果（Apple）發表會，也讓接下來的AI應用如何落地成為全球注目的焦點，尤其是邊緣AI（Edge AI）的發展潛力。
根據安聯環球投資研究，生成式AI運算發展正從集中式資料中心逐漸轉向邊緣AI；這意味著此創新科技的發展有望為使用者帶來更快、更個人化的體驗，引領下世代AI技術應用革新的到來，並為投資人帶來潛在具吸引力的投資機會。
2025年企業生成數據
將超過5成與邊緣AI相關
生成式AI在2023年成為一股變革力量，吸引全世界目光並吸引了大量投資。但生成式AI仍處於早期階段，目前受惠標的集中在價值鏈中少數部分。隨著生成式AI在未來幾年有望被更廣泛採用、商機擴大後（詳見圖1），這種情況可能會改變，而邊緣AI的範疇有望逐步轉變成一個關鍵性的成長領域。根據估計到2025年，所有企業生成數據中將有超過5成會與邊緣AI有關。
目前，大多數AI運算活動（包括生成式AI）都集中在大型數據中心，這使得AI能夠運用龐大的運算能力。但隨著生成式AI被更廣泛採用，我們預期運算將向「邊緣」擴展，也就是更貼近終端使用者。在這種情況下，包括智慧手機、汽車、PC和邊緣伺服器都有望承擔更多計算負載，從而實現更快速、更低延遲的體驗。
對於像我們這樣的終端用戶來說，這可能是什麼樣子？想像一下，AI驅動的智慧手機可在出國旅行時提供即時、準確的對話翻譯，或配備個人化人工智慧助手的自動駕駛汽車。
換言之，眼前的創新趨勢正朝向邊緣AI的方向擴展，可以在邊緣AI設備、服務和AI基礎設施方面創造投資機會。利用邊緣AI的公司將有機會脫穎而出，提供更加個人化和高效的服務，進而從中獲得更多競爭優勢（詳見圖2）。
要理解為何邊緣AI與集中型模式相比可以產生如此大的差異，要先了解兩種AI運算類型：訓練和推理。
「訓練」涉及在人工智慧模型中發展智能，類似於人類在進入勞動市場之前花費數年時間進行教育和培訓的方式。像ChatGPT這樣的生成式AI模型，在訓練過程中涉及分析來自網站、書籍和維基百科文章的大量文本。數以千計相互連結的圖形處理單元（GPU）讓這種訓練得以有效進行，這些圖形處理單元最適合執行此階段所需的處理。
一旦AI模型經過充分訓練，它就會被更廣泛地應用在稱為「推理」的過程。在推理過程中，AI模型會根據使用者請求執行任務，例如生成照片、提供餐廳推薦或摘要最近發生的事件。推理計算可以超越訓練需求，尤其是當數百萬用戶積極參與生成式AI應用程式時。
然而，僅在數據中心進行AI推理可能成本高昂，並可能導致用戶體驗不佳。解決這個問題的最佳方法，就是將推理計算分布在整個網路中，包括數據中心、邊緣伺服器和離使用者最近的設備。以手機遊戲和社交媒體照片濾鏡為例，就是採用這個概念，其中推理計算分布在邊緣，如此一來將可以增強用戶體驗。生成式AI可能會遵循類似的發展。