輝達(Nvidia)的市值於2025年七月衝過四兆美元，成為世界最有價值的公司。過去兩年半來，輝達的營收成長五倍，股價上漲十倍，這樣有行無市、賣到缺貨、淨利率達百分之七十五以上的成長動能史無前例。但最奇特的是，這一波對AI加速器的需求並非由輝達所帶動，最大催手其實是ChatGPT的橫空出世所激發出來各行各業對AI能力與應用的想像和期待。
過去兩年的AI加速器需求跟各式各樣基礎模型(foundational models)的訓練與微調息息相關。一開始基礎模型聚焦於語言模型的開發，繼而擴大到影像、語音和視訊，最近則延伸到人類行為的捕捉。在應用層面，許多公司開始微調商用或開源的基礎模型以客製出特殊功能或強化特定領域的知識庫。由於基礎模型的能力已達到相當高的水準，再加上訓練資料的來源幾已窮盡，未來幾年基礎模型的競爭將趨於大者愈大、弱者淘汰的方向，因此投入訓練的總體能量可能將漸次減低。然而，針對特定應用微調基礎模型的需求預期將大增，但因微調所需的運算量遠低於訓練，基礎模型的訓練與微調對AI加速器的需求量將呈下降之勢。
雖然輝達今天處於絕對賣家市場的優勢，這樣的市場優勢也意味著整個AI加速器生態鏈，包括系統商、雲端服務商與企業用戶，都對替代供應源(second source)殷殷盼望如大旱之望雲霓。超微和英特爾現在都已推出效能可與輝達上一代AI加速器相媲美的產品，但市場占比仍然偏低，原因是他們的軟體支援仍嫌薄弱所以使用上尚不流暢。雲端服務商如谷歌、微軟與亞馬遜為了降低對輝達的依賴，都已著手開發自有的AI加速器，尤其谷歌在這方面的投入已逾十年。開發一顆雲端AI加速器所需資金約在五千萬美元左右，這樣的投入比之於微軟投資OpenAI上百億美金訓練ChatGPT，相當划算，因為作出的AI加速器，即使不足以與輝達完全匹敵，也能在與輝達議價時提供可觀的空間。
未來幾年很大一部份的AI加速器將應用於基礎模型的推論，而且他們的建置將逐漸從雲端的資料中心移至地端的用戶設備，如AI手機或個人電腦。現今地端AI加速器尚未能有效支援基礎模型的推論，因為他們的記憶體容量與頻寬兩皆不足，但隨著模型設計、壓縮技術與硬體架構的進步，這個問題終將獲得解決。這樣的趨勢對高效能、高耗電的雲端AI加速器廠商如輝達及其供應鏈是個潛在的威脅。
台灣在這一波嚐到AI加速器紅利的業者包括晶片製造封裝商、電源散熱次系統供應商、系統組裝商、為雲端加速器提供後段線路設計服務的晶片公司。但這些廠商對加速器的主體架構設計著墨都不深，雖然很大比率的AI硬體紅利正是歸諸於主導架構設計的加速器晶片公司。相形之下，儘管以色列的晶片設計業整體量能低於台灣，卻已產出了幾家成功商轉的AI加速器新創公司。台灣雖號稱電腦王國，但業界對電腦架構(computer architecture)設計與相關系統軟體的投入卻出奇地低；學界亦是如此，過去十五年中，台灣團隊在美國最重要的電腦架構學術會議出現的次數，一支手可以數完。如何在此領域快速迎頭趕上，應是台灣維持AI硬體長期競爭優勢的重要課題之一。
