作者：納蘭雪敏
隨著Google TPU 與Gemini持續稱霸， AI 競爭的重心也從訓練慢慢轉向推理，NVIDIA的GPU 時代似乎開始動搖，特別是TPU 在效率與成本結構上的優勢逐漸浮現，在軟體端 Google大模型Gemini已經有逐漸超越ChatGPT的趨勢，在生成圖片上已經能成功的創造出準確的繁體中文字體在畫面上，各種測試數據也已經跟ChatGPT最尖端模型不相上下。NVIDIA將把 Groq 的 AI 推理技術整合進未來產品體系中，而 Groq 創辦人兼CEO Jonathan Ross、總裁 Sunny Madra 以及部分核心工程人員將加入NVIDIA。 Groq 公司本身繼續保持獨立運營，雲端業務 Groq Cloud 也將繼續對外提供服務，但技術授權，外，整間晶片公司的核心團隊，卻很少幾乎全部轉移。
NVIDIA看中是 Groq 的的架構， 特別是Groq 是由前 Google 工程師，同時也是張量處理單元（TPU）主要研發者 Jonathan Ross 於 2016 年創立的半導體新創公司。
這間公司最核心的產品是語言處理單元（LPU），這是一種專門為大型語言模型推理階段設計的處理器，與傳統圖形處理晶片（GPU）相比，LPU 採用「確定性的架構」與「超高頻寬的靜態隨機存取記憶體（SRAM）」，能夠在極低延遲的情況下提供極快的運算速度，讓 AI 生成內容的過程幾乎達到即時同步的程度。
「確定性的架構」是硬體執行指令的時間是完全可以預測且固定的，在傳統晶片（如 CPU 或 GPU）中，為了提升效率，硬體會內建許多複雜的「自動調整機制」，例如預測下一段程式碼要做什麼（分支預測）或自動管理快取記憶體（Cache）。
這些機制雖然聰明，但會導致相同的指令在不同時間執行時，耗費的時間不完全一樣，產生不穩定延遲。
Groq 的設計去除這些不確定的硬體邏輯，將所有的資源調度工作交給軟體編譯器，每一項運算在晶片中移動的路徑與時間，在程式執行之前就已經被精確計算。這就像是火車時刻表，每一班車在什麼時間抵達哪一個車站都完全固定，確保整個運算網路完全同步，不會出現意外的交通堵塞或等待。
「超高頻寬的靜態隨機存取記憶體（SRAM）」則是一種比傳統顯示卡使用的 HBM 或一般電腦記憶體快上許多的儲存技術，SRAM 的特性是存取速度極快、延遲極低，因為它直接整合在晶片內部的運算核心旁邊，在傳統 GPU 進行 AI 推理時，晶片需要不斷從外部的 HBM 記憶體搬運大量的資料（模型權重）到核心中，這個搬運過程往往比計算本身更花時間，形成所謂的「記憶體牆」瓶頸。
Groq 則是將資料直接存放在晶片內的 SRAM 中。雖然 SRAM 的成本較高且佔用的空間較大，導致單顆晶片的容量有限（約 230MB），但它的存取頻寬遠高於 HBM，且延遲幾乎可以忽略不計，透過這種方式，計算核心能以全速獲取需要的資訊，讓 AI 生成文字的速度大幅成長，達到幾乎即時的回應。
這種架構與記憶體技術的結合，正是 Groq 能夠實現極速生成的關鍵，因為架構是確定性的，多顆晶片之間可以像鐘錶齒輪一樣完美同步，共同組成一個巨大的運算群，而 SRAM 會讓資料傳輸不會拖慢速度，讓 AI 服務在處理即時對話或複雜推理任務時，能提供流暢的體驗。
如果有在使用Gemini的用戶可以很明顯發現，Gemini的生成速度遠遠明顯比起ChatGPT流暢就是這個原因。
AI 發展的重心從訓練轉向推理，NVIDIA在GPU 長期的領先優勢慢慢不在，TPU 在效率與成本優勢更高，並會成為Google未來的關鍵護城河。
推理時代來臨，TPU 震撼 GPU 的領先幅度。
過去一年，Google 在 AI 基礎設施明顯出現改變。
Google的第七代Ironwood TPU 與 Gemini 模型已經有龍頭之姿，Google 與 NVIDIA 之間的競爭，不再是誰買了更多 GPU的問題，逐漸演變成不同的算力路線的未來， GPU 依主宰訓練，但在推理決定長期成本與利潤率的關鍵，TPU 快速逼近，而且被預期會出現大規模的應用，導致市場對NVIDIA的信心快速下降。
GPU 的優勢是通用平行運算能力， TPU 從誕生就是針對神經網路推理高度客製化的 ASIC，在單位能耗、延遲可控性、規模化推理成本，TPU 具備大模型商業化的可行性，模型能力逐漸穩定，推理開始吞噬越來越多算力資源，誰的成本更低就更重要了。
AI 從訓練時代，邁入推理時代，訓練是一次性投入，推理是持續性支出，訓練決定能力上限，推理決定回本速度，當客戶開始認真計算推理帳單時，GPU 的高溢價模式第一次有結構性挑戰，Google則透過 TPU，建立雲端業務的護城河。
TPU 不是普通的客製化晶片，本身創造適合Google的低成本推理， 更重要的是Google 在雲端推理上可以擺脫對NVIDIA的依賴， Google 雲在未來推理時代的競爭有獨家的優勢。
Groq 的價值，就藏在這裡。
戰略合作 Groq 快速進軍客製化AI推理晶片市場
Groq 創辦人 Jonathan Ross 以前是 Google 晶片高階主管，也是 TPU 的早期核心團隊，所以他非常清楚TPU的優點，帶著這種設計哲學，NVIDIA希望引入他的設計思維，而不是重新自己研發，比起重新建立架構，直接戰略合作和轉移關鍵團隊更快。
市場原本一度傳NVIDIA以高達 200 億美元的價格全資收購 Groq 的消息，但隨後被否認，市場預期等於認同了2025年下半年出現的TPU的路線。
Groq 今年的目標營收約 5 億美元，這些營收並不是NVIDA要的，而是技術核心人才轉移的，成本戰爭已經開始。
AI晶片新創公司顯示低延遲與客製化晶片將是顯學
Cerebras Systems 是另外一間希望挑戰晶片設計極限知名的新創企業，這間公司的發展方向與傳統半導體設計截然不同，最核心的技術在於開發晶圓級引擎（Wafer-Scale Engine, WSE）。一般晶片是將矽晶圓切割成數百個小晶片，但 Cerebras 則是將整片直徑 300 公釐的矽晶圓直接製造成單顆巨大的處理器。
最新的 WSE-3 擁有高達 4 兆個電晶體與 90 萬個 AI 優化核心，這種極致的硬體整合設計，能夠完全消除多晶片之間資料傳輸的延遲與頻寬瓶頸，這在處理需要龐大運算能力的 AI 模型時具有絕對優勢。
Cerebras 目前正積極從「硬體供應商」轉型為「AI 運算服務平台」。這間公司在 2025 年投入大量資源建設全球性的資料中心運算群，分佈在美國、加拿大與法國等地。
公司的戰略目標是提供高效能的 AI 推理雲端服務，讓開發者與企業不需購買昂貴的硬體，就能透過網路 API 使用 WSE-3 的強大算力，這種轉型不僅創造更穩定的訂閱制收入，透過垂直整合硬體與軟體服務，與 NVIDIA 的 CUDA 生態系展開直接競爭。
主權 AI是 Cerebras 另一個關鍵的發展重點。透過推動 Cerebras for Nations 計畫，這間公司與各國政府合作，協助建立獨立的 AI 基礎設施，包含與美國能源部（DOE）簽署協議，將 WSE 技術應用於科學發現與高效能運算（HPC）領域，以及與阿拉伯聯合大公國的 AI 巨頭 G42 深度合作。
雖然Cerebras 面臨由美國財政部主導的美國外國投資委員會（CFIUS）的審查，CFIUS 負責評估外國投資者對美國敏感技術公司的投資是否會危害國家安全， 與阿拉伯聯合大公國的 G42 計畫向 Cerebras 投資約 3.35 億美元取得超過 5% 的股權，交易自動觸發美國的審查機制。
審查的核心擔憂在於 G42 過去與中國科技企業（如華為與華大基因）的深厚聯繫，美國政府擔心 G42 可能成為中國獲取受限 AI 技術的「中轉站」。在美中科技對抗的背景下，美國嚴格限制高性能 AI 晶片出口至中國。
如果 Cerebras 的晶圓級技術透過 G42 流向受限制的地區，將直接威脅到美國的技術領先地位。G42 在 2024 年上半年度貢獻了 Cerebras 高達 87% 的營收，這種極高的客戶集中度代表 G42 的任何法規風險都會直接轉化成 Cerebras 的財務風險。
Cerebras 與 G42 曾嘗試修改投資協議，將 G42 持有的股份改為「無投票權證券」，試圖藉此豁免詳細審查，但監管機構並未因此鬆手，長期的不確定性是導致 Cerebras 在 2025 年 10 月撤回 IPO 申請的關鍵原因之一，因為在審查結果未明朗前強行上市，可能會讓投資人面臨極大的風險。
