長期以來，關於人工智慧（AI）環境影響的討論，尤其是能耗，充斥著各種估算與推測，主要原因是缺乏來自大型服務提供商的具體營運數據。正如許多長期追蹤此技術的觀察家所感受到的，在缺乏第一手證據的情況下，市場上關於 AI 推論（Inference）能源成本的討論，普遍存在嚴重高估的現象。
2025年8月22日 Google 官方部落格發布的一份詳細技術報告，為這個資訊真空地帶提供了重要的澄清，讓我們能以更精確的視角，重新審視 AI 的能源成本。
完整技術報告連結：請點我這篇Google技術報告的重要性，在於明確區分 AI 兩種截然不同的工作負載：「訓練（Training）」與「推論（Inference）」；公眾與媒體常將 AI 視為單一整體，誤將能源高度密集的訓練成本，套用在日常使用的推論應用上，先講報告的結論：【其實一般的
AI查詢(推論)耗電量，跟Google Search差不多，AI訓練才是能源消耗的關鍵。】
重新檢視 AI 能源消耗：數據揭示的新現實
重新定義推論成本
Google 的報告首次以較高的透明度，說明了其 Gemini AI 服務在真實生產環境中的環境足跡；報告指出，一個位於中位數的 Gemini 提示（prompt），資源消耗如下：
———因為AI查詢的複雜度差異很大，所以Google報告中採Gemini 眾多查詢的中位數作為推算的依據。
- 能源消耗：0.24 瓦時 (Wh)
- 碳排放：0.03 克二氧化碳當量 (gCO2e)
- 用水量：0.26 毫升 (mL)
為了讓這些數字更具體，報告提供了一些生動的對比：
- 能源：0.24 Wh 的能量，約相當於觀看電視不到 9 秒或 微波爐運作1秒。
換言之，觀看一部 YouTube 影片的耗電量，可能就超過了每個人一週使用 Gemini 的總和。
- 碳排：0.03 克的碳排放，接近人類一次呼吸的量。
(開個玩笑)下次當環保人士疾呼 AI 查詢破壞環境時，慷慨陳詞過程中的呼吸碳排量，或許已超過了您三天查詢 Gemini 的總碳排； 雖然AI訓練確實還是高碳排與高耗能的過程。
- 用水：0.26 毫升的水，僅約 5 滴。
一個 500 毫升的寶特瓶水量，足以支持近 1900 次的 Gemini 查詢。
這些數據顯著低於許多先前的公開估計，挑戰了「AI 推論是能源巨獸」的普遍印象。
修正一個廣為流傳的說法
這份報告最有影響力的一點，是回應了「一次 ChatGPT 查詢耗能是 Google 搜尋十倍」的說法。此說法源於 2023 年的一項估算，當時推斷單次查詢約消耗 2.9 Wh 電力，而 Google 在 2009 年公布的傳統搜尋耗能約為 0.3 Wh，「十倍」之說因此廣為流傳。
問題的關鍵不在於報告本身的可信度，而在於時間。這是在2023年時間點的技術估算，卻忽略了 AI 技術進步的驚人速度。在短短這一年半內，AI 的效率已提升數十甚至上百倍：這次 Google 的新數據（0.24 Wh）顯示AI查詢耗能不僅比舊估算低了十倍以上，也證實了推論的能源成本，在這個時間點上已與傳統 Google 搜尋（約 0.3 Wh）處於同一數量級。
此趨勢也得到了其他主要 AI 公司的印證：OpenAI 執行長 Sam Altman 曾透露，一次 ChatGPT 的平均查詢耗能約為 0.34 Wh，與 Google 的數據相當接近。這表明，推論效率的大幅提升是整個行業的普遍趨勢。
歷年每次查詢能耗估算整理
Google選在此時公布能源數據，可被視為一種戰略佈局。Google 藉由發布包含詳盡方法論的報告，不僅是為了建立業界的評估標準，也試圖將行業競爭的焦點，從單純的模型性能，轉移到能源效率(每瓦效能)上——這正是 Google 憑藉其自研 TPU 晶片等垂直整合能力所具備的優勢領域。
效率從何而來？Google一年內實現33倍能源效率提升的秘密
Google 報告中最引人注目的成就之一，是在過去 12 個月內，將 Gemini 中位數提示的能源消耗降低了 33 倍，這項進步並非單一技術突破，而是來自於整個服務堆疊中多層次優化的綜合效應。
全面測量推論能耗
傳統上，對 AI 能耗的評估常僅關注核心 AI 加速器（如 GPU 或 TPU）的功耗。然而，這種在控制環境下（例如單一 GPU 服務單一請求）的測試，無法反映真實世界「生產環境」(產品實際營運時)的複雜性。在實際運營中，你不可能用一張 GPU 只服務一位使用者，而是會同時處理大量請求，背後還涉及冷卻系統、網路、備用主機等多重開銷，Google這次的報告也分解了一次推論伺服器所需能源消耗占比：
- 活躍 AI 加速器 (TPU) 能源 (58%): 模型核心計算時消耗的能量 (0.14 Wh)。
- 主機伺服器 CPU 與 RAM 能源 (25%): 支援加速器運行的 CPU 和記憶體耗能 (0.06 Wh)。
- 閒置系統能源 (10%): 為確保服務可用性而備用的閒置機器耗能 (0.02 Wh)。
- 資料中心基礎設施開銷 (8%): 冷卻、電力轉換等間接能耗 (0.02 Wh)。
此分解顯示，若只測量活躍的 AI 加速器，將嚴重低估真實世界的運營足跡—支持性基礎設施和系統冗餘配置也是能源消耗中不可忽視的部分。
軟體優化工具箱
Google也說明了他們一系列先進的軟體與系統級優化技術，是實現能源效率飛躍的核心驅動力。
- 批次處理 (Batching)：將多個用戶的請求組合成一個「批次」進行處理，可攤銷固定開銷，大幅提高硬體利用率，是提升吞吐量的基礎技術。
- 推測解碼 (Speculative Decoding)：利用一個小而快的「草稿模型」預測答案，再由一個大而強的「驗證模型」在後台驗證。此機制大幅節省了大型模型逐字生成答案所需的計算資源，實現了資源的高效利用。
- 分離式服務 (Disaggregated Serving)：大型語言模型的推論過程包含計算密集型的「預填 (Prefill)」和記憶體頻寬密集型的「解碼 (Decode)」。此架構將兩個階段分配到不同、專門優化的硬體上執行，消除了系統瓶頸，提升整體效率。
- KV 快取 (Key-Value Caching)：在生成每個新詞元（token）時，模型需要回顧先前處理過的內容。KV 快取將計算過的「鍵 (Key)」和「值 (Value)」向量儲存在高速記憶體中，避免了重複計算，將生成長序列的計算複雜度從二次方（O(n2)）降低到線性（O(n)），是 Transformer 架構的核心優化之一。
這些複雜的優化技術表明，AI 推論已演變為一門成熟的系統工程學科，行業焦點正從「讓模型能用」轉向「讓模型在規模化部署時更高效」。
Google的「矽谷護城河」：從晶片到雲端的垂直整合優勢
Google Gemini 推論的高效率，源自於其長達十年的長期耕耘：一個從底層晶片到上層雲端服務的垂直整合生態系統。其自研的張量處理器（Tensor Processing Unit, TPU）配合其雲端服務整合生態系，構築了一道競爭對手難以逾越的「矽谷護城河」。
機器的核心：張量處理器 (TPU)
與通用圖形處理器（GPU）不同，TPU 是一種專為 AI 核心的張量計算而優化的專用積體電路（ASIC）。Google 早在 2015 年左右就開始研發 TPU，至今已有近十年歷史。最新一代專為推論優化的 TPU 名為「Ironwood」，其能源效率是第一代 TPU 的 30 倍。 這種硬體層面的指數級效率提升，為所有上層軟體優化提供了堅實基礎。
整合的複利優勢
Google 的全棧(full-stack，或稱全堆疊)優勢體現在一個無縫銜接的技術鏈條上： 自研晶片 (TPU) → 編譯器 (Open XLA) → 框架 (JAX) → 模型 (Gemini) → 資料中心
這種軟硬體協同設計消除了通用平台常見的效率損耗，產生了「1+1>2」的複利效應。雖然其他公司可以購買 NVIDIA 的 GPU，但難以複製 Google 十年來在其軟體與硬體之間形成的協同進化關係。
為何 Google 不出售 TPU？—一個Google內部懸而未決的問題
既然 TPU 如此強大，為何 Google 不將其作為產品直接出售，與 NVIDIA 在市場上展開競爭？根據資深半導體分析師 Dylan Patel 的觀點，這背後有兩個主要阻礙：
- 組織與商業模式的慣性：將 TPU 作為硬體產品對外銷售，需要 Google Cloud (GCP) 進行徹底的業務模式重塑和企業文化轉變，這對一個龐大組織而言挑戰巨大。
- 長期的戰略焦點：Google 的最高領導層堅信，AI 競賽的終極價值在於率先打造出通用人工智慧，即模型本身，而不是銷售用於生產價值的工具。他們不願為了短期的晶片銷售利潤，而分散了對長期目標的專注。
AI 的另一個面貌：能源密集的模型訓練
儘管單次推論的低能耗是個好消息，但它只講出了故事的其中一半。要全面理解 AI 的能源足跡，我們必須將視角轉向AI發展更重要的另一面：模型訓練——AI 訓練是一個不折不扣的能源密集型過程。
為何AI訓練是能耗猛獸？
訓練與推論在計算本質上存在巨大差異，導致了能源需求的鴻溝：
- 計算複雜度：推論只需一次「前向傳播」。訓練則需要在每次前向傳播後，再進行一次「反向傳播（backpropagation）」來更新模型權重，每個 token 的處理計算量大約是推論的三倍。
- 數據規模：推論處理單一用戶的少量數據，而訓練一個前沿模型，需要在數十萬億token的數據集上進行多次迭代。
- 通信開銷：現代 AI 訓練在數千個晶片上並行進行，為了同步權重，晶片間需要進行大量的數據通信（例如 All-Reduce 協議），而數據移動所消耗的能量，有時甚至超過了純粹的計算本身。
物理證據：巨瓦級的軍備競賽
各大科技巨頭正在全球範圍內展開的、以吉瓦（Gigawatt, GW，十億瓦特）為單位的資料中心建設競賽，是訓練能耗規模的最有力證明。這些設施的唯一目的，就是為訓練更大、更強的 AI 模型提供海量算力。
- Meta：Hyperion 專案，目標是提供高達 5 GW 的電力。
- OpenAI：與微軟合作的 Stargate 專案，預計需要 1.2 GW 的電力。
- xAI：其「計算超級工廠」遠期目標是達到 1 GW。
- Google：其 Prometheus (全託管的雲端監控服務)訓練集群也達到了 1 GW 的級別。
1 GW (吉瓦) 的發電裝機容量約可供應臺灣約80 萬戶家庭使用：這是以1 GW 等於10 億瓦特，相當於10 億度電，加上臺灣每戶月平均用電300 度，以及考量發電效率與供電穩定性等變數計算出來的粗略數字； 也就是說，這些 AI 訓練設施的能源需求堪比一座中型城市使用量。另外也相當於一座大型核電廠(核1、核2等級)的發電量。
AI設施用電量
這種對能源的巨大投入，是 AI 行業對「規模化法則」的體現——一個核心假設，即更大的模型、更多的數據和更強的算力，將帶來更高的智慧：所以一家AI公司規劃的能源消耗，已成為衡量其對於發展 AGI 企圖心的直接指標。
新的全球競賽：AI 時代的能源與基礎設施霸權
對 AI 主導權的爭奪，正迅速演變為一場關於實體基礎設施和能源供應的競賽：哪個國家能夠最快、最高效地建設發電設施和資料中心，就可能在未來十年獲得決定性的戰略優勢。
從軟體競賽到基礎設施競賽
歷史上，美國在前沿模型開發和晶片設計方面處於領先。然而，中國正利用其國家主導的產業政策，在基礎設施層面迅速追趕。AI 訓練對能源的極端需求，使得能源政策與 AI 政策已密不可分。
中國的戰略：速度與規模
中國在能源基礎設施擴張方面的速度和規模相當可觀。根據 Anthropic 的一份報告，僅在去(2024)年，中國就增加了 400 GW 的能源產能，而同期美國僅增加了數十 GW，規模差距懸殊。 其國家主導模式使其能夠在幾個月內批准並啟動大型建設計畫，而美國的同類專案則可能需要數年的監管審批。就能源取得方面中國暫時取得巨大的領先。
美國的回應：認知與挑戰
美國決策層已意識到這一挑戰的嚴峻性，並開始呼籲簡化能源專案的審批流程：從科技巨頭遊說政府，到積極投資新一代核能（如小型模組化反應爐 SMR），都反映出一種強烈的緊迫感。 然而，美國仍面臨老化的電網、複雜的監管體系以及政治分歧等挑戰。
AI 推論的極致效率，可能會加速對能源密集型訓練的需求。也就是當推論變得廉價普惠時，市場對更強大模型的需求將會爆炸性增長，為了取得優勢與差異性，從而引發更激烈的訓練設施建設競賽。這就可能會出現經濟學中「傑文斯悖論」的現象：效率的提升最終導致了總體資源消耗的增加。
結論：推論效率躍進與訓練的能源競賽
Google 的報告帶來了一個明確的訊息：對於日常使用者而言，AI 推論 的能源成本已不再是遙不可及的巨獸，單次查詢的耗能已大幅降低至與傳統 Google 搜尋相當的水平，其碳足跡也相當輕微；這意味著，我們可以更放心地將這些強大的工具融入生活與工作，而不必為每一次的提問感到過度的能源焦慮。
假設已經真的把AGI訓練完成，而且也不再有最強大AI的競爭，或許就會開啟一個節能的AI使用時代，但現在就還是個AI軍備競賽時代，不只是國家，各個科技巨頭都想要獨擁最強大的工具，暫時這個賽局還看不到盡頭。
然而，這份效率報告也反襯出真正的關鍵戰場：為了打造下一代更強大、更智能的模型，甚至是通用人工智慧（AGI）及超級智慧，前期訓練的能源需求已開啟一場截然不同的賽局；我們今天看到的巨瓦級資料中心，並非為處理 0.24 瓦時的查詢而建，而是為了搶佔未來 AI 主導權而投入的龐大賭注。
最終，訓練前沿模型所需的鉅額資本和能源基礎設施，正在塑造一個由美國和中國競爭主導的 AI 世界。進入這個賽道的門檻已極高，需要國家級的能源規劃和數千億美元的資本投入。能源，這個最基礎的工業血液，已正式成為決定 21 世紀AI技術格局和地緣政治力量平衡的關鍵變數。
後記
20251212
根據OpenRouter最新的API使用報告[2025 年 AI 現狀報告]，最多API使用量最大宗竟然是使用在角色扮演然後才是使用AI做程式開發，而且使用量都有越來越大的趨勢，未來AI agent也有讓推論使用量大增的趨勢，雖然因為技術強化讓文字推論的能耗大量下降，甚至可能跟直接用搜尋引擎差不多，但推論變得廉價普惠而且好用，反而變得讓使用量爆發，使用量反而比節省的量還多，總能量量體反而增加非常多。
另外隨著圖像與影片生成的技術越來越成熟，這種高耗能的推論量體也逐漸增加，需求爆發的趨勢也變得很明顯，雖然簡單推論的成本降低，但簡單推論跟複雜生圖與影片的用量大幅增加，可以顯見，未來，因AI需求而產生的能源缺口，只會越來越大越嚴峻。
透過收聽Podcast了解這篇文章
透過NotebookLM影片摘要功能了解本篇文章
延伸閱讀
Measuring the environmental impact of delivering AI at Google Scale，Google, Mountain View, CA, USA，20250822
Google為什麼想讓你知道AI有多耗能？，天下雜誌，20250825
分析人工智慧與資料中心能源消耗，科技發展觀測平台OUTLOOK，202406
Powering Intelligence—Analyzing Artificial Intelligence and Data Center Energy Consumption—2024 White Paper，EPRI，202405
