嗨 我是CCChen

分享最近3月份相關AI趨勢發展新聞的整理資料

參考新聞來源標題

1.    從訓練進入推論時代，人工智慧應用需求帶動記憶體市場改變

2.    IBM 宣布擴大與 NVIDIA 合作，推動企業級人工智慧邁向新階段

3.    NVIDIA 公布新 Groq 3 推論晶片，由三星代工、預計 Q3 出貨

4.    輝達發表最強 AI 晶片 Vera Rubin，單 Token 成本狂降 90%，為代理型 AI 時代鋪路

5.    不只養龍蝦、上太空，黃仁勳 GTC 演講四大亮點一次看

6.    衝刺邊緣 AI 應用落地！研華 GTC 2026 秀 Physical AI 解決方案

7.    NVIDIA Jetson Thor 與機器人：多模態的真正挑戰

8.    瞄準養龍蝦熱潮！GTC 大會發表 NemoClaw 與 Agent Toolkit 升級 AI 代理

9.    黃仁勳重申摩爾定律已到盡頭，輝達以加速運算開啟百工百業 AI 運算時代

一 從看似技術轉變到產業邏輯重寫

最近2~3年，人工智慧的發展幾乎可以用一個關鍵詞概括，那就是訓練。從深度學習模型的興起，到大型語言模型的爆發，整個產業都圍繞著一件事進行競爭，那就是誰能訓練出更大更好更快的模型，誰能用更多資料讓模型更加準確。

然而，這樣的競爭模式正在快速改變。

根據近期3月份產業AI新聞整理分析，人工智慧運算需求正從一次性的訓練階段，轉向持續性且高頻發生的推論階段。這樣的轉變並不是單純的技術優化，而是整個AI產業結構的重塑。換句話說，AI的核心價值正在從模型本身，轉移到模型如何被使用。

這種變化代表著一種重要的文字轉化。AI不再只是被描述為一種強大的技術，而是逐漸成為一種隨時隨地提供服務的基礎設施。這樣的轉變，也意味著企業在導入AI時的思考邏輯，必須從技術導向，轉為應用導向與成本導向。

二 訓練導向與推論導向的本質差異

在理解這場轉變之前，必須先釐清模型訓練與模型推論的本質差異。

訓練是一種計算密集的過程，其目的是讓模型從資料中學習。這個過程需要大量的浮點運算能力與高頻寬記憶體，並且會涉及反向傳播與多次資料遍歷。相關AI趨勢新聞中指出，模型在訓練過程中需要儲存權重、梯度與優化器狀態，其記憶體需求可能是模型本身的數倍。

相較之下，推論則是模型已經完成訓練後，實際應用於使用者互動的階段。推論的特性在於即時性與不可預測性。每一次使用者與AI的互動，無論是聊天、推薦或生成內容，都會觸發一次推論。

AI技術明確指出，推論的運作模式與訓練完全不同。推論會產生大量的讀取與寫入操作，並形成極高的I O負載，因此業界甚至提出一個重要觀點，也就是推論等同於I O操作的累積。

這代表AI的瓶頸，已經從計算能力轉移到資料存取能力。

三 推論時代的三大技術核心

當AI進入推論導向時代後，整體技術重心開始出現明顯轉移。

第一個核心是記憶體與儲存架構。

在訓練時代，GPU算力是主要瓶頸，但在推論時代，真正限制效能的往往是記憶體頻寬與資料存取速度。新聞中提到，推論對I O操作的需求可能比傳統CPU應用高出數百甚至數千倍。這使得儲存系統從輔助角色轉變為核心基礎設施。

第二個核心是多模態帶來的Token爆發。

生成式AI已從文字延伸到影像、聲音與影片。當AI從單一模態轉向多模態時，每個任務所需的Token數量呈現指數成長。例如影片生成與3D場景建構，其Token需求遠高於文字處理。這直接推升了記憶體與運算需求，使得整體系統設計變得更加複雜。

第三個核心是成本導向的架構設計。

最近的AI趨勢指出，半導體產業正從算力競賽轉向總體擁有成本的優化。這意味著企業在設計AI系統時，不再只追求最高性能，而是追求性能與成本之間的平衡。推論專用晶片與不同記憶體技術的選擇，都是在這樣的背景下產生。

四 記憶體產業的結構性變革

推論需求的爆發，直接帶動記憶體產業的重大變革。

首先是企業級固態硬碟的快速崛起。新聞指出，雲端服務供應商正計畫在未來幾年大規模以固態硬碟取代傳統硬碟。這是因為推論應用對I O速度的要求極高，而傳統硬碟無法滿足這樣的需求。

其次是新型記憶體技術的出現。例如高頻寬快閃記憶體，其目標是填補高頻寬記憶體與傳統儲存之間的落差，提供兼具容量與效能的解決方案。

再者是分層記憶體架構的形成。未來的AI系統將由高速快取層、大容量模型層與資料儲存層構成，形成一個多層次的記憶體體系。這種架構設計，正是為了應對推論時代的高頻資料存取需求。

這些變化顯示，AI競爭已從單一元件競爭，轉為整體系統架構競爭。

五 多模態與實體AI帶來的應用擴張

推論導向的另一個重要結果，是AI應用場景的快速擴張。

在多模態技術的推動下，AI不再只是處理文字，而是能同時理解影像、語音與環境資訊。這使得AI可以進入更複雜的應用場景，例如智慧醫療、智慧製造與智慧零售。

同時，實體AI的興起也成為重要趨勢。新聞中提到，AI正從虛擬世界走向現實世界，應用於機器人、自駕車與智慧設備。這些應用對即時性與穩定性要求極高，因此更加依賴高效的推論能力。

這也代表AI的敘事力正在改變。AI不再只是分析工具，而是可以直接參與決策與行動的系統。

六 iPAS AI中級考試的對應能力分析

這樣的產業轉變，與iPAS AI中級考試的設計邏輯高度一致。

在科目一中，考試強調AI導入與系統規劃能力。推論時代要求考生理解如何設計低延遲、高穩定性的系統架構，並能進行跨部門整合。

在科目二中，大數據處理與分析成為關鍵。推論需要即時資料支援，因此資料管線設計、資料品質與資料治理能力變得更加重要。

在科目三中，機器學習的重點不再只是模型訓練，而是模型部署與效能優化。考生需要理解如何透過模型壓縮與參數調整，提升推論效率。

整體而言，iPAS AI中級考試的核心能力，可以用三個關鍵詞概括，那就是理解、應用與決策。這正好對應AI推論時代的需求。

七 AI競爭力的重新定義

在推論導向時代，AI競爭力的定義已經改變。

過去的競爭是誰的模型更大，現在的競爭是誰的系統更有效率。

過去強調準確率，現在強調延遲與成本。

過去關注技術突破，現在關注應用落地。

這樣的轉變，使得AI從單一技術領域，轉變為跨界整合的系統工程。企業需要的不再只是工程師，而是能夠整合技術、資料與商業需求的人才。

這也正是AI影響力持續擴大的原因。

八 AI的未來在於被使用

人工智慧的發展，已經從探索技術可能性，進入驗證商業價值的階段。

推論導向的出現，代表AI已經從實驗室走入日常生活。每一次使用者互動，都在驗證AI的價值。

未來的AI競爭，不會是誰擁有最強模型，而是誰能讓AI被更多人使用，並在更低成本下穩定運作。

這是一場關於效率、架構與應用的競爭。

個人觀點與看法

在我長期觀察AI產業發展與輔導企業導入AI的過程中，我認為推論導向的轉變，其實是一種非常自然且必然的演進。任何技術在成熟之後，最終都會從追求極致性能，轉向追求普及應用與成本效率。AI也不例外。

過去2~3年，我們看到大量資源投入在模型訓練上，但真正能在企業內產生價值的，往往是推論階段的應用。許多企業在導入AI時，並不是缺乏模型，而是缺乏能夠穩定運作的系統與流程。這也是為什麼許多AI專案停留在試驗階段，無法真正落地。

我認為，推論時代的來臨，對人才的要求也產生了根本改變。未來具備競爭力的人才，不只是懂模型，而是懂系統、懂資料、懂流程，並且能夠在不同部門之間進行協作。這種跨界能力，將成為AI時代最重要的核心能力。

對於準備iPAS AI中級考試的考生來說，這是一個非常重要的訊號。考試不再只是測試技術知識，而是測試你是否具備將AI應用於實務的能力。這包含你是否理解企業需求，是否能設計合適的系統架構，以及是否能評估導入AI的效益與風險。

在未來，我相信AI將成為每一個產業的基礎設施，而真正的競爭力，將來自於誰能更有效地使用AI，而不是誰擁有最先進的技術。這也是我一直強調的一句話，AI的價值不在於它有多強，而在於它能幫助多少人解決問題。

技術重點一：推論導向架構（Inference-driven Architecture）

技術核心

AI運算由「訓練」轉為「推論」，推論具備即時性、不可預測性、高頻觸發特性

每一次使用者互動都會觸發推論，並產生大量讀寫與查詢操作。

關鍵觀念:推論 = 高併發 IO 行為

📘 iPAS中級考點對應

科目一（AI應用與系統規劃）

• Online Inference vs Batch Inference
• 即時系統設計（低延遲）
• AI服務架構設計

科目三（機器學習應用）

• 模型部署後推論流程
• 推論延遲（Latency）與吞吐量（Throughput）

• 常考情境
• 詐欺偵測（即時推論）
• 推薦系統（批次 vs 即時）

🔷 技術重點二：記憶體與IO成為瓶頸（Memory-bound AI）

技術核心

訓練 → 計算密集

推論 → 記憶體與資料存取密集

推論階段重點是:快速存取模型參數 + KV Cache

核心差異

訓練：算力瓶頸 推論：記憶體與IO瓶頸

📘 iPAS中級考點對應

✔ 科目一（AI技術架構）

• GPU / Memory / Storage差異
• AI基礎設施設計

✔ 科目二（大數據）

• Data Pipeline
• 高頻資料存取架構

✔ 科目三（ML優化）

• 模型壓縮（Pruning / Quantization）
• 推論效能優化

常考題型: Transformer 推論瓶頸（Attention memory）

🔷 技術重點三：多模態與Token爆發（Multimodal Scaling）

技術核心

AI由文字 → 圖像 → 語音 → 影片

Token需求呈現「指數成長」

關鍵影響

• 推論成本暴增
• 系統負載倍增
• 記憶體需求暴增

📘 iPAS中級考點對應

✔ 科目一

• LLM vs VLM vs Multimodal
• GenAI應用場景

✔ 科目二

• 大數據處理（多模態資料）
• Data Integration

✔ 科目三

• Transformer / Attention機制
• Token與序列長度影響

常考情境

• 影片生成AI
• 語音+影像辨識整合
• RAG + 多模態

🔷 技術重點四：成本導向與系統優化（TCO-driven AI）

技術核心

AI競爭從「算力」轉為「成本效率」

核心概念

TCO（Total Cost of Ownership）

推論成本已成最大支出來源

📘 iPAS中級考點對應

✔ 科目一（AI導入規劃）

• ROI / KPI / AI效益評估
• 成本效益分析

✔ 科目二（大數據）

• 資源配置（Cloud vs Edge）

✔ 科目三（ML）

• 模型選型（精度 vs 成本）
• 推論優化策略

常考情境

• 為何不用最大模型
• 如何降低AI運算成本
• Edge AI vs Cloud AI

（例如自駕車需用Edge推論）

CCChen考試關鍵總結

「推論導向 = 即時性 + IO瓶頸 + 多模態 + 成本優化」

iPAS中級命題邏輯

未來考題一定會這樣出👇

1️⃣ 情境題:企業導入AI → 要選即時推論 or 批次

2️⃣ 架構題:雲端 vs 邊緣 vs 混合架構

3️⃣ 技術題:Transformer 推論瓶頸

4️⃣ 管理題:如何降低AI成本（TCO）