想要第一時間獲得市場上的最新資訊及分析嗎？
歡迎點擊下方連結訂閱【馬克觀點MKP】電子報，在即時更新資訊的同時，獲得最深入的分析～
PS. 電子報初期採人力、手動管理，有需要前面的章節歡迎寄信向Mark索取～
Q：訓練AI用的GPU，在訓練結束後，能否拿來用於"推理"?
當然可以！用於訓練 AI 模型的 GPU 在訓練結束後，絕對可以拿來進行「推理」（或稱「推論」，inference）。這是一種非常常見的做法，也是 GPU 在 AI 工作流程中扮演的雙重角色。因其硬體基礎相同，再加上NVDA GPU昂貴，大部分開發商不可能只是一次性使用；所以AMD的機會在於"晶片效能汰舊升級時"與"已訓練好的模型只是單純需要inference時"來搶攻推理市場。
Q：那AMD在"推理"市場有議價權嗎？NVDA是否也注意到逐步湧現的推理需求而開始相關布局？
答案是，AMD的MI350X/MI355X等新一代Instinct GPU在「每美元推理吞吐量」上較NVIDIA有約40%的成本優勢(AI推理市場預估將以每年80%以上的速度成長)，過去因為其主打"高CP值"策略，換句話當(對客戶來說)這40%的成本優勢不存在時(即假設AMD跟NVDA價格一樣)，那客戶便會直接選擇輝達，換言之，AMD產品要漲價是比較困難的(相對而言NVDA基於壟斷性市佔與完整軟體綁定形成的高轉換成本，使NV有絕對議價權)，但AMD的「價格效益比」優勢已讓部分客戶在推理市場上願意與AMD談更優惠的採購條件。意即AMD在AI市場也開拓了屬於自己的利基，只要市場成長，它就會跟著成長！而好消息是，如MKP第4期所述，AMD的Instinct MI350晶片在當前需求大於供給的狀態下，價格也從一萬五美元調漲至二萬五！
另一方面，NVIDIA不但察覺到「訓練」training與「推理」inference是兩個規模與需求皆巨大的市場，且也持續加大對推理端的投入，早已將推理視為僅次於訓練的另一大市場，不斷在硬體（B100/B200、GB200家族等）與軟體（CUDA、TensorRT、Riva、NeMo）兩端加強佈局，並透過DPU協同網路，鞏固其在推理市場的霸主地位。所以因為AMD可能在推理市場有所突破就清倉NVDA完全改買AMD也是不明智的，合理分配兩家公司的水平配置才是聰明作法！
Q：那AMD在推理方面到底與輝達有何不同呢?
CPU？No
輝達也有CPU(grace系列)以及CPU+GPU的整合SoC(系統單晶片，將 Grace CPU與Blackwell GPU 合併成一顆 SoC，強化 AI 推理能力，可用於桌面AI超級電腦)
目前最大差異在於
.
.
.
