財訊新聞 　 2026/01/21 15:58

【財訊快報／陳孟朔】外電報導，市場對AI晶片的評價框架正在發生位移。最新研究指出，谷歌與博通(Broadcom)的TPU正快速縮小與輝達GPU在推理成本上的差距；從TPU v6升級至TPU v7後，單位token推理成本約下降70%，推算結果顯示其整體成本已與輝達GB200 NVL72大致持平，在部分情境下甚至略具優勢。這不代表輝達地位被動搖，但清楚反映AI晶片競爭核心正從「誰算得更快」轉向「誰算得更便宜、更可持續」，尤其在AI資本支出仍高、但商業化壓力升溫的背景下，「每一個token的回報」已成為新的市場焦點。

研究以「推理成本曲線」切入，強調推理階段的真實成本不再只看單卡性能，而是由系統層效率共同決定，包含折舊、能耗、互聯效率、記憶體帶寬與系統利用率等。隨著大模型逐步進入高頻部署期，推理負載往往遠高於訓練，成本約束被放大，迫使市場重新衡量不同方案在長期現金流中的經濟性。反觀，超微(AMD)與亞馬遜Trainium在代際成本下降幅度的估算仍較有限，現階段單位推理成本依然明顯高於輝達與Google方案，對主流市場的衝擊相對較小。

TPU v7之所以能大幅降本，被解讀為系統工程能力的集中釋放，而非單點技術突破。當晶片本體逐步逼近物理極限，推理成本能否持續下探，越來越仰賴「計算相鄰技術」的整合效率，包括更高頻寬與更低延遲的網路互連、高頻寬記憶體(HBM)與存儲整合、先進封裝，以及機架級方案在密度與能效上的提升。市場也注意到，TPU在Google內部工作負載的占比持續上升，並已廣泛用於Gemini相關訓練與推理；同時，具備成熟軟體能力的外部客戶亦加速採用TPU路線，進一步強化「推理成本下行」的產業趨勢。