最新市場數據顯示,AI Agent(AI 代理)的運算規模正迅速擴張,但其成長核心已不再單純是模型推理,而是大量重複讀取上下文所帶來的「快取負載」。Futurum Group 執行長 Daniel Newman 引述創投公司 a16z 整理的 OpenRouter 數據指出,截至今年 8 月,AI 相關的 Token 使用量已達人類的 5 倍左右,且預料此差距未來還會進一步擴大。

  根據 OpenRouter 的統計,自今年 2 月雙方使用量出現黃金交叉後,Agent 類型的 Token 消耗量已從約 0.51 兆暴增至 7.3 兆,成長幅度高達 14 倍;同期間,人類的使用量僅增長約 2.8 倍,來到 1.4 兆。為了精準區分流量,OpenRouter 依據 API Key 的行為特徵(包含工具呼叫頻率、對話輪數與間隔時間等訊號)建立加權模型,將流量嚴格劃分為 Agentic(代理)、Mixed(混合)與 Human(人類)三大類別。

  然而,這波爆發性的成長並不代表所有 Token 都是從頭進行全新運算。a16z 強調,超過 85% 的 Agent Token 其實來自於「快取提示」(Cached prompts),也就是 AI 在重讀過去已經看過的內容。這意味著,雖然 Token 消耗量看似驚人,實際衍生的運算費用未必等比例暴增;真正承受巨大壓力的,反而是必須長時間保存這些上下文的記憶體資源。模型會將這些對話狀態儲存在所謂的「KV 快取」(KV cache)中,而目前暴增的需求已被形容為正快速超越 GPU 上高頻寬記憶體(HBM)的容量極限。

  這股硬體壓力也已在實際應用端發酵。報導指出,一家測試 DeepSeek 模型的客服顧問公司發現,在他們 9 月份使用 Claude Code 的紀錄裡,高達 96% 的輸入都在「重讀舊對話」。這凸顯了 AI Agent 的特殊工作流程:它們通常不是進行單次問答,而是需要持續搜尋、呼叫外部工具、執行程式並反覆檢查結果,這種不斷循環的過程讓記憶體與頻寬的需求同步狂飆。

  面對這股趨勢,硬體供應鏈的前景同樣充滿挑戰。記憶體大廠美光(Micron)預警,RAM 與儲存設備的短缺情況將在 2027 與 2028 年進一步惡化,客戶面臨的採購價格也將高於今年,且記憶體廠勢必會優先將高利潤的 HBM 產能分配給 AI 資料中心。隨著 AI Agent 的使用量持續攀高,市場對硬體瓶頸的關注焦點,正逐漸從「算力不足」轉向日益敏感的「記憶體短缺」。(新聞來源:科技新報)