編按：AI代理正加速進入企業營運，數量擴張也讓Token、運算、儲存與跨雲資料存取成本同步攀升。企業若只盯著Token帳單，恐怕忽略真正的成本黑洞。如何透過脈絡工程與總持有成本，實現AI規模化與效益最大化？
過去30年來，企業科技創新的核心多聚焦於擴展基礎架構，從虛擬機器（Virtual Machines, VMs）、容器（Containers）、大數據到支援網頁與行動應用程式中同時上線的百萬使用者，焦點始終在於推動分散式系統的演進，以更快、更穩定的方式處理龐大流量與數據，且不會當機。
然而，現今代理式 AI 已為基礎架構帶來變革，它改變了「擴展」的本質。過去的基礎架構浪潮，主要在於為人類使用者處理更多的資料、流量與互動，但在 AI 時代，擴展的卻是執行任務的 AI 代理數量，以及它們運作時消耗的資源。
未來的企業運作模式，將從原本員工親自完成各項任務，轉變為員工指揮、調度數十、甚至數百個 AI 代理。這也意味著，大型企業必須具備管理成千上萬，甚至數百萬個 AI 代理的能力。
這種轉變徹底改變了企業科技的經濟學。傳統的成本控制系統，或許能在預算耗盡前對資訊長（CIO）發出警告，但在代理規模下，自主系統（autonomous systems）消耗資源的速度，遠快於傳統成本控制機制的反應時間，使得企業必須在工作執行的當下，就具備即時減少無謂消耗的能力。而第一步，就是要釐清 AI 代理究竟消耗了什麼資源，以及理解 AI 代理接收的脈絡（context）品質，為何影響的不僅僅是 Token 帳單。
Token 經濟學不單只是模型計費的問題，真正的經濟槓桿，其實藏在數據層。
為何情境脈絡決定了總持有成本
脈絡層（Context Layers）的作用，不僅止於確保準確度與避免幻覺，更是決定AI代理效率的重要關鍵。
脈絡工程（Context engineering）背後的經濟原則，主要在於為AI代理提供完成任務所需最少，且最高價值的資訊。提供AI代理過多不必要的脈絡，會產生多餘的推理迴圈（Reasoning loops），並增加對資料處理、儲存及網路基礎架構的呼叫次數，因而產生額外的運作成本。相關且精簡的脈絡，則能降低整個技術堆疊的延遲與成本，同時協助將AI代理的推理，建立在單一的事實來源上。
然而，手動建構的知識本體（Ontologies）衰退速度快，往往在部署前就已過時。AI代理需要一個橫跨雲端、應用程式與系統的統一脈絡層，能持續適應底層數據與商業邏輯的變動。
Token成本只是構成總成本的其中一環
每個被浪費的推理迴圈，都會呼叫模型底層的基礎架構，而產生連鎖反應成本。單個AI代理執行的任務，就可能觸發資料管道查詢、跨雲網路呼叫以及儲存讀取。因此，如果只關注Token用量，往往會忽略帳單暴增的真正主因。
對資訊長而言，真正的經濟衡量標準是「總持有成本」（Total Cost of Ownership, TCO），必須將Token用量與產生結果所需的運算、儲存、網路及資料存取結合起來看。這點之所以關鍵，是因為AI代理必須橫跨雲端、軟體服務與廣泛的資料集，存取各種結構化與非結構化資料。一旦自主系統開始大規模跨越這些資料環境運作，單純控制單次互動的平均成本已經不夠，企業還需要知道這些成本是否具備可預測性。
支出可預測性與成本最佳化同等重要
當AI代理必須跨越分散的資料環境運作時，預測成本的難度將大幅攀升。因為是單一請求，就可能涉及推論（Inference）、檢索（Retrieval）、網路傳輸與多項底層服務。在龐大的AI代理運作規模下，這種高度的成本變動性，會讓企業的財務規劃面臨嚴峻挑戰。
跨雲資料存取就是個典型的例子。長久以來，在各種超大規模雲端服務供應商（Hyperscalers）之間搬移資料衍生的資料輸出費（Egress fees），往往讓原本具高價值的工作負載，在成本上變得不切實際。降低成本固然重要，但將其轉化為穩定的每月承諾支出，也同樣關鍵。IT領袖需要的是在大規模運作下，具備可預測的性價比，確保AI自主工作負載在掌控之中，避免成本失控的風險。
跳脫計算Token，邁向衡量實質商業價值
用Token消耗量來衡量AI專案的進展，就如同用程式碼行數來評估開發人員的生產力，是個容易失焦的指標。檢視AI經濟效益的黃金指標，在於企業是否能透過最有效率的資源配置，交付實質的商業價值。
在任何重大的技術典範轉移中，實驗與試錯是必經之路，但企業最終必須將其導向營運紀律。資訊長應該精準聚焦應用場景、投資必要的資料基礎架構、持續追蹤商業價值，並將驗證成功的模式規模化。
能確實做到這點的企業，將會是那些能衡量每個代理，以及其所消耗的每個token，究竟創造了多少實際價值的組織。
本文章反映作者意見，不代表《遠見》立場
（本文作者為Google Cloud亞太區總裁）
