本週SEMICON在台登場，外界關心AI代理（Agent）趨勢起，不僅提高詞元（token）消耗，也讓記憶體、供電、晶圓代工與先進封裝等環節面臨更大壓力。母公司剛與輝達黃仁勳一起投資聯發科的Google，以及微軟怎麼看？改以系統層級思考原來才是解方。
AI Agent推高運算需求，單靠堆疊晶片與電力，已難突破效能瓶頸。在SEMICON Taiwan同台發表主題演講的Google與微軟技術主管，如何從晶片、記憶體、網路到軟體重新布局，為下一波運算競賽找出突破口？答案是從系統層級的思維看待AI算力之爭。
2026年台北國際半導體展（SEMICON Taiwan）的主題演講中，Google基礎設施首席技術長瓦達特（Amin Vahdat）與微軟Azure硬體系統總裁博卡（Rani Borkar），不約而同地將答案指向「整體系統協同設計（System Co-design）」：不能再只靠提升單一晶片效能，而要從整體系統著手。
實際上，究竟該如何整合晶片、記憶體、網路與軟體，突破運算瓶頸？
單一晶片提升有極限，需要系統思維突破
面對倍數級攀升的運算負載，博卡表示，產業界過去最直覺的反應是「提供更多」，也就是在伺服器塞入更多晶片、外掛更多記憶體、拉入更多條高速光纖，並提升供電容量。
然而，這種仰賴單點資源堆疊的做法，代價正變得高昂。
博卡指出，現代AI基礎設施（infrastructure）涵蓋材料、晶片、封裝、系統、軟體、網路與電力等七個層級。
「如果每一個層級各自運作且各有損耗，即使每一層都維持80%的效率，整個系統最終輸出的有效算力大約也只有20%。」換句話說，僅改善單一層級的表現，例如調整模型演算法，或者採用先進製程的晶片，其效益仍會因為整體堆疊中的其他瓶頸受到影響。
在所有瓶頸之中，瓦達特認為，目前面臨到重要的實體限制就是能源。
「在很多情況下，我可能有充裕的資金，但我可能沒有那麼多電力可用，」他解釋，即便資料中心園區取得吉瓦（GW）規模的供電配額，但電力自高壓變電站降壓送入機房，中途經過多層配電與極端散熱的冷卻消耗，最終實際能送進運算核心、轉化為實質產出的電力比例往往低於帳面數字。
在電力與其他物理限制下，應該如何以高效率，將每一度電轉化為人類可用的智慧？
Google：跳脫單點思維，能源、晶片到軟體調度都能進步
面對系統性的瓶頸，瓦達特指出，Google的解法並非押注單一技術，而是從能源、研發節奏、晶片架構與軟體可靠度等環節，改進整體系統。
首先在能源端，Google將工程團隊的核心指標從過去的總擁有成本（TCO），轉向「每瓦最大交付價值（Delivered value per watt）」。
瓦達特解釋，在供電受限的環境下，分母必須是電力瓦特數，重點在於實際運作中每一度電究竟能為使用者交付多少實質運算成果，而非單純追求實驗室裡的理論峰值。
而在研發節奏上，面對AI模型以「月」為單位快速迭代，新晶片若像過去一樣花費兩到三年慢慢爬坡量產，等產能全開時往往已失去競爭力。
為了突破時間瓶頸，Google追求更高的前期設計確定性，自研TPU Tape-out後，隨即在台灣等地的工程團隊手中連軸完成測試驗證，讓產能曲線以接近「方波（Square Wave）」的垂直斜率迅速提升，確保在極短的晶片生命週期內獲取最大的投資效益。
在晶片架構上，先前雲端年會上發表的第八代TPU，依照工作負載特性直接分流為推論用的8i與訓練用的8t。瓦達特分析，推論需要極低延遲，訓練則要求龐大的吞吐量，兩者的市場規模都已足夠龐大，走向專用化（Specialization）才能在各自領域得到更高的運算效率。
在系統可靠度上，瓦達特表示，傳統追求「五個九（99.999%）」的硬體可靠度，必須耗費鉅資與電力去配置倍數級的硬體冗餘，但這些備用設備有超過八成時間都在閒置。因此，他們轉而將實體硬體可用性設定在合理的99.9%，依靠軟體動態跨機房調度來吸收故障。
「用軟體達成高可用性，能讓客戶以一半價格獲得雙倍算力，」瓦達特點出背後的商業考量。
微軟：打破層級邊界，從系統內部化解記憶體與能耗束縛
微軟Azure硬體總裁博卡所提出的路徑，同樣致力於打破各層級間的傳統邊界，由內化解瓶頸。
面對困擾業界的「記憶體之牆」，博卡表示：「許多人將它視為供應問題，但實際上它是個系統問題。」
因為AI Agent需要處理長上下文並且持續調用歷史資訊，單向要求加大實體記憶體容量無法解決根本問題。
她分享，微軟在開發自研Maia AI加速器時，選擇從演算法、系統軟體到編譯器進行跨層級協同設計。透過智慧編譯技術，系統能預先研判計算流向，將接下來最需要的資料分層置放於離運算單元最近的快取中，大幅減少資料在匯流排上長途搬移的延遲與能耗，直接緩解了記憶體頻寬吃緊的壓力。
在叢集通訊方面，微軟同樣試圖化繁為簡，設計Maia時直接將網路傳輸能力整合至晶片內部，期待藉此減少外接交換設備的數量與閒置等待，確保運算單元能維持生產力。
邁向代理時代，基礎設施的下一步往哪走？
AI基礎設施從單點競賽邁入系統工程，這個方向將會繼續，兩位主管也分享未來AI基礎設施的演進方向。
首先，客製化晶片將朝向更細分的利基市場碎片化發展。
瓦達特在會後媒體問答中指出，隨著AI工作負載日益多元，不同專業任務的總可用市場已經成長到具備足夠的投資回報率（ROI）。未來的ASIC開發不會僅停留在訓練與推論，有望針對不同特化情境量身打造的專用晶片，更加百花齊放。
其次，則是CPU在系統架構中的重要性。在人機互動時代，CPU的角色曾一度被視為輔助；但在代理運算的世界裡，電腦與電腦之間需要進行海量的高速資料調度與工作流程排程。瓦達特直言，目前常有昂貴的加速晶片（GPU或TPU）因為等待CPU派工而處於閒置狀態，這催生了為AI Agent量身設計特化CPU的迫切需求，追求極致的低延遲與高頻通訊能力。
最後則是突破實體傳輸極限的硬體技術變革。兩位技術主管不約而同提到，隨著單一晶片尺寸逼近物理極限，先進封裝技術、晶片間高速互連以及讓運算更靠近記憶體的創新，都是延續摩爾定律的解法；另外，將光學技術深度整合至封裝層級，擺脫金屬導線的發熱與損耗，更是未來支撐資料傳輸的基石。
AI競爭從模型效能延伸至電力、封裝與光學互連，AI Agent帶動的運算架構變革，正在半導體產業鏈的各個角落全面展開。
