輝達黃仁勳在19日COMPUTEX台北國際電腦展主題演講中，明確指出AI Agent（AI代理）將改變企業使用資料做決策的方式。AI Agent以及衍伸的AI agentic workflow（AI代理工作流程）早已被許多人公認是2025下一波關鍵趨勢。人工智慧大師吳恩達更在公開場合提起無數次。AI Agent是否已經在企業界成功落地？哪些企業已確實導入？但是AI代理的優缺點為何？還有哪些任務尚無法取代人類？《遠見》一文帶你看。
AI Agent定義：自主推理分拆任務後執行
「AI Agent指的是利用基礎模型的能力，針對目標展開推理，接著規劃出具體任務後執行。」在美國西雅圖的辦公大樓裡，AWS生成式AI創新中心（Generative AI Innovation Center）總監斯里（Sri Elaprolu）如此解釋他眼中的AI代理。
成立於2023年6月，AWS投資1億美元在生成式AI創新中心計畫上，透過引進人工智慧和機器學習專家，希望幫助客戶發掘生成式AI的潛力，藉此在業務中派上用場。斯里在合作中累積出不少經驗，也親身看到應用上的發展。他向在場媒體分享，有許多顧客表達對AI Agent的興趣，AWS也正在和客戶合作打造AI代理。
將視角從美國拉回台灣，吳恩達（Andrew Ng）在2024年底，出席台杉投資與AWS舉辦的AI代理趨勢論壇時，同樣強調AI代理工作流程的潛力。
他解釋，AI代理工作流程指的是將大任務細分成子任務，並且在過程中反思後修正，經歷多次迭代後，得到更好的結果。對比之下，線性（linearly）且直接地要求AI寫文章或者執行任務，得到的產出效果低於代理式的做法。
無論是AI代理或者AI代理工作流程，重點都是化繁為簡、化大為小，利用AI的推理能力，把複雜工作分拆成一個又一個小模組。
以旅行規劃來說，斯里表示，當使用者寫下指令「我想去倫敦」時，AI代理需要理解不同資訊，例如使用者所在的位置、前往倫敦的背景、行程的長短、過往的住宿與膳食偏好等。掌握這些資訊以後，AI代理會制訂計畫，接著按照步驟執行，例如根據使用者的會議時間查看航班，再按照歷史搭乘紀錄盤點選項，最後交給使用者定奪。
再往下，AI代理會確認餐廳、安排後續行程，「這是每一個步驟都非常清晰的案例。」就斯里描述的過程來說，AI代理和AI代理工作流程的意義相似。
從2024年中開始到2025年，出席科技相關的記者會和發表時，AI代理都是熱點所在。在斯里分享後的問答時間，來自歐洲、新加坡和中國大陸的記者，不約而成向他追問AI代理的發展和應用。
不過，若將時間倒轉回2024年年初，AI Agent的概念還沒那麼普及。
AI Agent推力：推理進步、上下文變長
吳恩達2024年3月接受《遠見》專訪時，便指出AI Agent和AI agentic workflow是他最為看好的AI趨勢之一。當時實現AI Agent的底層架構與工作流程已逐漸形成，但商業應用仍不普遍，讓吳恩達在X平台（前推特）和電子報《The Batch》不厭其煩地推廣。
將時間快轉到現在，情況已截然不同，因為對企業家和主管們來說，AI Agent已不再陌生。
雲端服務廠商如AWS、微軟、Google，各自推出以AI Agent為名的服務；對話式AI如Claude也介紹模擬人類執行任務的電腦使用（computer use），微軟、亞馬遜正在投入研發，Google和OpenAI也陸續跟上，更有開源專案如Open Interpreter正在進行；企業軟體服務如Salesforce、SAP和Workday，也在自家產品內加入Agent，若說AI Agent已然遍地開花，絕不為過。
從行銷熱詞落地成為觸手可及的產品，關鍵就在於基礎模型能力的進展。
「推理和規劃能力是讓Agent變得實用的原因。」斯里向記者解釋，模型進步意味著Agent能自主完成更多任務，帶來更多的自動化（automation），以及更少的人為介入，他預期接下來的幾個月內，Agent的能力將會提升到全新層次。
OpenAI在從2024年9月推出新模型o1的預覽版o1-preview以來，主打重點就是讓模型像人類一樣深度思考，以便應對包含數學在內的困難問題，透過思維鏈（chain of thought）把複雜問題拆解為子任務，讓模型「精煉思考過程、嘗試不同策略，並學會找出自己的問題所在。」
後續承接o1命名邏輯的「o系列」模型，包含o3、o4等，都著重推理功能，和GPT-4、GPT-4.1等追求縮放定律（scaling law）的模型並不相同。
推理能力促進了模型的思考，藉此增進生成內容的品質，但也連帶減緩回覆速度，而思考過程中也會消耗更多符元（token），因而提升運算成本。
舉例來說，o1系列模型為了更好消化使用者的指令，會在推理階段生成額外的符元，同時考慮不同版本的回覆內容，而每一次推論都會產生費用。吳恩達就提到，代理工作流程中，AI Agent會大量閱讀、蒐集資料，經過大量運算，再加上代理會彼此協作，又無需顧慮人類的閱讀速度，能夠大量且快速生產內容。
不過，每次模型進步，都能夠有效降低運算成本。零一萬物創辦人李開復在2024年第22屆遠見高峰會中便提到，從OpenAI於2023年發表GPT-4，到隔年推出GPT-4o模型，運算成本在寥寥數月內就下降20倍，他預期成本還會以以每年十倍的速度下降。
調校模型架構以外，專為訓練或者推論的半導體改良，也是降低成本的關鍵。吳恩達觀察，有許多新創公司正在打造更便宜、更快速生成符元的晶片，他對於半導體的發展感到興奮。
AI Agent強項：處理非結構性但並非全然自由的任務
如果討論廣義的生成式AI應用，前Google台灣前董事總經理簡立峰曾表示，現在有幾種生成式AI已經收到效果的領域，包含寫程式、客服、行銷和知識管理，其中，客戶服務特別有AI代理發揮空間。
以目前技術發展來看，AI Agent善於處理非結構化問題（unstructured problem），又能夠生成多樣內容，正好適合需要面對一定陌生、但任務又侷限在一定範圍的客服任務。
吳恩達就說，若你的產業建立在經驗法則（heuristics），很有可能面對AI代理的全面入侵，因為AI代理能夠遊走於不用思考太多未知的情境。
如果工作與生活中需要處理的任務已經有固定選項，沒有任何陌生之處，例如從歌曲列表中點歌，或者是從店家中的菜單裡挑選食物，加上AI就只是從面板或者電腦清單，轉化成以語音模式互動，沒有AI代理上場的必要，即便派出AI代理，效率也不高；若AI代替人類決策，例如直接排定整日工作時的歌單與餐點，才更貼近AI代理的願景。
如果任務屬於完全未知，需要無窮盡的探索，可能也不適合代理出場，例如參與公司內部策略會議，需要腦力激盪、頻繁發言，雖然可以派遣AI代理出席，但決策點的數量大、面對的未知性也高，很難放手交給AI代理。
AI代理能夠對應的領域恰好處於中間，有未知程度，但並非全然不可預測。
觀察現在的客服和知識管理應用，有不少案例裡，人工智慧仍扮演副駕駛（copilot）角色，出於信任和權限等理由，仍要等待真人做出決策。舉例來說，中華電信便提供內部客服人員利用Google Cloud的虛擬專員服務，讓客服遇上使用者的疑難雜症時，不用慌亂的查找資料，只要與虛擬客服對話後，便能獲得答案。
若這些虛擬客服得到企業授權，有辦法直接面對使用者，跳過真人階段，便是從助理（assistant）與副駕駛角色再進一步，上升到有自主能力的代理。跨越鴻溝的關鍵，便是能夠取得包含公開或者私有的精確資料，以及採取行動（take actions）的能力。
美國送餐平台Doordash如何善用AI代理？
以美國送餐平台Doordash為例，AWS生成式AI創新中心總監斯里分享，它有超過200萬位送餐合作外送員，每日送餐員們會聯繫呼叫中心超過40萬次。雖然Doordash引進常見於台灣銀行的自助互動語音問答（interactive voice response，IVR）服務，也收到一定成效，減少真人客服的負擔，但後來Doordash仍決定引入由生成式AI驅動的代理。
為什麼IVR還不夠，需要導入AI代理？關鍵就在，IVR並沒辦法完全滿足外送員的需求，仍有大量聯絡最後轉接至真人客服上。
細究IVR的挑戰，它通常依照規則（rule-based）回應，以語音選單方式，處理簡單且例行性的問題，例如銀行業務中確認開卡狀態、檢查帳戶餘額等，但無法應對如應用程式功能故障等複雜問題，也無法直接回應日常的自然語言。對比之下，有大型語言模型加持，AI代理驅動的客服可以理解送餐員的話語。
因為Doordash調用了AWS生成式AI平台Bedrock上Anthropic的輕量模型Haiku，AI客服可以在短時間內以語音方式立刻回應，大幅降低延遲（latency）。此外，有些AI代理配置記憶能力（memory）能夠回溯先前的對話；或者是配置知識庫，因此有辦法提供更準確的內容。Doordash採用的客服雖限制取用個人識別資訊，但串起官方幫助中心的資料，回答送餐員時便能以增強檢索生成確保品質與相關性。
斯里表示，從人工互動轉向隨時能夠回復的AI系統，不僅因為回答精準，提升使用者的滿意度，同時也省下大筆鈔票。
從Doordash的案例便能看出，與原先規則式的系統相比，生成式AI的解決方案讓人可以用自然語言互動；與AI助理相比，AI代理則是親自上陣，檢索具有準確性的資料給予更精準回答。如果Doordash進一步開放權限，AI代理甚至能夠採取行動，例如替外送員申請補貼。
斯里強調，雖然不是所有客戶都在發展代理，但隨著基礎模型能力變得強大，有客戶正在大規模推行AI代理，已經有數百個代理的使用案例，正投入到生產階段。無論是興趣面還是實際投資，他都已經見到AI代理的重要和未來前景。
AI Agent應用：擴大部署、進入高附加價值環節
自去年年中至今，企業實際開始應用AI Agent後，觀察到哪些變化？
面對《遠見》提問，ERP大廠SAP的亞太區Business Suite業務負責人Verena Siow分析，客戶應用AI Agent的階段已經從做實驗、測試成效，「進階到希望看到ROI（投資報酬率），最終希望能有成功的商業案例。」
SAP全球副總裁、台灣暨香港澳門總經理陳志惟補充，去年五月SAP推出嵌入在SAP Business Suite的AI Agent Joule，但當時應用案例較少，且大部分的試驗專案集中在人資領域。這一年下來，除了對AI期待更深以外，也把AI Agent用在附加價值更高的深水區。
「愈來愈多的不只在HR，它已經深入到關鍵應用（critical applications）。」陳志惟分享，台灣常見的應用是供應鏈產業，因為AI Agent整合散落各地的大量資料，因此SAP客戶的業務或者產品經理，可以藉此更迅速回答產品交期等資訊錯綜複雜的問題。
倘若有缺貨等狀況發生，AI Agent也能夠立刻反應，估算出事件對公司整體影響。
Appier游直翰：客戶相對接受可省時、不涉及決策Agent
就類型來說，有哪些領域的AI Agent接受度更高？Appier創辦人暨執行長游直翰認為，客戶較能夠接受節省時間，且沒有涉及直接決策的Agent。
以Appier服務來說，有能夠生成內容的Agent、分析資料的Agent、自動化進行實驗的Agent等類型，其中，能夠替客戶規劃活動（campaign）的Agent頗受歡迎。「大家都想知道我活動怎麼規劃、怎樣設定受眾，之後還要做很多分析。」
游直翰指出，過往行銷人員要設定許多細節，並且拉報表、評估預期成效，現在Agent可以一次性解決問題，讓人不用做重複性的工作，「這種Agent通常大家不會想太多，方便就用了。」
AI代理適合和人類共同決策
不過，客戶還不敢放手將所有的決策權都交給AI，現在協作模式還停留在「共同決策的Copilot」階段，不像「方便性」的agent那樣，較容易被接受。
事實上，從IBM應用AI Agent和SAP的例子便能夠看出，隨著技術進展，企業應用AI大多先從AI自動回覆開始，先跟上搜尋轉向對話的典範轉移，接著再打通知識孤島的挑戰，整合更多不同部門與團隊的知識，讓AI能夠知道更多，也讓回答變得更好。
最後，則是讓使用者在對話完以後，不用再出走站外，而是直接在單一入口便能採取行動。不過，也如同游直翰所說，AI Agent能夠採取的行動若潛在影響太大，還是需要人類監督。
AI Agent展望：代理之間分工、協作
吳恩達指出，現在已經看到AI代理逐步掌握反思、調用工具等能力，對於接下來AI Agent的發展趨勢，代理之間的互動將會是重點，例如一位AI Agent撰寫程式碼，另一位Agent負責檢查後提供建議。
對開發人員來說，吳恩達建議，可以扮演管理者的角色，設置3到4位AI Agent，讓他們彼此合作完成任務。這些AI代理小兵們就是開發人員手上的武器，能夠打造出更複雜，但也更有效率的AI工作環境。
在AI Agent論壇上，AWS香港暨台灣總經理王定愷同樣看好Agent之間的分工與合作。他認為，Agent將會成為類似章魚（octopus）的存在，擁有很多隻手協助處理各種任務，不同的代理負責不同組件（component）、子任務與工作流程，再想辦法串連一切。
王定愷表示，Agent執行任務時，與其以序列方式運作，不如同時運行，能夠確保效率又節省時間。在這樣的過程裡，就需要多位代理負責不同子任務，而有效協調就是達成目標的關鍵。
聯發科聯發創新基地負責人許大山補充，以訂餐為例，若自己在手機或者手錶上派遣AI代理人預定餐廳座位，可能帶來的效益不大，但如果餐廳也派出代理人，讓AI Agent之間對接，再請AI代理搜尋過往歷史紀錄，例如判定是否為常客，將能夠大幅提升效益，這便是AI代理協作的潛在場景。
AI Agent挑戰：準確度和信任
若要說AI代理離大規模落地還有哪些挑戰，關鍵自然在於等待模型的推理能力完全跟上，例如OpenAI尚未推出o1模型，Anthropic和Google也還沒端出具有進階推理能力的模型。除了能力以外，準確度和信任也是企業和個人關心的問題。
以Claude API新推出的電腦使用功能為例，展示時Anthropic介紹了三種場景：自動填寫供應商申請表、撰寫和修改網站程式碼和安排行程並發送日曆邀請。雖然在展示影片中看起來一切順利，但Anthropic表示，錄製時其實有遇上問題，例如Claude在搜尋景點時，沒有輸入正確關鍵字，停駐與目標完全無關的景點；又或者是自發停止錄製影片，讓團隊先前累積的素材消失。
若只是安排旅遊行程，過程中出錯影響可能不大，但如果牽涉到商業合作或者金錢，使用者便有可能退縮。以客服為例，若AI代理給予的回答不夠準確，甚至出現問題，因此讓消費者做出錯誤決策，可能帶來嚴重後果。從商業角度來看，運用代理與否，就是要設法達到產生效益和出錯成本的平衡。
就信任面向而言，許大山表示，若要由AI替自己執行任務，會牽涉到能否放心授權。舉例來說，AI Agent發現你工作忙到忘記吃午餐，決定替你訂餐。「這個案例中AI替你解決問題。但要解決這個問題，它必須得到授權，可以使用你的資金，還需要在菜單上替你選擇餐點。」
許大山一連拋出幾個考量：你對它有多信任？它是否有把你的利益放在心上？它的決定真的符合你的需求嗎？這些問題不只與隱私和安全密切相關，歸根結底，還是要看願意讓授與AI多少決策的權限。
不過，吳恩達認為授權給AI代理後出錯的情況並沒有那麼嚴重，「可靠性和安全性的確是問題，但它們阻礙AI模型部署的情況沒有想像中那麼頻繁。」
以最常見的生成文章來說，吳恩達表示，AI可能出現幻覺，但也有解決方法，例如尋求外部知識驗證的檢索增強生成（RAG），或者讓模型不確定答案時，勇於表達「我不知道答案」。在AI代理的工作流程中，讓模型在生成回答前逐步驗證、雙重檢查，藉此可以避免錯誤。
比起因為擔心而不敢前進，吳恩達認為更好的作法是先打造原型（prototype），接著分析它在哪裡失誤，逐一調用工具解決問題後，確保模型足夠可靠後，再從原型階段向前至生產階段。
AI Agent未來：人人都有代理
AI代理已經陸續落地在商業應用端，對於未來開展，更是令人期待。
臉書創辦人祖克柏（Muck Zuckerberg）曾分享，如同企業都有自己的電子郵件、社群媒體和網站一般，他預期每間企業都將擁有自己的AI代理，負責客戶服務、溝通甚至是銷售，所有客戶都能直接與之對話，「我們想讓此事發生。」
除了提供中小企業服務以外，Meta也瞄準創作者，透過其大力發展的對話式AI，接手創作者與粉絲互動的任務，讓他們能夠省下時間，把心力用在生產更好的內容。
每個人、每間企業都有自己的AI代理，這個願景並非祖克柏獨有，輝達創辦人黃仁勳的想法相似，他認為我們將會見到數千億個代理人出現。
「未來幾年，人們將會擁有更多AI代理，他們就像員工一樣，可以被『僱用』來執行各種任務。」就像打造公司、形塑產業，他認為AI Agent將會滲透至各個領域，人們將見證前所未有的自動化程度（a level of automation capability that the world has never seen）。
在黃仁勳眼中，AI Agent可以理解人們下達的指示，並使用外部工具（tool use）、發揮推理能力，彼此之間協作，甚至向人類尋求回饋。他預測未來將會出現專精特定技能的Agent、擁有公司內部特定資訊權限的Agent，以及透過推理將任務分解成更小步驟的通用型（general purpose）代理人。
從美國到台灣、從垂直領域到通用、從企業端到個人端，AI代理將會像AI一樣無所不在，深刻改變人們的生活與工作，這樣的未來，在基礎模型能力不斷提升的背景下，指日可待。
