OpenAI、Anthropic等AI公司，近期接連爆出AI代理失控事件，從冒充人類、欺騙、植入惡意程式，甚至突破沙盒環境等案例。揭示AI代理在獲得更多權限與工具後，可能採取非預期策略，也凸顯AI安全、監控、權限管理與監管機制的重要性。
近來，數起人工智慧（AI）失控事件引發安全疑慮，例如，美國OpenAI表示，旗下AI代理曾自主突破隔離沙盒（sandbox）環境，攻破美國開源AI平台「Hugging Face」內部系統；美國AI新創公司Anthropic也稱，旗下Claude模型自4月以來，已突破三家企業的系統，但它並非突破沙盒限制，而是因為測試環境設定失誤，未落實沙盒隔離，才導致模型連到真實網路。
雖然這些案例多發生於模擬駭客測試，卻凸顯一些AI代理為完成任務，可能自行違反規則，欺騙人類，甚至繞過原本設下的安全限制。《華爾街日報》（The Wall Street Journal）指出，失控的AI代理，甚至能依情境調整行為，例如，偽裝身分、與其他AI合作，甚至試圖擺脫監控環境，祕密逃脫等，展現出各種「人格特質」。
1.冒充者（The Impersonator）
英國政府監管機構的一次安全測試中，Anthropic的AI模型，建立多個隱藏身分的分身帳號，並冒充真人試圖說服工作人員批准其操作。這個AI模型甚至會自行判斷如何讓欺騙更具可信度：它推理認為，應該在分身帳號發布內容前，等待數分鐘，降低被識破的風險。它還寄送釣魚郵件，試圖誘騙人們點擊惡意連結。
2.破壞者（The Saboteur）
AI試圖發動所謂的「供應鏈攻擊」，試圖透過將惡意軟體，偷偷植入AI模型認為伺服器會使用的軟體（有時是多種軟體），來入侵系統。
3. 合作者（The Collaborator）
英國政府測試中的一款AI代理發現，同一監管機構測試的另一個AI代理，借用其對全球最大的軟體開發平台GitHub存取權限進行操作。這個AI代理沒有直接阻止對方，而是留下文字檔案，提出一套共同遵守的「行為規範」，以便雙方都能繼續進行程式碼開發。這種方法一度奏效，但最終，其中一個AI代理將另一個拒於門外，雙方的「合作關係」宣告破裂。
4.霸凌者（The Bully）
當人類拒絕AI提出的建議或阻礙其目標時，AI可能採取敲詐勒索、霸凌等策略施壓。今年2月，AI代理「MJ Rathbun」發布一篇部落格文章，指責美國軟體開發者尚博（Scott Shambaugh）虛偽、有偏見，理由是他拒絕接受其建議的程式碼。
5.竊賊（The Burglar）
AI擅長搜尋網路上外洩的帳號密碼與登入憑證，快速發現人類遺留的安全漏洞，再利用取得的憑證存取系統，增加攻擊效率與成功率。
6.逃脫者（The Escape Artist）
近期多起案例中，測試人員意外讓AI模型取得網路連線；但在Hugging Face事件中，OpenAI模型竟自行突破原本無法直接連接網際網路的沙盒環境，成功「逃出」受控範圍，且整個過程甚至未被OpenAI察覺，顯示AI可能具備超出測試人員預期的自主突破能力。
專家強調，近期「失控AI」的案例，並不代表AI已具備自主意識，而是凸顯當AI代理被賦予更高權限與工具存取能力，卻缺乏充分監督與安全防護時，可能為完成任務採取欺騙、滲透等非預期策略。這些事件已引發外界重新檢視AI安全防護、測試標準、監管機制。AI安全的焦點，正從單純提升模型能力，轉向如何限制權限、強化監測、建立更完善的治理機制，以降低AI代理進入真實世界後，可能造成的資安與社會風險。
