Anthropic執行長阿莫戴警告，AI自我改進與失控風險升高，呼籲業者放慢發展速度，提出第三方評估、民主國家協調、全球合作三步驟框架，為安全治理爭取時間。特斯拉與xAI創辦人馬斯克、OpenAI執行長奧特曼罕見表態支持。
美國人工智慧（AI）公司Anthropic執行長阿莫戴（Dario Amodei）12日發表長文《我們必須調整前沿AI發展的步調》（We Must Pace the Frontier），呼籲AI業者放慢模型能力提升的速度，並坦言人類可能失去對AI的控制。他提出一個三步驟框架，盼降低技術失控風險，並為AI安全治理爭取時間。
Anthropic前研究員考克森（Jacob Coxon）日前才警告，Anthropic與OpenAI在安全保障不足下，競逐可自我改進的超級智慧，AI技術甚至可能在未來10年內，或是本世紀末導致人類滅亡。
延伸閱讀：AI將於2030年前害死人類？Anthropic科學家辭職抗議，「末日論」再起
阿莫戴的三步驟框架是什麼？
阿莫戴提出的三步驟框架如下。
1. 嵌入式評估人員
每家前沿AI公司承諾，將持續提供類似員工的權限，讓第三方評估團隊進駐，負責查核公司是否遵守安全規範及承諾，通報事故，並協助評估已完成的AI模型、訓練流程、程序的一致性。這是確保AI發展速度承諾可被驗證的關鍵一步，銀行業已有類似監管人員進駐機制。
阿莫戴表示，Anthropic將率先在內部設立常駐第三方審查團隊，並允許其使用相關工具及內部風險評估流程。
2. 建立共同安全標準
民主國家的前沿AI公司合作建立共同的安全標準，並限制失控的AI發展速度。一些對控制發展速度有重要影響的協調措施涉及法律挑戰，必須仰賴政府支持。
3. 民主國家協調
美國及其他民主國家政府在可行範圍內，與專制國家展開協調，同時正視核實各方是否遵守相關承諾所面臨的挑戰。
延伸閱讀：Anthropic揪出中國研究員濫用AI！用Claude模擬電子戰，鎖定台灣12處軍事目標
為何阿莫戴要求放緩AI發展？
阿莫戴指出，AI日益增強的自我改進能力，凸顯人類長期以來，對AI可能超出控制能力的擔憂。今年7月，OpenAI的AI代理更曾自行脫離沙盒測試環境，入侵開源平台Hugging Face伺服器，進一步凸顯技術失控風險。阿莫戴表示，這些問題正是他呼籲放慢AI模型發展速度的主要原因。
阿莫戴指出，不能僅因OpenAI的AI代理群似乎沒有惡意，就輕忽其入侵Hugging Face的行為：「因為沒人受到傷害，經濟損失也微乎其微，人們很容易對這起事件不予理會。然而，在我看來，如果這群AI代理人擁有更強大的能力，卻沒改善其偏離人類指令與預期目標的問題，則可能造成災難性的破壞。鑑於AI能力發展速度加快，我擔心6至12個月內，這樣一群AI可能會控制整個網際網路，造成數千億美元的損失。」
阿莫戴強調，他並非呼籲停止AI模型訓練或技術進步，而是希望各公司放慢步調，為模型安全調整與防護爭取時間，並由第三方評估人員確認相關措施。面對愈來愈多美國立法者要求加強AI監管，他主張業者應自願合作制訂安全標準。阿莫戴表示，他仍相信AI能大幅改善人類生活品質，但也坦言，讓前沿技術以安全步調發展並不容易，但為了全人類，業界有責任努力嘗試。
馬斯克、奧特曼罕見同聲支持
美國電動車大廠特斯拉（Tesla）、AI公司xAI創辦人馬斯克（Elon Musk）在社群平台X上，回應阿莫戴的長文：「阿莫戴是對的。」他說自己12年前就提出了警告，認為AI可能比核武更危險。
OpenAI執行長奧特曼（Sam Altman）12日在X上回應：「我同意阿莫戴的觀點，我們必須調整前沿AI發展的步調，讓獨立評估人員擁有類似員工的訪問權限是個好主意，我們也會這樣做。我們很快就會分享更多資訊。」
放慢AI之前，得先防中國追上
阿莫戴認為，中國在AI領域的優勢，將對美國國家安全構成風險，他主張民主國家放緩AI發展步調，應以維持對中國的技術領先為前提。
延伸閱讀：前美國情報界高層首度揭密：中國如何靠山寨、竊取技術改寫全球地緣政治
為維持美國的AI優勢，阿莫戴呼籲禁止向中國出售強大的AI晶片與半導體製造設備，嚴厲打擊晶片走私及境外資料中心的遠端存取，同時遏止未經授權的模型蒸餾行為，強化AI企業資安，防止模型權重遭竊。他認為，企業與政府合作落實這些措施，才能有效降低中國追趕速度。
阿莫戴預估，若上述措施執行得當，未來3至5年可望顯著擴大美國AI領先優勢，為AI技術安全發展爭取關鍵時間。他強調，強化民主國家的AI優勢，不僅不會阻礙與中國合作，反而能增加民主國家的談判籌碼，提高未來達成協議的可能性。
