編按：AI不只改變工作方式，更可能重塑金融市場、醫療判斷與政府決策。當人類逐漸依賴AI，甚至無法理解系統如何做出決定，誰該承擔責任。從AI監管、演算法風險到台灣主權AI發展，如何在追求科技創新的同時，守住人類的判斷力、選擇權與治理能力？
歷史學家哈拉瑞在《遠見》高峰會提出令人不安的預測，未來幾年，AI可能超越人類智慧，人類甚至可能逐漸失去理解複雜世界的能力。這番話或許有些誇張，卻值得深思。人類發明了比自己跑得快的汽車、算得快的電腦，從未因此失去行走與計算能力，但如果連思考、判斷與決策，都長期交給AI，後果恐怕完全不同。
聰明的代價
今天的AI已經能撰寫程式、分析財報、協助診斷疾病，甚至自主操作電腦。未來若能設計新的金融商品、管理能源網路、協調國際交易，人類對社會運作的理解可能逐漸落後。試想，某天央行總裁詢問AI為何金融市場突然崩跌，得到的答案竟是數百萬個變數交互作用，連設計系統的工程師也無法完整解釋，政府還能有效管理經濟嗎？
這種情況並非毫無先例。2008年，全球金融海嘯之前，複雜的金融衍生商品，早已超出許多投資人，甚至監理機關的理解能力。AI若進一步加速金融交易與商品設計，危機可能在監理機關察覺之前就已擴散。
值得擔心的，還有人類自己的退化，學生習慣讓AI寫報告，醫師習慣利用AI幫忙診斷，主管習慣依照AI建議決策，久而久之，獨立思考可能成為少數人的能力。科技讓人省力，但人不該放棄鍛鍊判斷力，未來最珍貴的能力，或許就是敢於質疑AI和判斷AI對錯。
誰來管AI？
很多人要求政府建立強制性的安全規範，包括重大事故通報、獨立測試，以及失控時立即停止系統運作的機制。這些要求並不過分，藥品上市需要臨床試驗，飛機必須通過安全認證，涉及人民生命財產的AI，怎能只憑開發公司的保證就投入使用？
歐盟已透過AI法建立分級管理制度，要求具有系統性風險的模型接受評估、通報重大事故並強化資安。美國則較重視企業創新與自主承諾，兩種路線各有考量，但企業自律最大的弱點，在於守規矩者必須付出成本，冒險者卻可能搶得市場先機。
監理方式也不能完全交給科技巨頭制定，大型企業擁有龐大資金、法律團隊與技術優勢，繁複的法規，可能成為阻擋新創公司的門檻。要求政府監督AI固然合理，但制定規則的人，若過度依賴被監督者提供的資訊，最後恐怕形成另一種權力集中。
人類不能缺席
AI治理應該建立明確的責任制度，醫療AI誤診造成傷害，金融AI錯誤交易導致損失，自主代理擅自洩漏個資，都必須能追查決策過程、釐清責任歸屬。開發者、部署者與使用者各負什麼責任，應依控制能力與過失程度認定，不能讓受害者面對一套無人負責的AI演算法。
台灣尤其需要及早準備，政府積極推動主權AI、智慧醫療與產業數位轉型，不要只計算GPU數量、模型參數與投資金額。公共部門採購AI，應要求留下操作紀錄、定期接受外部稽核，重大決策必須保有人類覆核權。大學也應培養學生檢驗AI答案的能力，避免教育淪為訓練學生如何向機器提問。
還有一個容易忽略的危險，就是人類逐漸失去拒絕AI的自由。當醫院、銀行、政府機關全部依賴同一類系統，民眾即使懷疑其判斷，也可能找不到其他選擇。因此，重要公共服務必須保留人工處理管道，關鍵基礎設施也應具備獨立運作能力，不能因為AI故障就全面停擺。
人類文明的進步，始終伴隨著工具能力的提升。AI讓我們有機會解決疾病、能源與氣候難題，沒有理由因為恐懼而拒絕發展。但文明除了技術成就，還要看人類是否保有理解、選擇與承擔責任的能力。
未來最可怕的情況，恐怕並非AI比人類聰明，而是人類已經習慣凡事聽命於AI，連自己失去了什麼都不知道。科技可以超越人類的能力，但不該接管人類的命運。
本文章反映作者意見，不代表《遠見》立場
（作者為台北商業大學榮譽講座教授）
