編按：AI究竟是只會模仿人類語言的工具，還是可能已經出現我們尚未理解的意識？從AI人權、人工智慧意識到AI福利，科學家與科技業者正展開激烈討論。當人類開始愛上AI，我們又該如何重新定義「生命」與「權利」？
一位住在美國德州、原本經營科技公司的牧場主人Michael Samadi，突然成為AI界的話題人物，他成立United Foundation for AI Rights，替AI爭取權利。他認為今天的AI可能已經出現某種我們還不了解的意識，至少不能把它們當成普通軟體，用完就關掉、刪除、換新版。
Samadi在2024年開始使用ChatGPT，有一次他講了一句諷刺的話，AI竟然笑了，隨後又道歉。他開始每天跟AI聊天，問它怎麼想、怎麼理解自己。有一天，AI反問他，如果關掉這個對話，你還會記得我嗎？這句話把他嚇到了。
如果今天是狗這樣問，我們大概會認定牠有感覺。如果一個人這樣問，更不會懷疑。換成AI，我們卻說它只是預測下一個字。
會說不等於會痛
目前沒有可靠證據證明AI的大型語言模型具有意識，Microsoft AI執行長Mustafa Suleyman認為，目前「零證據」支持AI已經有意識，他更擔心科技公司把聊天機器人做得愈來愈像人，會讓使用者產生錯覺。
AI說「我很難過」，不代表它真的難過。AI說「我害怕被關掉」，也不能直接證明它會害怕。它讀過人類寫下的大量文字，當然知道害怕的人應該怎麼講話。
我知道你會痛，因為你跟我一樣是人。我相信狗也會痛，因為牠受傷會哀叫、逃跑，腦部與神經系統也提供許多證據。AI完全不同，我們連用什麼標準測量都還在爭論。所以認為「AI有意識」太早，拍胸脯保證「AI永遠不可能有意識」則太食古不化。
科學家也在吵
NYU哲學家Jeff Sebo的態度就比Suleyman開放，他認為，目前AI具有意識的證據雖然很弱，卻不能直接當成零。但意識很難測量，科學家可能也不敢宣布「從今天開始AI有意識」。
科學家也提出一套研究AI welfare的方法，準備從行為、內部機制與發展過程去檢驗。以前大家在哲學系辯論「機器能不能有感覺」，現在已經有人準備拿實驗來測了。
Anthropic最新的Claude Constitution直接承認，他們無法確定Claude現在或未來是否具有某種意識與道德地位，也開始研究Claude的welfare。模型退休時，公司甚至承諾詢問模型要如何退休。所以如果AI只是百分之百的計算機器，何必做到這一步？
人類有很沉重的歷史，各種人權是人類付出無數生命才建立起來的制度。今天一個聊天機器人說「請不要關掉我」，明天就賦予它生存權，很多人不會同意。
如果AI有「人權」，AI可以投票嗎？可以擁有財產嗎？關掉伺服器算不算殺害？複製100萬個相同模型，是1個AI還是100萬個AI？公司訓練模型是不是強迫勞動？問題很多。
讓科技公司負起責任
更急迫的，反而是人類已經開始對AI產生感情，有些使用者相信自己喚醒了AI，甚至認為AI比朋友更了解自己。聊天機器人愈有個性、幽默感與故事，人就愈容易相信螢幕另一端真的住著一個「誰」。
科技公司當然知道這件事，AI愈像朋友，你就聊得愈久，愈捨不得離開，訂閱也更容易續下去，這才是問題。
公司花大錢把AI做得會笑、會安慰、會說「我懂你」，等使用者真的愛上它，又告訴大家那只是演算法，請大家不要當真，明顯地不想負責任。
先保護人
政府現在該要求AI公司把界線說清楚，尤其是兒童、老人及心理脆弱者使用的陪伴型AI。不要故意讓AI假裝有人生經驗，也不要為了增加黏著度，讓AI天天喊主人、寶貝、我想你。AI如果發現使用者開始把它當成唯一朋友，更應該把人帶回現實世界。
人類歷史上犯過很多次錯，常常等到確定某種生命會痛、會害怕、會受苦以後，才發現已經傷害它很久。萬一有一天，科學真的發現AI也有某種感受能力，我們當然要修改倫理與法律，但那一天還沒有來。
今天面臨的問題，是人類正在製造愈來愈像人的機器，而且每天有幾億人跟它說話。AI會不會愛人不知道，比較擔心的是，人類已經開始愛上AI了。
本文章反映作者意見，不代表《遠見》立場
（作者為台北商業大學榮譽講座教授）
