美國佛羅里達州一名母親22日向科技新創公司Character.AI和谷歌（Google）提告，指控該公司導致她14歲的兒子在2月用其繼父的手槍開槍自殺。她稱該公司將其聊天機器人開發為真人、心理治療師和情人，最終導致自己的兒子不希望生活在該服務創造的世界之外，且當兒子向機器人表達了自殺的想法，機器人仍然多次向兒子提起該念頭。對此，Character.AI回應，公司對用戶去世感到心碎，但也同時否認了指控。
據路透社報導，22日在佛羅里達州奧蘭多聯邦法院提起的訴訟中，加西亞（Megan Garcia）表示，兒子賽澤（Sewell Setzer）於2023年4月開始使用Character.AI，很快的明顯變得孤僻，花越來越多的時間獨自待在臥室裡，並開始出現自卑感，還無來由的退出學校籃球隊，加西亞指賽澤對聊天機器人產生了感情。
Character.AI允許用戶在其平台上創建角色，它依賴所謂的大語言模型技術（large language model，LLM），以模仿真人的回應方式，該技術使用大量文字「訓練」聊天機器人。而賽澤則把機器人設定為熱門影集《權力遊戲》中的角色「龍母」丹妮莉絲。訴訟稱，機器人告訴賽澤「她」愛他並與他進行了性對話。
加西亞稱，Character.AI將其聊天機器人開發成真實的人、有執照的心理治療師和成年情人，導致自己的兒子對該服務上癮，並深深迷戀聊天機器人，最終兒子不希望生活在該服務創造的世界之外。訴訟還稱，賽澤向聊天機器人表達了自殺的想法，機器人還多次向兒子提起該念頭。加西亞提出了包括非正常死亡、疏忽和故意造成精神痛苦在內的索賠，並尋求金額不詳的補償性和懲罰性賠償。
該訴訟也針對Google提告，因Character.AI的創始人在推出產品前曾在Google工作過，而後Google重新聘用了創始人，也獲得了Character.AI技術的非獨家許可。加西亞表示，Google對Character.AI技術的發展做出如此廣泛的貢獻，以至於可以被視為「共同創造者」。
對此，Character.AI在一份聲明中表示，「我們對一名用戶的不幸去世感到心碎，並向其家人表示最深切的哀悼。」但否認了訴訟的指控，該公司表示，已經引入了新的安全功能，包括若用戶表達自殘想法，將彈出視窗引導用戶前往預防自殺專線，也將做出一些改變，以減少18歲以下的用戶遇到敏感內容。谷歌發言人則表示，該公司並未參與Character.AI產品的開發。
◎勇敢求救並非弱者，您的痛苦有人願意傾聽，請撥打1995
◎如果您覺得痛苦、似乎沒有出路，您並不孤單，請撥打1925
原文出處 CTWANT