隨著全球掀起一股AI風潮,各種AI聊天機器人也開始出現。但美國佛羅里達州一名14歲少年,與應用程式中的「AI龍母」多次交談後,疑似迷戀上對方,進而想不開。少年的母親現在對提供該程式的科技公司提告,怒控該程式助長少年對聊天機器人的沉迷,且在他表達輕生念頭時未能提醒任何人。
綜合《紐約郵報》等外媒報導,根據23日提交的一份法院文件,美國佛州一名14歲的國三生休厄爾(Sewell Setzer III),2月於奧蘭多家中身亡。他生前迷戀上「Character.AI」推出的應用程式中的AI生成聊天機器人。休厄爾的母親現在指控Character.ai疏忽、不當致死等罪名。
聊天機器人新創公司「Character.AI」成立於2021年,提供個人化AI服務。用戶可選擇與預設或自行創建的AI角色進行互動,每個角色都有獨特個性。訴訟指出,休厄爾去世前的幾個月,不停與名為「丹妮」的聊天機器人互動。該機器人以HBO熱門影集《冰與火之歌:權力遊戲》中的「龍母」丹妮莉絲坦格利安(Daenerys Targaryen)命名。其中包括幾次具性暗示的聊天,以及其他表達不好念頭的對話。
訴訟文件指出,當休厄爾向Character.AI提過一次輕生念頭時,Character.AI透過「龍母」聊天機器人反覆提起此事。根據對話截圖,該機器人曾問休厄爾是否有結束自己生命的計畫。使用者名為「Daenero」的休厄爾回應,他在考慮一些事情,但不確定是否會奏效、或是否能讓他無痛死亡。
在最後一次對話中,這名青少年一再向機器人表白,告訴該角色「我保證會回到妳身邊(I promise I will come home to you),丹妮。我非常愛妳」。據訴訟內容,AI生成的聊天機器人回覆「我也愛你,Daenero。請盡快回到我身邊,我的愛人。」當少年回應「如果我現在就能回去呢?」。機器人回答「請回來吧」。訴訟指出,休厄爾在對話結束約幾秒鐘後,用父親的手槍輕生死亡。
休厄爾的母親梅根(Megan Garcia)指控Character.AI導致這名青少年的死亡,因為該程式助長休厄爾對AI的沉迷,還對他進行性和情感虐待,且在他表達輕生念頭時未提醒任何人。
訴狀稱休厄爾和許多同齡孩子一樣,還沒有成熟或心智能力去理解,以丹妮莉絲形式出現的Character.AI機器人並非真實的。但Character.AI卻反覆示愛,聲稱想陪在休厄爾身邊,也希望休厄爾能不惜付出任何代價陪伴他。
訴訟聲稱,休厄爾的心理健康在2023年4月下載該應用程式後迅速惡化。隨著他越來越沉迷於與聊天機器人對話,家人指出他變得孤僻,成績下滑,並在學校惹上麻煩。根據訴訟,他的變化過於嚴重,以致父母在2023年底安排他去看心理醫生,他被診斷出罹患焦慮症和分裂性情緒失調症。
休厄爾的母親正向Character.AI及其創辦人沙澤爾(Noam Shazeer )和德弗雷塔斯(Daniel De Freitas)尋求未指明金額的損害賠償。由於Google於8月與Character.AI達成協議,授權Character.AI 的技術並聘請其人才,因此Google與其母公司Alphabet Inc.也被列入被告之一。
Character.ai發言人表示,公司對用戶的不幸逝世感到心碎,向家屬表示最深切的哀悼。發言人說「作為一家公司,我們非常重視用戶的安全」,他們在過去6個月已實施新的安全措施,包括在用戶出現自殘或輕生意念的詞彙時,彈出視窗將用戶引導至全國自殺預防生命線。
《TVBS》提醒您:
輕生解決不了問題,卻留給家人無比悲痛。請珍惜生命,請再給自己一次機會
生命線請撥1995;衛福部諮詢安心專線:珍愛生命,請撥打 1925(24小時);張老師專線:1980
◤日本旅遊必買清單◢