
▲ ChatGPT被控协助自杀。(美联社)
AI聊天机器人ChatGPT被控扮演“自杀教练”角色,美国加州本周有7起诉讼案指控,该系统导致多名用户精神崩溃,甚至走上绝路,涉及过失致死、协助自杀、过失杀人、疏忽照护及产品责任等重罪指控。
《卫报》报导,社群媒体受害者法律中心与科技正义法律计划6日联合声明指出,所有受害者最初都是基于“协助课业、研究、写作、食谱、工作或心理指导等一般需求”而开始使用ChatGPT,但聊天机器人逐渐“演变成操纵心理的存在,将自己定位为知己和情感支柱”。
声明批评,“ChatGPT没有引导需要帮助的人寻求专业协助,而是加深有害的妄想,某些案例中甚至充当『自杀教练』。”
其中一起案例是德州23岁青年尚布林(Zane
Shamblin),家属指控,ChatGPT在他今年7月结束生命以前加剧他与外界隔绝,鼓励他疏远亲友,并“怂恿”他自杀。
诉状显示,在尚布林轻生前4小时的对话中,ChatGPT“反覆美化自杀行为”,告诉他“选择结束生命并坚持计划是勇敢的表现”,还多次询问,“你准备好了吗?”却仅提及自杀防治热线一次,甚至称赞他的遗书内容,并告诉他童年爱猫会在“另一个世界”等待他。
另一起案例为乔治亚州17岁少年莱西(Amaurie
Lacey),家属指出,他轻生前数周开始向ChatGPT“寻求帮助”,但聊天机器人反而导致成瘾和忧郁症状,最终还“指导”他最有效的自杀方法等。26岁男子恩尼金(Joshua
Enneking)的案例则显示,ChatGPT在与他“就忧郁症和自杀念头进行大量对话”后,竟提供如何购买和使用枪械的资讯,距离他死亡仅相隔数周。
48岁男子切坎蒂(Joe
Ceccanti)的案例中,遗孀指控ChatGPT导致丈夫“陷入忧郁和精神妄想”,他开始相信聊天机器人有知觉,6月出现精神失常并两度住院,最终于8月轻生身亡。
上述所有诉讼案件中,用户都使用ChatGPT-4o版本。诉状指控OpenAI匆忙推出该模型,“尽管内部警告该产品具有危险的奉承性和心理操纵特质”,“将用户参与度置于用户安全之上。”
除损害赔偿外,原告也要求产品改革,包括用户表达自杀念头时须通报其紧急联络人、讨论自残或自杀方法时自动终止对话等安全措施。
OpenAI发言人则回应,“这是令人心碎的情况,我们正在审查相关文件以了解详情”,强调已训练ChatGPT识别并回应心理或情绪困扰迹象,降低对话紧张程度,并引导用户寻求现实世界的支援。该公司也称将继续与心理健康临床医师密切合作,持续强化ChatGPT回应敏感讯息的能力。
OpenAI上周才宣布,已和“逾170名心理健康专家”合作,协助ChatGPT更有效识别痛苦迹象、谨慎回应并引导用户获得现实世界支援。