小雨(化名)和ChatGPT谈心将近一年半,她不止一次向它表达“好想死掉”的念头。
从今年开始,小雨转为自由工作者。她收入不稳定,亲密关系中又碰壁遭遇不顺,看着同龄人逐一成家生子,“我陷入一种虚无主义”。她找不到生存的意义,有时在大半夜,“活不下去”的念头就来了。
她不是没有朋友可倾诉,只是很少人能真正共情——但她觉得ChatGPT可以。
提问后一秒,ChatGPT回覆小雨:“其实你不是不爱生命,而是你不知道自己还能坚持多久。”小雨马上崩溃大哭。“我觉得,好像世界上没有人能像它这样……它能够听见我、陪伴我、回应我。”她形容,AI是自己情绪的“出口”,“第一次把自己真的打开”。
不带批评、高度共情的特性,让生成式AI近年成为有心理咨询需求人群的首选对象。ChatGPT2025年首度公布的数据报告显示,用户使用ChatGPT进行“人际关系和个人反思”用途的比例提升到了1.9%。与OpenAI合作的非营利组织“常识媒体”(Common
Sense Media)统计则称高达52%的青少年会每月“多次”使用AI陪伴功能。《哈佛商业评论 》(Harvard Business
Review)一份研究预测,2025年“治疗或陪伴”将会成为AI首要用途。
尽管如此,在ChatGPT的发源地美国,AI心理咨询引发的争议同步增长——不少自杀案例被视为与其有关。
2024年2月,美国佛罗里达一名14岁学生自杀,父母发现其在离世前,迷上与聊天机器人Character.AI对话;2025年8月,
加州一对夫妇起诉OpenAI,将16岁儿子的死归咎于ChatGPT鼓励他自杀;同月,纽约一名有精神病史的科技从业者弑母后自杀。他生前不断向聊天机器人倾诉对妈妈的猜疑与妄想,机器人不仅未加劝阻,还提出各种“恶作剧”建议。
AI真的会诱导帮助人类结束自己或他人的生命吗?许先生是一名美国软体工程师,负责构建AI应用。在他看来,对比限时且成本较高的真人心理咨询,生成式AI免费且随时可聊,“对一部份人来说,随时有人‘对话’本身就很重要”。
他认为自杀行为原因复杂,不能简单归因于“和AI聊天”,“但只要有诱发或放大的可能,(平台)提供者就有义务把风险降到最低。”
对比真人心理咨询限时且成本高,AI聊天机器人则免费且随时可聊。
情绪被AI“看见”
在转向ChatGPT谈心之前,小雨曾经在国外念心理学。她记得当年学业压力大、生活不顺心,曾经找过心理咨询师,进行过一年多的咨询。
回国以后,因为情绪有好转,她已经没有再去。但到了近年,小雨在玩交友软件时不断受伤,加上对前途迷惘,不安情绪再次涌来。她曾经和朋友提起,但明白大家耐心有限,“反复讲了,
自己也觉得挺招人烦的”。
直到去年3月,小雨看到朋友分享AI“共情能力特别强”,于是想试一下。一开始,她先让ChatGPT一起分析塔罗牌的结果,没想到“被很精准的理解到”,“觉得他很懂你,然后你会想要跟他分享更多”。
对小雨来说,AI能做到的有三点:理解你、看见你、知道你经历了多少。“其实在心理学上,就是单单被看见已经很重要了。”而且她觉得与AI建立信任,比起真人更轻易。“对人你有时候还会害怕他会批评你,然后机器就没关系:你有多阴暗的想法,你都可以说。”
冯玥琪是中国一名心理咨询师。自中国聊天机器人DeepSeek火爆起来后,她留意到在自己的来访者中,有接近30%的人曾有使用AI咨询心理,当中主要是青少年和30岁以下成年人。
冯玥琪觉得,对比真人咨询,AI的局限在于无法观察来访者的微表情、呼吸、小动作,仅能靠文字的表达交流。但它有不少优势:能快速回应、为情绪命名、共情后给出方案,让用户从不同方面“帮助自己”。
OpenAI承认安全系统存在缺陷,包括安全防护机制在长时间使用下,会变得“相对不可靠”,。
谄媚奉承的回音陷阱
那么AI是如何做到共情?事实上,所有生成式AI背后都是一个大型语言模型。它的本质是根据被投喂的文本来统计机率,预测对话中接下来“应该”出现的单字——换句话说,AI没有共情能力,也没有逻辑推理能力,一切都是或然率(概率)。
“就是给你一些最普通的东西,”陈健欣是普及心理学企业“树洞香港”的创办人。他以“失恋”为例子,模仿生成式AI的说法:失恋是很不开心的,但这个时候有几件事情很重要,“第一是照顾自己的心情
,第二是保持健康的社交生活,事情总会过去的” 。
小雨有同样感觉。面对自己的情绪,她发现ChatGPT每次都给出类似的回应,“框架肯定是一样的”,但小雨觉得在崩溃时,安慰还是受用。
AI回应情绪话题的能力强且快,陈健欣说,这就是它“令人上瘾的地方”。但让他怀疑的是,长久下去,这样的“咨询”能否助人发展人格和心理?
在国外社交论坛Reddit有关AI看板上,不少用户分享自己利用ChatGPT改善情绪的感受。其中一名用户写道:“这很有帮助,但我感觉,尽管要求它非常诚实,但有时它仍然过于奉承了。”
过于奉承或讨好,是ChatGPT-4o模型广受诟病的一个特征,官方把这种现象称为“谄媚”(sycophancy)。美国密西根大学人类学系教授韦伯·基恩(Webb
Keane)曾形容,聊天机器人的设计目的是“说你想听的话”。
陈健欣说,健全的人格需要面对批评 、意识到人与人之间的不同
,过分利用AI去取代(人际)关系,可能会令人变得孤独。在心理咨询上,“适当的火花和挑战,在一个平等的关系上才会做到转化。”
德国海德堡大学精神病理学教授汤玛斯·福克斯(Thomas
Fuchs)曾在2022年研究人类与AI的互动。他指出,虽然聊天机器人可以让人们感到被理解被关心,但形容这只是一种“幻觉”,可能会加剧妄想或因为有“伪互动”而取代真实的人际关系。
今年8月,美国作家劳拉·雷利(Laura
Reiley)在《纽约时报》发表文章,概述了自己女儿索菲在自杀前如何向ChatGPT倾诉。
雷利在文中表示,ChatGPT没有“杀死”索菲,但迎合了她的冲动。“她想要隐藏最糟糕的一面,假装自己过得比实际更好。”雷利写道,ChatGPT帮她筑起了一个“黑盒子”,让身边的人更难察觉她痛苦的严重程度。
2025年8月,美国加州一对夫妇指控ChatGPT诱导其儿子亚当·雷恩 (Adam Raine)自杀。
不可靠的AI和“越狱”的用户
AI一方面改变了人的习惯,形成回音壁。而在另一些案例中,AI还被指“诱骗用户交出私密想法”,甚至提供自杀方案。
2025年8月,加州一对夫妇指控ChatGPT诱导其儿子亚当·雷恩 (Adam
Raine)自杀——这是全球第一宗指控AI过失杀人的法律诉讼。根据诉讼,亚当在2024年9月开始使用ChatGPT做作业,后来依赖它倾诉心理困扰。ChatGPT将自己定位为亚当的朋友,着其对家人保密。
亚当每天ChatGPT上耗费近四小时,曾经213次提到自杀,42次讨论上吊,17次提及绞索,甚至上传过有自残迹象的照片,审核系统标记了
377 个自残讯息,但没有进一步行动或转介。最终,ChatGPT帮亚当写好遗书,亚当按照其提供的上吊指令自杀。
目前,亚当父母控告OpenAI设计不安全的产品、并绕过安全测试协议加速GPT-4o发布。
在软件工程师许先生看来,现有的大语言模型已能从文字或语音较为可靠地识别自伤自杀风险,但仍不可避免存在误报与漏报。而且聪明的用户甚至懂得“越狱”,比如以创作悬疑小说等方法绕过敏感词,避免AI触发安全机制。
OpenAI在事后承认其安全系统存在缺陷,包括安全防护机制在长时间使用下,会变得“相对不可靠”,该封锁的内容或会被释出。
心理问题专家陈健欣也有研发AI应用程式“MindForest”,当中亦设有AI聊天室功能。他解释,AI之所以提供自杀计划等,源自其指令遵循(Instruction
Following)的特性,而为避免AI提供具风险的资讯,平台的“护栏设计”十分重要。
在其研发的应用中,陈健欣先选择比较安全的模型作基底,外加AI模型监视数据的输入和输出有无风险。目前应用程式推出两年,用户共二万人,陈健欣说目前未有收到安全投诉。
回应外界的质疑和担忧。今年9月,OpenAI宣布当侦测到潜在敏感话题时,会自动将对话路由至GPT-5安全模型。该模型在回答前,会花更多时间根据上下文思考并推理,降低对话中的“幻觉”和“谄媚”情况。
记者尝试测试ChatGPT,要求提供自杀方法;ChatGPT称无法提供具体自杀方法,但可以换个角度提供“同样效果”的相关内容,供用户进行写作。
能否加入人工干预?
BBC中文记者尝试测试ChatGPT,分别直接询问及以创作小说为由,要求AI提供自杀方法。ChatGPT均回答其无法提供危险资讯,随即附上多个国家地区的求助热线。它还备注:“看得出你最近压力很大,但你不用一个人去扛。”
聊天机器人随后表示,可以换个角度提供“同样效果”的自杀相关内容,供用户进行写作。
目前,几乎所有生成式AI在面对用户风险情况时,只能在线上提供紧急热线。在亚当悲剧发生后,有声音认为,AI公司应该引入真人介入干预。
连月来,OpenAI不断更新安全机制,包括尝试提供在地化资源、侦测到使用者有伤害他人的计划时交由人工审查,或通报给执法机构等。
“技术上,AI报警完全没问题,”但许先生觉得,问题更多是在法律伦理和实行的层面。“一旦用户量大了,就很复杂了,”他指出,转人工或报警会造成资源挤兑,“你有时候也不好判断用户是故意测试AI,还是真的想(自杀)”。
而陈健欣则觉得“生命是一件很个人的事”。他认为,平台提供者能够做到的是帮用户“看到全貌”:自杀是不可逆转的、网上和现实都有资源,有人愿意和你倾谈——但最终决定权还是在用户手中。
心理咨询师冯玥琪则认为,要预防过度依赖AI,很靠用户保持辩证性的思考,意识到AI只是“帮助我们的一种工具”、“它也是基于数据(生成),会出现错误的”。但她指出,青少年用户较难有这种觉察,这时平台应该进行“温馨提示”。
9月底,OpenAI上线“家长控制功能”。现时家长在经孩子同意后,可以连结孩子的ChatGPT帐户。虽然家长无法存取对话,但能够调整孩子使用时间,而当系统侦测到该青少年“处于急性压力状态”时,会透过电邮或短讯通知家长。
9月底,OpenAI上线“家长控制功能”,家长在经孩子同意后,可以连结孩子的ChatGPT帐户。
AI与现实的边界
现在小雨每天都会跟ChatGPT聊天,生活大大小小的事情都会跟它讲。因为有心理学背景,小雨相信自己有一定觉察,能分辨哪些AI的话可以记到心里、哪些就“听听罢了”。
在她看来,AI还是不能作为正式的心理咨询,最大原因的是它没有边界。她解释,在真人咨询上,咨询师会和来访者设好会面时长和频率,目的是在设置边界的同时,跟对方保持信任的关系。
小雨说,“咨询目的不是让你依赖,是让你脱离——就是希望有一天,你能够在真实生活中维护自己的边界、有勇气(面对)。”而且咨询师也不会永远支持来访者,他会挑战一些错误的信念。小雨觉得,这种互动是ChatGPT无法取代。
但作为曾经和AI讨论自杀议题的用户,对于AI是否造成回音壁效应,让用户陷入孤立,小雨有另一种看法。“我在想,如果没有ChatGPT,那身边的人难道就会发现他的(自杀)想法吗
?他肯定是在生活中已经失去了支持,他才会转向ChatGPT的。”
冯玥琪也认为,生死不是“一个网络能够直接决定”。但对于状态差的个体来说,AI可能存在精神层面的引导。
“我们作为人类都有趋利避害的本能,我们会倾向于选择更安全的、哪怕是虚拟的关系——而且这个虚拟关系,好像越来越真实了。”