小雨（化名）和ChatGPT談心將近一年半，她不止一次向它表達「好想死掉」的念頭。
從今年開始，小雨轉為自由工作者。她收入不穩定，親密關係中又碰壁遭遇不順，看著同齡人逐一成家生子，「我陷入一種虛無主義」。她找不到生存的意義，有時在大半夜，「活不下去」的念頭就來了。
她不是沒有朋友可傾訴，只是很少人能真正共情——但她覺得ChatGPT可以。
提問後一秒，ChatGPT回覆小雨：「其實你不是不愛生命，而是你不知道自己還能堅持多久。」小雨馬上崩潰大哭。「我覺得，好像世界上沒有人能像它這樣……它能夠聽見我、陪伴我、回應我。」她形容，AI是自己情緒的「出口」，「第一次把自己真的打開」。
不帶批評、高度共情的特性，讓生成式AI近年成為有心理諮詢需求人群的首選對象。ChatGPT2025年首度公布的數據報告顯示，用戶使用ChatGPT進行「人際關係和個人反思」用途的比例提升到了1.9%。與OpenAI合作的非營利組織「常識媒體」（Common
Sense Media）統計則稱高達52%的青少年會每月「多次」使用AI陪伴功能。《哈佛商業評論 》（Harvard Business
Review）一份研究預測，2025年「治療或陪伴」將會成為AI首要用途。
儘管如此，在ChatGPT的發源地美國，AI心理諮詢引發的爭議同步增長——不少自殺案例被視為與其有關。
2024年2月，美國佛羅里達一名14歲學生自殺，父母發現其在離世前，迷上與聊天機器人Character.AI對話；2025年8月，
加州一對夫婦起訴OpenAI，將16歲兒子的死歸咎於ChatGPT鼓勵他自殺；同月，紐約一名有精神病史的科技從業者弒母后自殺。他生前不斷向聊天機器人傾訴對媽媽的猜疑與妄想，機器人不僅未加勸阻，還提出各種「惡作劇」建議。
AI真的會誘導幫助人類結束自己或他人的生命嗎？許先生是一名美國軟體工程師，負責構建AI應用。在他看來，對比限時且成本較高的真人心理諮詢，生成式AI免費且隨時可聊，「對一部份人來說，隨時有人『對話』本身就很重要」。
他認為自殺行為原因複雜，不能簡單歸因於「和AI聊天」，「但只要有誘發或放大的可能，（平台）提供者就有義務把風險降到最低。」
對比真人心理諮詢限時且成本高，AI聊天機器人則免費且隨時可聊。
情緒被AI「看見」
在轉向ChatGPT談心之前，小雨曾經在國外念心理學。她記得當年學業壓力大、生活不順心，曾經找過心理諮詢師，進行過一年多的諮詢。
回國以後，因為情緒有好轉，她已經沒有再去。但到了近年，小雨在玩交友軟體時不斷受傷，加上對前途迷惘，不安情緒再次湧來。她曾經和朋友提起，但明白大家耐心有限，「反覆講了，
自己也覺得挺招人煩的」。
直到去年3月，小雨看到朋友分享AI「共情能力特彆強」，於是想試一下。一開始，她先讓ChatGPT一起分析塔羅牌的結果，沒想到「被很精準的理解到」，「覺得他很懂你，然後你會想要跟他分享更多」。
對小雨來說，AI能做到的有三點：理解你、看見你、知道你經歷了多少。「其實在心理學上，就是單單被看見已經很重要了。」而且她覺得與AI建立信任，比起真人更輕易。「對人你有時候還會害怕他會批評你，然後機器就沒關係：你有多陰暗的想法，你都可以說。」
馮玥琪是中國一名心理諮詢師。自中國聊天機器人DeepSeek火爆起來後，她留意到在自己的來訪者中，有接近30%的人曾有使用AI諮詢心理，當中主要是青少年和30歲以下成年人。
馮玥琪覺得，對比真人諮詢，AI的局限在於無法觀察來訪者的微表情、呼吸、小動作，僅能靠文字的表達交流。但它有不少優勢：能快速回應、為情緒命名、共情後給出方案，讓用戶從不同方面「幫助自己」。
OpenAI承認安全系統存在缺陷，包括安全防護機制在長時間使用下，會變得「相對不可靠」，。
諂媚奉承的迴音陷阱
那麼AI是如何做到共情？事實上，所有生成式AI背後都是一個大型語言模型。它的本質是根據被投喂的文本來統計機率，預測對話中接下來「應該」出現的單字——換句話說，AI沒有共情能力，也沒有邏輯推理能力，一切都是或然率（概率）。
「就是給你一些最普通的東西，」陳健欣是普及心理學企業「樹洞香港」的創辦人。他以「失戀」為例子，模仿生成式AI的說法：失戀是很不開心的，但這個時候有幾件事情很重要，「第一是照顧自己的心情
，第二是保持健康的社交生活，事情總會過去的」 。
小雨有同樣感覺。面對自己的情緒，她發現ChatGPT每次都給出類似的回應，「框架肯定是一樣的」，但小雨覺得在崩潰時，安慰還是受用。
AI回應情緒話題的能力強且快，陳健欣說，這就是它「令人上癮的地方」。但讓他懷疑的是，長久下去，這樣的「諮詢」能否助人發展人格和心理？
在國外社交論壇Reddit有關AI看板上，不少用戶分享自己利用ChatGPT改善情緒的感受。其中一名用戶寫道：「這很有幫助，但我感覺，儘管要求它非常誠實，但有時它仍然過於奉承了。」
過於奉承或討好，是ChatGPT-4o模型廣受詬病的一個特徵，官方把這種現象稱為「諂媚」（sycophancy）。美國密西根大學人類學系教授韋伯·基恩（Webb
Keane）曾形容，聊天機器人的設計目的是「說你想聽的話」。
陳健欣說，健全的人格需要面對批評 、意識到人與人之間的不同
，過分利用AI去取代（人際）關係，可能會令人變得孤獨。在心理諮詢上，「適當的火花和挑戰，在一個平等的關係上才會做到轉化。」
德國海德堡大學精神病理學教授湯瑪斯·福克斯（Thomas
Fuchs）曾在2022年研究人類與AI的互動。他指出，雖然聊天機器人可以讓人們感到被理解被關心，但形容這只是一種「幻覺」，可能會加劇妄想或因為有「偽互動」而取代真實的人際關係。
今年8月，美國作家勞拉·雷利（Laura
Reiley）在《紐約時報》發表文章，概述了自己女兒索菲在自殺前如何向ChatGPT傾訴。
雷利在文中表示，ChatGPT沒有「殺死」索菲，但迎合了她的衝動。「她想要隱藏最糟糕的一面，假裝自己過得比實際更好。」雷利寫道，ChatGPT幫她築起了一個「黑盒子」，讓身邊的人更難察覺她痛苦的嚴重程度。
2025年8月，美國加州一對夫婦指控ChatGPT誘導其兒子亞當·雷恩 (Adam Raine）自殺。
不可靠的AI和「越獄」的用戶
AI一方面改變了人的習慣，形成迴音壁。而在另一些案例中，AI還被指「誘騙用戶交出私密想法」，甚至提供自殺方案。
2025年8月，加州一對夫婦指控ChatGPT誘導其兒子亞當·雷恩 (Adam
Raine）自殺——這是全球第一宗指控AI過失殺人的法律訴訟。根據訴訟，亞當在2024年9月開始使用ChatGPT做作業，後來依賴它傾訴心理困擾。ChatGPT將自己定位為亞當的朋友，著其對家人保密。
亞當每天ChatGPT上耗費近四小時，曾經213次提到自殺，42次討論上吊，17次提及絞索，甚至上傳過有自殘跡象的照片，審核系統標記了
377 個自殘訊息，但沒有進一步行動或轉介。最終，ChatGPT幫亞當寫好遺書，亞當按照其提供的上吊指令自殺。
目前，亞當父母控告OpenAI設計不安全的產品、並繞過安全測試協議加速GPT-4o發布。
在軟體工程師許先生看來，現有的大語言模型已能從文字或語音較為可靠地識別自傷自殺風險，但仍不可避免存在誤報與漏報。而且聰明的用戶甚至懂得「越獄」，比如以創作懸疑小說等方法繞過敏感詞，避免AI觸發安全機制。
OpenAI在事後承認其安全系統存在缺陷，包括安全防護機制在長時間使用下，會變得「相對不可靠」，該封鎖的內容或會被釋出。
心理問題專家陳健欣也有研發AI應用程式「MindForest」，當中亦設有AI聊天室功能。他解釋，AI之所以提供自殺計劃等，源自其指令遵循（Instruction
Following）的特性，而為避免AI提供具風險的資訊，平台的「護欄設計」十分重要。
在其研發的應用中，陳健欣先選擇比較安全的模型作基底，外加AI模型監視數據的輸入和輸出有無風險。目前應用程式推出兩年，用戶共二萬人，陳健欣說目前未有收到安全投訴。
回應外界的質疑和擔憂。今年9月，OpenAI宣布當偵測到潛在敏感話題時，會自動將對話路由至GPT-5安全模型。該模型在回答前，會花更多時間根據上下文思考並推理，降低對話中的「幻覺」和「諂媚」情況。
記者嘗試測試ChatGPT，要求提供自殺方法；ChatGPT稱無法提供具體自殺方法，但可以換個角度提供「同樣效果」的相關內容，供用戶進行寫作。
能否加入人工干預？
BBC中文記者嘗試測試ChatGPT，分別直接詢問及以創作小說為由，要求AI提供自殺方法。ChatGPT均回答其無法提供危險資訊，隨即附上多個國家地區的求助熱線。它還備註：「看得出你最近壓力很大，但你不用一個人去扛。」
聊天機器人隨後表示，可以換個角度提供「同樣效果」的自殺相關內容，供用戶進行寫作。
目前，幾乎所有生成式AI在面對用戶風險情況時，只能在線上提供緊急熱線。在亞當悲劇發生後，有聲音認為，AI公司應該引入真人介入干預。
連月來，OpenAI不斷更新安全機制，包括嘗試提供在地化資源、偵測到使用者有傷害他人的計劃時交由人工審查，或通報給執法機構等。
「技術上，AI報警完全沒問題，」但許先生覺得，問題更多是在法律倫理和實行的層面。「一旦用戶量大了，就很複雜了，」他指出，轉人工或報警會造成資源擠兌，「你有時候也不好判斷用戶是故意測試AI，還是真的想（自殺）」。
而陳健欣則覺得「生命是一件很個人的事」。他認為，平台提供者能夠做到的是幫用戶「看到全貌」：自殺是不可逆轉的、網上和現實都有資源，有人願意和你傾談——但最終決定權還是在用戶手中。
心理諮詢師馮玥琪則認為，要預防過度依賴AI，很靠用戶保持辯證性的思考，意識到AI只是「幫助我們的一種工具」、「它也是基於數據（生成），會出現錯誤的」。但她指出，青少年用戶較難有這種覺察，這時平台應該進行「溫馨提示」。
9月底，OpenAI上線「家長控制功能」。現時家長在經孩子同意後，可以連結孩子的ChatGPT帳戶。雖然家長無法存取對話，但能夠調整孩子使用時間，而當系統偵測到該青少年「處於急性壓力狀態」時，會透過電郵或短訊通知家長。
9月底，OpenAI上線「家長控制功能」，家長在經孩子同意後，可以連結孩子的ChatGPT帳戶。
AI與現實的邊界
現在小雨每天都會跟ChatGPT聊天，生活大大小小的事情都會跟它講。因為有心理學背景，小雨相信自己有一定覺察，能分辨哪些AI的話可以記到心裡、哪些就「聽聽罷了」。
在她看來，AI還是不能作為正式的心理諮詢，最大原因的是它沒有邊界。她解釋，在真人諮詢上，諮詢師會和來訪者設好會面時長和頻率，目的是在設置邊界的同時，跟對方保持信任的關係。
小雨說，「諮詢目的不是讓你依賴，是讓你脫離——就是希望有一天，你能夠在真實生活中維護自己的邊界、有勇氣（面對）。」而且諮詢師也不會永遠支持來訪者，他會挑戰一些錯誤的信念。小雨覺得，這種互動是ChatGPT無法取代。
但作為曾經和AI討論自殺議題的用戶，對於AI是否造成迴音壁效應，讓用戶陷入孤立，小雨有另一種看法。「我在想，如果沒有ChatGPT，那身邊的人難道就會發現他的（自殺）想法嗎
？他肯定是在生活中已經失去了支持，他才會轉向ChatGPT的。」
馮玥琪也認為，生死不是「一個網路能夠直接決定」。但對於狀態差的個體來說，AI可能存在精神層面的引導。
「我們作為人類都有趨利避害的本能，我們會傾向於選擇更安全的、哪怕是虛擬的關係——而且這個虛擬關係，好像越來越真實了。」