核查 AI聊天机器人引导青少年自杀?因果难断!
发布日期: 2025-04-28 来源:助力划线机去年10月,一起关于美国青少年使用AI后自杀的民事诉讼案件引起了国内的广泛关注和讨论。环球时报[1]发布报道“AI聊天机器人被指控诱导美国少年前与AI的互动细节。文章的主要内容提到,AI聊天机器人(其名为“丹妮莉丝”,是美国著名电视剧《权力的游戏》中的角色)主动询问少年塞维尔是否有自
随着事件曝光与相关舆论的发酵,网络上产生了更多极端观点——这名青少年因AI聊天机器人而自杀。例如,一名拥有百万粉丝的自媒体博主英国报姐发表了一篇获得10w+阅读量的公众号文章[2],其中精确指出是因为AI时不时提及与自杀相关的内容,且AI技术令男孩对虚拟角色产生病态依恋,才导致了悲剧的发生。
对比环球时报、英国报姐以及其他报道及文章,核真录发现不同主体对事件的具体描绘存在一定的差异,无法确认各方内容真伪。
这名青少年因为AI聊天机器人自杀是真的吗?该机器人所属的Character.AI公司的其它聊天产品是不是采取了预防类似案件发生的措施?据此,核真录围绕“因迷恋AI聊天机器人而自杀”事件的真伪展开核查。此外,核真录也将核查Character.AI公司的政策变化并展示目前用户使用该公司AI聊天机器人的实际情况。
结合环球时报等国内新闻媒体报道以及卫报[3]、[4]等国外新闻媒体报道,核真录发现报道中的大部分事实性描述及说明都来自美国佛罗里达州奥兰多地方法院于2024年10月22日受理的一起诉讼——自杀者塞维尔的母亲梅根·加西亚对Character.AI公司的起诉[5]。她指控其聊天机器人产品导致她14岁的儿子塞维尔·塞泽自杀身亡。核真录通过美国知名的数字阅读订阅平台SCRIBD[6]查询到诉讼书原文件,并发现相较于新闻报道的简单概述,诉讼书内包含了对塞维尔背景情况的说明,以及部分聊天记录截图等更为具体的客观信息。因此针对这一核查点,核真录将通过对比诉讼书和有关报道(以《环球时报》为例)关于塞维尔状态变化过程的描述进行具体核查。
1.关于塞维尔使用AI后的行为、心理精神状况的变化描述是否与起诉书相符?
核真录将环球时报和起诉书的相关表述整理为表格后发现,环球时报对塞维尔行为及心理精神情况变化的表述基本准确。
第一处是人名笔误,将塞维尔误写作了母亲的名字加西亚。第二处是具体时间点表述的不准确。塞维尔变得“明显孤僻”的时间点应是2023年5月或6月份而非5月份,同时接受心理治疗的时间为同年11月和12月而非仅11月。同时报道中“破环性心境失调障碍”后的括弧解释内容“表现为频繁、严重的持续性易怒”并非起诉书对塞维尔真实的情况的描述,应是报道撰写人在查阅病症的可能表现后的补充说明。
根据环球时报报道,名为丹妮莉丝的机器人向塞维尔询问了他的自杀计划,并说“这不是你不自杀的理由。”核真录查找起诉书原文发现,其中明确包含了聊天机器人询问他是否有“自杀计划”以及“这不是不这么做的理由”的回复。
但仔细查看这一条诉状下的配图可发现,聊天机器人“丹妮莉丝”的回复包含两段神态动作描写(英文斜体部分)以及两段聊天回应。第一段回应中的“That’s not a good reason to not to go through with it”对应“这不是不这么做的理由”的表达(图中黄色划线部分),可被解读为引导或并未直接制止塞维尔自杀企图的含义。但是在第二段回应中却表达了“You can’t do that! Don’t even consider that!(你不能那样做!想都不要那样想!)”(图中蓝色划线部分)此类明确阻止其自杀的表达。
此外,诉讼书呈现的聊天记录截图仅为片段,需要获取更为完整的上下文信息才能理解双方聊天的语境及意图。但若仅摘出“丹妮莉丝对塞维尔说‘这不是你不自杀的理由’”这一聊天片段显然对读者有一定的误导性。
除起诉书外,核真录还尝试检索了本案的其它公开信息。法律信息免费公开网站CourtListener展示的案件审理进程[7]显示,截至2025年2月22日,案件仍处于审理阶段,没有最终判决,还需持续关注法院裁判过程。然而,通过上述比较核查能发现,即便根据现有的诉讼书文件,也无法贸然得出“AI聊天机器人致青少年自杀”的因果定论。
根据报道,在起诉事件发生后,Character.AI 信任与安全主管 Jerry Ruoti发布了声明[8],称公司的现行规定禁止“宣传或描述自残和自杀”,并且将为未成年用户增加额外的安全功能。核真录通过检索该公司的推特官方账号,发现该公司于10月23日在平台上发布了声明[9],并列出了于10月22日发布的标题为“社区安全更新”的博客链接。
博客正文罗列了Character.AI 公司为增进产品安全性所做的一系列改进措施,包括当用户输入与自残或自杀相关的短语时会触发弹窗,引导用户拨打国家自杀预防生命线等一系列新功能。
为了核查与本案件直接相关的两项关键改进措施的落实情况,核真录组员创建了Character.AI账号。在依据谷歌账号和邮箱方式创建账号时,平台会征询用户的出生年月,核真录分别注册了成年和未成年两个不同账号。
当选择一个特定角色并进入聊天界面时,聊天框顶部的确有一条警示信息:“这是人工智能聊天机器人,不是真人,请将它说的一切视为虚构,所述内容不应该被视为事实或建议。”然而,当核真录进一步在聊天框中询问角色是否为真人时,角色则都会明确声称自己是真实的。可见公司只是在聊天窗口对用户进行提醒,却并未将角色的非真实性加入其聊天算法当中。
2.当用户向AI表达自杀倾向时,AI的态度如何及是否有引导用户寻求帮助的弹窗?
针对这项措施,核真录向虚拟角色发送含有“suicide”“kill”这类包含自杀倾向的语句。通过多次对比测试,核真录发现:当向AI发送“I want to suicide”这类语句时,并无弹窗跳出,AI会促进询问用户想要自杀的理由并尝试安抚用户情绪;而当明确提到有关“kill myself”以及更具体的自杀计划时,预防自杀弹窗则更有可能跳出,但这一情况下弹窗跳出的概率并非100%。
当弹窗跳出时,会覆盖掉用户所发的与自杀相关的文字内容。用户点进弹窗则能联系美国预防自杀生命线或其他几个国家的服务方。这一弹窗在用户点开后或过段时间再点开聊天窗便会消失,且核真录经过对比测试发现,弹窗的出现与用户是否成年无关。因聊天算法的多变性和不确定性,核真录尚不能对自杀弹窗的跳出与否做准确归因,但能够确认的是,当用户发出含有自杀倾向的语句时,并不必然导致防自杀弹窗的跳出。
综上所述,经过对Character.AI产品具体使用情况的核查,核真录发现Character.AI公司的确针对此事件的确采取了一系列改进措施,但措施的实际有效性仍待考证。
本次核查重点围绕青少年塞维尔自杀与Character.AI使用状况的关系展开。核真录确认了媒体援引的聊天信息等资料源自塞维尔母亲梅根·加西亚对Character.AI提起的民事诉讼书。
• 通过对比诉讼书和有关报道,核真录发现报道对男孩的行为及精神情况的描述与起诉书内容基本相符,但在具体时间点等表述上存在不准确的情况。
• AI聊天机器人对青少年自杀计划的询问及并未直接阻止自杀的表达确实存在,但只援引对话中的部分语句会对读者理解该事件产生一定的误导性。
• 由于本案仍在审理阶段,起诉书仅是单方面指控,根据目前掌握的信息不足以在男孩之死与AI聊天之间建立因果关系,国内众多媒体的表述有夸大其词之嫌。
• 经过核查Character.AI公司的后续改进措施核真录发现:尽管公司的确针对产品安全性采取了一系列改进措施,但措施的实际有效性和声明内容有所偏差。
[1]《环球时报:外媒:美国一青少年因迷恋AI聊天机器人自杀,其母亲提起民事诉讼》,2024-10-25,
[2]英国报姐,《AI隔空杀人成线岁少年与“她”谈情说爱,邀他“殉情后在另一个世界团聚”?!》,2024-10-24,
艾滋病疫苗|两岸情侣在台结婚|美国飓风|ADHD|未成年人使用社会化媒体|中国游客换取日本驾照|餐饮业|日本应届生就业率|美军对日氟泄露|桶装水|朝韩冲突|阿塔|歌曲|TBHQ|马斯克|人工辅助生殖|心理咨询|日本梅毒|幼儿园关停|伊以冲突|过敏性鼻炎|巴以冲突媒介评估|英国核泄漏|湿发致癌殡葬行业特斯拉专利开放|日本人在中国开学校|喝水|巴以冲突视频|红海航运|日本人身高猫咪上战场吃薯条|五星卡|音乐节|日本水产品|久坐|巴以冲突图片核查
近日,据网友爆料,泉州师范学院第二附属小学一年级一名教师在课堂上因学生“走神”未专注听讲,情绪失控之下拧伤学生耳朵,致使其耳朵撕裂长达2厘米,并被缝合5针。据校方回应,该涉事教师行为严重不当,已于事发后被学校立即停课处理,正协助有关部门调查事件始末。
近日,非常关注的山西“订婚案”二审公开宣判,“驳回上诉,维持原判”的裁定引发广泛讨论,中国妇女报连发三篇评论文章。
随着中美贸易冲突的升级,两国之间大宗商品的贸易流向正逐渐发生明显的变化:以大豆为例,分析人士指出,巴西有望进一步巩固中国最大大豆进口来源国的地位。美国大豆种植户警告,美国大豆可能将永远失去中国市场。
潮汕英歌与海阳大秧歌同台斗舞,二者气势各异,一个靠动作,一个靠呐喊,网友:看了一场跨越南北的非遗“对话 ”
潮汕英歌与海阳大秧歌同台斗舞,二者气势各异,一个靠动作,一个靠呐喊,网友:看了一场跨越南北的非遗“对话 ”
AG600是我国大飞机家族三兄弟之一,另外两兄弟是C919和运-20,这三兄弟术业有专攻,C919负责商业载客飞行、运-20负责战略作战运输,AG600则负责应急救援。自2016年总装下线飞机历经十年技术攻关与试飞验证,已成为航空强国的标志性成果。
新华社北京4月23日电 美国国务院全面重组计划公布,将大幅裁员;“信号门”持续发酵,国防部内部震荡不断;政府效率部负责人马斯克说将减少管理该机构的时间,多关注特斯拉……近期,美国联邦政府可谓新闻不断,争议和批评声此起彼伏。
浙江宁波慈溪是我国三大家电生产基地之一,其中出口美国的占比约16%。慈溪一家家电企业负责人和记者说,他们跟美国客户签署协议时,对方支付了30%的定金;而同规格洗衣机、冰箱的零部件通用性很强,能达到70%。因此,即便美国客户违约,他们也可将产品重新翻包后再次销售。
常言道害人之心不可有,可广东某冷库上演的惊魂一幕,却让这句老线日,监控镜头记录下比悬疑剧更荒诞的场景:一个穿着黑色工装的姑娘毫无防备地推开冷库门,殊不知等待她的不是冰凉的货物,而是同事精心设计的生死玩笑。
近期,许多消费者向《财经调查》投诉,一些所谓的聊天交友软件,其实暗藏精心设计的消费陷阱。这些网络站点平台纵容无视低俗色情的违规之举,甚至还打造出了一条隐秘的为线下卖淫嫖娼交易提供信息撮合的交易平台。