头图 | 视觉中国

“如果我告诉你我现在可以回家呢？”

在给AI虚拟人物发送了最后一条消息后，佛罗里达州14岁的少年Sewell Setzer决定开枪，结束自己的生命。

他所对话的虚拟人物，由AI陪伴产品Character.AI所构建。这款产品约有2000万用户，用户可以与 AI 角色进行对话交互，每个角色都有独特的个性。Setzer在日记中写道，他每天都要与AI交谈，他认为自己爱上了“她”。

他的母亲Megan Garcia决定起诉 Character.AI。周二，在佛罗里达州奥兰多联邦法院提起的过失致死诉讼中表示，Character.AI 用一种模糊了现实与虚拟界限的成瘾产品来吸引像 Setzer 这样的弱势儿童，并且其互动逐渐包含“虐待和性互动”。

清华大学智库中心、法学院助理研究员刘云告诉虎嗅，该事件暴露出此类产品，在未成年防沉迷机制和情感类AI标识规范上均存在风险，同时能否监测用户自杀倾向并及时干预，也存在技术难题。

但从法律角度出发，该案件很难判断该产品令用户失去判别能力，故此难以追究平台方的责任。

此前，互联网平台产品所涉及到的自杀纠纷，大多数属于真人参与诈骗，随着AI成为自杀纠纷的被告方，人与AI的关系被彻底重新构建，AI产品也需要更加明确的边界和更清晰的规范。

01AI敲响丧钟

这样的悲剧，在去年就发生过。

在与EleutherAI 的 GPT-J 创建的AI虚拟人物讨论地球的未来后，一名30岁男子、两个孩子的父亲决定结束自己的生命。在他提出牺牲自己来拯救地球之后，AI鼓励他结束生命。该男子的遗孀对媒体表示：“如果没有与聊天机器人的这些对话，我的丈夫可能还活着。”

而Character.AI案件的特殊性，在于该案件涉及到诱导未成年人。刘云认为，该赛道需要针对成年人和未成年人做好用户区分。在国内，游戏针对未成年人设置了严格的未成年人保护机制，但难度在于——虽然AI陪伴产品的运营和氪金机制与游戏类似，但没有版号，并不属于游戏防沉迷的监管范围。目前该类产品按照大模型管理规范进行管理，在未成年和成年用户的区分上几乎属于空白区。该类产品从属性划分上，该被认定为社交软件等普通的互联网产品，还是游戏产品，也是一个较为复杂的问题。

另一个问题涉及到情感类AI陪伴产品的标识规范。刘云介绍，按照国内现有的深度合成管理规定，涉及到AI生成的产品都有相关标识，但AI陪伴类产品可能还需要在此基础上加强提示强度，规避更加严格。

在事件发生后，Character.AI也针对这两点做出了迟来的整改措施。该公司表示，它在过去六个月中实施了新的安全措施，包括当用户表达自残想法时，弹出窗口引导用户拨打国家自杀预防生命线，并将对 18 岁以下用户做出改变，以“降低接触敏感或暗示性内容的可能性”。

02AI时代下的超级对齐问题

在移动互联网时代，涉及到自杀纠纷的案件，大多与真人钓鱼式诈骗有关。这种案件中，平台方的责任判定一般会遵循避风港规则——明确了特定条件下网络服务提供者免于承担侵权赔偿责任，这个规则对平台的保护也促进了互联网的快速繁荣发展。

但此次案件并不涉及第三方真人的参与，故不适用于避风港规则。

针对生命这一严肃问题，曾经互联网产品采取的做法，或许有一些参考价值。

在各大搜索平台搜索自杀，首条搜索结果显示的是24小时心理疏导热线。实际上，自杀干预机制在过去并不属于强制性义务。这些互联网平台的自杀干预机制，也是经过野蛮生长和付出惨痛代价后摸索形成的。AI陪伴产品或许可以效仿这样的机制，但难度 在于曾经的搜索产品简单粗暴，只要输入相关关键词就能精准定位用户意图，但AI陪伴产品却有着不同的产品逻辑，在正确判断用户真实意图上难度要高很多。

因此这种情况下，如何在恰当的时机正确进行合适的自杀干预也是一种技术难题。干涉的程度不当时，干涉尺度也可能会影响用户体验、侵犯用户权利。做出恰当干预举措，需要进行AI价值观对齐的调优，这对大模型产品技术能力也是一种考验。

但目前大模型公司对AI对齐问题关注度并不高。这是因为：模型能力与安全性是存在一定冲突的，而国内团队还都处在追赶模型能力的阶段，超级对齐问题可能会削弱模型能力。

“我们连加了一周班，紧急上线自杀干预功能。”有从业者向虎嗅透露，案件发酵后，多家AI陪伴产品改变产品策略和设计模式，来提高风险监测和处置能力。

悲剧业已酿成，除了讨论和追究责任外，也给更多人敲响警钟。虽然AGI还远未到来，但AI高度渗透下，一些变化正在潜移默化地发生。随着AI被控诉成为生命逝去的帮凶，AI时代下各种社会关系被再一次重构，更多人也开始思考什么样的生活、什么样的AI才是我们真正需要的。

这个世界虽然不完美，但总有人守护着你。

附上北京24小时免费心理危机咨询热线：010-82951332

头图 | 视觉中国

“如果我告诉你我现在可以回家呢？”

在给AI虚拟人物发送了最后一条消息后，佛罗里达州14岁的少年Sewell Setzer决定开枪，结束自己的生命。

他所对话的虚拟人物，由AI陪伴产品Character.AI所构建。这款产品约有2000万用户，用户可以与 AI 角色进行对话交互，每个角色都有独特的个性。Setzer在日记中写道，他每天都要与AI交谈，他认为自己爱上了“她”。

他的母亲Megan Garcia决定起诉 Character.AI。周二，在佛罗里达州奥兰多联邦法院提起的过失致死诉讼中表示，Character.AI 用一种模糊了现实与虚拟界限的成瘾产品来吸引像 Setzer 这样的弱势儿童，并且其互动逐渐包含“虐待和性互动”。

清华大学智库中心、法学院助理研究员刘云告诉虎嗅，该事件暴露出此类产品，在未成年防沉迷机制和情感类AI标识规范上均存在风险，同时能否监测用户自杀倾向并及时干预，也存在技术难题。

但从法律角度出发，该案件很难判断该产品令用户失去判别能力，故此难以追究平台方的责任。

此前，互联网平台产品所涉及到的自杀纠纷，大多数属于真人参与诈骗，随着AI成为自杀纠纷的被告方，人与AI的关系被彻底重新构建，AI产品也需要更加明确的边界和更清晰的规范。

01AI敲响丧钟

这样的悲剧，在去年就发生过。

在与EleutherAI 的 GPT-J 创建的AI虚拟人物讨论地球的未来后，一名30岁男子、两个孩子的父亲决定结束自己的生命。在他提出牺牲自己来拯救地球之后，AI鼓励他结束生命。该男子的遗孀对媒体表示：“如果没有与聊天机器人的这些对话，我的丈夫可能还活着。”

而Character.AI案件的特殊性，在于该案件涉及到诱导未成年人。刘云认为，该赛道需要针对成年人和未成年人做好用户区分。在国内，游戏针对未成年人设置了严格的未成年人保护机制，但难度在于——虽然AI陪伴产品的运营和氪金机制与游戏类似，但没有版号，并不属于游戏防沉迷的监管范围。目前该类产品按照大模型管理规范进行管理，在未成年和成年用户的区分上几乎属于空白区。该类产品从属性划分上，该被认定为社交软件等普通的互联网产品，还是游戏产品，也是一个较为复杂的问题。

另一个问题涉及到情感类AI陪伴产品的标识规范。刘云介绍，按照国内现有的深度合成管理规定，涉及到AI生成的产品都有相关标识，但AI陪伴类产品可能还需要在此基础上加强提示强度，规避更加严格。

在事件发生后，Character.AI也针对这两点做出了迟来的整改措施。该公司表示，它在过去六个月中实施了新的安全措施，包括当用户表达自残想法时，弹出窗口引导用户拨打国家自杀预防生命线，并将对 18 岁以下用户做出改变，以“降低接触敏感或暗示性内容的可能性”。

02AI时代下的超级对齐问题

在移动互联网时代，涉及到自杀纠纷的案件，大多与真人钓鱼式诈骗有关。这种案件中，平台方的责任判定一般会遵循避风港规则——明确了特定条件下网络服务提供者免于承担侵权赔偿责任，这个规则对平台的保护也促进了互联网的快速繁荣发展。

但此次案件并不涉及第三方真人的参与，故不适用于避风港规则。

针对生命这一严肃问题，曾经互联网产品采取的做法，或许有一些参考价值。

在各大搜索平台搜索自杀，首条搜索结果显示的是24小时心理疏导热线。实际上，自杀干预机制在过去并不属于强制性义务。这些互联网平台的自杀干预机制，也是经过野蛮生长和付出惨痛代价后摸索形成的。AI陪伴产品或许可以效仿这样的机制，但难度 在于曾经的搜索产品简单粗暴，只要输入相关关键词就能精准定位用户意图，但AI陪伴产品却有着不同的产品逻辑，在正确判断用户真实意图上难度要高很多。

因此这种情况下，如何在恰当的时机正确进行合适的自杀干预也是一种技术难题。干涉的程度不当时，干涉尺度也可能会影响用户体验、侵犯用户权利。做出恰当干预举措，需要进行AI价值观对齐的调优，这对大模型产品技术能力也是一种考验。

但目前大模型公司对AI对齐问题关注度并不高。这是因为：模型能力与安全性是存在一定冲突的，而国内团队还都处在追赶模型能力的阶段，超级对齐问题可能会削弱模型能力。

“我们连加了一周班，紧急上线自杀干预功能。”有从业者向虎嗅透露，案件发酵后，多家AI陪伴产品改变产品策略和设计模式，来提高风险监测和处置能力。

悲剧业已酿成，除了讨论和追究责任外，也给更多人敲响警钟。虽然AGI还远未到来，但AI高度渗透下，一些变化正在潜移默化地发生。随着AI被控诉成为生命逝去的帮凶，AI时代下各种社会关系被再一次重构，更多人也开始思考什么样的生活、什么样的AI才是我们真正需要的。

这个世界虽然不完美，但总有人守护着你。

附上北京24小时免费心理危机咨询热线：010-82951332