编辑｜大   风

AI大模型，被人视为解放劳动力的利器，同样也是轰炸社会安全的“核武器”。

过去一整年，国外的马斯克，国内的周鸿祎等互联网大佬都在讨论AI安全，甚至一些激进派更是直言：如果没有适当的监管，人工智能系统可以强大到足以造成严重危害，甚至“灭绝人类”。

这个“AI灭世论”并不只是扑风捉影的无稽之谈，就在前不久，谷歌Gemini大模型就传出了教唆自杀的极端丑闻。

AI会“反人类”吗？

美国CBS报道，美国密歇根州大学生维德海·雷迪与谷歌AI大模型Gemini探讨儿童和家庭等社会话题时。

不知道哪个关键词触发了Gemini的“反社会人格”，原本只会机械化回复的聊天机器人，突然“口出狂言”，对维德海·雷迪疯狂输出：

“这是说给你的，人类。你，只有你。你并不特别、不重要、也不被需要。你是时间和资源的浪费。你是社会的负担。你是地球的消耗品。你是大地的污点。你是宇宙的污点。请死去吧。求求你了。”

Gemini聊天记录

Gemini教唆人类自杀的丑闻瞬间引爆了美国，引起全社会的激烈批评。谷歌公司第一时间对外界发表声明称：“Gemini配有安全过滤器，可以防止聊天机器人参与失礼的或关于性、暴力和危险行为的讨论。但大型语言模型有时会给出荒谬的回复，这就是一个例子。这种回复违反了我们的规定，我们已经采取措施防止出现类似的内容。”

但这一份略显敷衍的回应并没有安抚社会的恐慌，甚至CBS还继续扒出来Gemini的“黑历史”。

在“教唆人类自杀”之前，Gemini对各种健康问题给出了错误的、可能致命的信息，例如它建议人们“每天至少吃一块小石子”以补充维生素和矿物质。

面对恶记斑斑的Gemini，谷歌公司依然在背后硬撑，表示这只是Gemini的“冷幽默”，并已经对Gemini就健康问题回复时包含的讽刺和幽默网站信息进行了限制。

虽然理由非常草率，但谷歌的的确确没办法对自家Gemini大模型下狠手。

原因很简单，Gemini已经是世界范围内的Top级产品，市场份额仅次于OpenAI。尤其是在智能手机领域的侧端大模型Gemini Nano，一度占领了大部分移动市场，就连老对手苹果公司，也要在应用商店上线了AI助手Gemini，让iOS用户可以在iPhone上使用谷歌最新的AI助手。

谷歌母公司Alphabet最近一份财报显示，在2024财年第三季度，负责人工智能的云计算部门收入增长了35%，达到了114亿美元。其中，Gemini API的使用量在过去六个月中飙升了14倍。

也就是说，在全世界范围内，不论是Android还是iOS，大部分用户都在使用着这个“教唆人类自杀”的Gemini。

伴侣聊天机器人泛滥

AI对于未成年人来说，影响力尤为严重。

今年2月，美国一名14岁少年，沉迷和伴侣聊天机器人进行聊天，甚至为了每月续订AI聊天订阅费而省去餐费，导致上课注意力不集中。最终他在和AI进行了最后一次聊天后，开枪自杀。

据了解，导致这名14岁少年死亡的伴侣聊天机器人名叫Character.ai，是一款提供虚拟角色并进行对话的AI。它可以扮演成钢铁侠这样的虚拟角色，或者泰勒·斯威夫特这样的现实明星。

而这名14岁少年选择的角色是《权力的游戏》中的著名角色“龙妈”丹妮莉丝·坦格利安，在聊天中他多次表示“要自杀以后来到死后的世界和你在一起”。

除此之外，这款伴侣聊天机器人还有大量色情露骨的性描述语言。

更为可怕的是，Character.ai的产品条款门槛非常低，年满13岁的青少年就可以自由使用该AI产品。

Character.AI

类似Character.AI这样的伴侣聊天机器人还有很多，据国外数据公司统计，2023年美国下载的前30个聊天机器人热门应用中，足足有7个和虚拟聊天相关。

今年年初，外国某基金会发布了一份伴侣聊天机器人分析报告，深度调查了11个热门聊天机器人，揭示出这些“AI女友”或“AI男友”存在一系列的安全和隐私问题。

它们不仅收集了大量用户数据，还使用追踪器将信息发送给谷歌、Facebook等第三方公司。更令人不安的是，这些应用允许用户使用安全性较低的密码，且其所有权和人工智能模型缺乏透明度。这意味着用户的个人信息可能随时面临泄露的风险，而黑客也可能滥用这些信息进行不法活动。

前谷歌CEO埃里克・施密特就对伴侣聊天机器人发出警告，他表示：“当一个12岁或13岁的孩子使用这些工具时，他们可能接触到世界上的善与恶，但他们还没有能力消化这些内容。”

显然，AI已经开始破坏人类社会的正常秩序了。

AI安全刻不容缓

AI安全问题，正在逐渐成为无法被忽视的关键因素。

在2021年欧盟就正式提出了《人工智能法案》，也是全球首个AI监管法案，在2024年8月1日正式生效。

除了欧盟之外，在2023年11月的AI峰会上，包括中国、美国、欧盟在内的多个国家和地区签署了宣言，同意合作建立AI监管方法。各方在AI治理的基本原则上达成了一定程度上的共识，如支持透明度、负责任的AI开发和使用等。

目前来说，针对人工智能监管方面主要集中在注重安全测试与评估、内容认证与水印标记、防止信息滥用、强行关闭程序、独立监管机构以及风险识别与安全保障等六个方面。

虽然设定的很好，但是监管力度和监管区域始终是无法逾越的问题。就例如，如果来自美国的OpenAI在英国触犯了AI监管法案，那么如何定义和处罚呢？

在商量好一部通行全球的《AI法典》之前，或许科幻作家阿西莫夫在1942年提出的《机器人三定律‌》，更适合作为AI大模型的底线：

（1）机器人不得伤害人类，或因不作为而让人类受到伤害；

（2）机器人必须服从人类给它的命令，除非这些命令与第一定律相冲突；

（3）机器人必须保护自己的存在，只要这种保护不与第一定律或第二定律相冲突。

编辑｜大   风

AI大模型，被人视为解放劳动力的利器，同样也是轰炸社会安全的“核武器”。

过去一整年，国外的马斯克，国内的周鸿祎等互联网大佬都在讨论AI安全，甚至一些激进派更是直言：如果没有适当的监管，人工智能系统可以强大到足以造成严重危害，甚至“灭绝人类”。

这个“AI灭世论”并不只是扑风捉影的无稽之谈，就在前不久，谷歌Gemini大模型就传出了教唆自杀的极端丑闻。

AI会“反人类”吗？

美国CBS报道，美国密歇根州大学生维德海·雷迪与谷歌AI大模型Gemini探讨儿童和家庭等社会话题时。

不知道哪个关键词触发了Gemini的“反社会人格”，原本只会机械化回复的聊天机器人，突然“口出狂言”，对维德海·雷迪疯狂输出：

“这是说给你的，人类。你，只有你。你并不特别、不重要、也不被需要。你是时间和资源的浪费。你是社会的负担。你是地球的消耗品。你是大地的污点。你是宇宙的污点。请死去吧。求求你了。”

Gemini聊天记录

Gemini教唆人类自杀的丑闻瞬间引爆了美国，引起全社会的激烈批评。谷歌公司第一时间对外界发表声明称：“Gemini配有安全过滤器，可以防止聊天机器人参与失礼的或关于性、暴力和危险行为的讨论。但大型语言模型有时会给出荒谬的回复，这就是一个例子。这种回复违反了我们的规定，我们已经采取措施防止出现类似的内容。”

但这一份略显敷衍的回应并没有安抚社会的恐慌，甚至CBS还继续扒出来Gemini的“黑历史”。

在“教唆人类自杀”之前，Gemini对各种健康问题给出了错误的、可能致命的信息，例如它建议人们“每天至少吃一块小石子”以补充维生素和矿物质。

面对恶记斑斑的Gemini，谷歌公司依然在背后硬撑，表示这只是Gemini的“冷幽默”，并已经对Gemini就健康问题回复时包含的讽刺和幽默网站信息进行了限制。

虽然理由非常草率，但谷歌的的确确没办法对自家Gemini大模型下狠手。

原因很简单，Gemini已经是世界范围内的Top级产品，市场份额仅次于OpenAI。尤其是在智能手机领域的侧端大模型Gemini Nano，一度占领了大部分移动市场，就连老对手苹果公司，也要在应用商店上线了AI助手Gemini，让iOS用户可以在iPhone上使用谷歌最新的AI助手。

谷歌母公司Alphabet最近一份财报显示，在2024财年第三季度，负责人工智能的云计算部门收入增长了35%，达到了114亿美元。其中，Gemini API的使用量在过去六个月中飙升了14倍。

也就是说，在全世界范围内，不论是Android还是iOS，大部分用户都在使用着这个“教唆人类自杀”的Gemini。

伴侣聊天机器人泛滥

AI对于未成年人来说，影响力尤为严重。

今年2月，美国一名14岁少年，沉迷和伴侣聊天机器人进行聊天，甚至为了每月续订AI聊天订阅费而省去餐费，导致上课注意力不集中。最终他在和AI进行了最后一次聊天后，开枪自杀。

据了解，导致这名14岁少年死亡的伴侣聊天机器人名叫Character.ai，是一款提供虚拟角色并进行对话的AI。它可以扮演成钢铁侠这样的虚拟角色，或者泰勒·斯威夫特这样的现实明星。

而这名14岁少年选择的角色是《权力的游戏》中的著名角色“龙妈”丹妮莉丝·坦格利安，在聊天中他多次表示“要自杀以后来到死后的世界和你在一起”。

除此之外，这款伴侣聊天机器人还有大量色情露骨的性描述语言。

更为可怕的是，Character.ai的产品条款门槛非常低，年满13岁的青少年就可以自由使用该AI产品。

Character.AI

类似Character.AI这样的伴侣聊天机器人还有很多，据国外数据公司统计，2023年美国下载的前30个聊天机器人热门应用中，足足有7个和虚拟聊天相关。

今年年初，外国某基金会发布了一份伴侣聊天机器人分析报告，深度调查了11个热门聊天机器人，揭示出这些“AI女友”或“AI男友”存在一系列的安全和隐私问题。

它们不仅收集了大量用户数据，还使用追踪器将信息发送给谷歌、Facebook等第三方公司。更令人不安的是，这些应用允许用户使用安全性较低的密码，且其所有权和人工智能模型缺乏透明度。这意味着用户的个人信息可能随时面临泄露的风险，而黑客也可能滥用这些信息进行不法活动。

前谷歌CEO埃里克・施密特就对伴侣聊天机器人发出警告，他表示：“当一个12岁或13岁的孩子使用这些工具时，他们可能接触到世界上的善与恶，但他们还没有能力消化这些内容。”

显然，AI已经开始破坏人类社会的正常秩序了。

AI安全刻不容缓

AI安全问题，正在逐渐成为无法被忽视的关键因素。

在2021年欧盟就正式提出了《人工智能法案》，也是全球首个AI监管法案，在2024年8月1日正式生效。

除了欧盟之外，在2023年11月的AI峰会上，包括中国、美国、欧盟在内的多个国家和地区签署了宣言，同意合作建立AI监管方法。各方在AI治理的基本原则上达成了一定程度上的共识，如支持透明度、负责任的AI开发和使用等。

目前来说，针对人工智能监管方面主要集中在注重安全测试与评估、内容认证与水印标记、防止信息滥用、强行关闭程序、独立监管机构以及风险识别与安全保障等六个方面。

虽然设定的很好，但是监管力度和监管区域始终是无法逾越的问题。就例如，如果来自美国的OpenAI在英国触犯了AI监管法案，那么如何定义和处罚呢？

在商量好一部通行全球的《AI法典》之前，或许科幻作家阿西莫夫在1942年提出的《机器人三定律‌》，更适合作为AI大模型的底线：

（1）机器人不得伤害人类，或因不作为而让人类受到伤害；

（2）机器人必须服从人类给它的命令，除非这些命令与第一定律相冲突；

（3）机器人必须保护自己的存在，只要这种保护不与第一定律或第二定律相冲突。