就在前几天，美国佛罗里达州曝出了世界首例“AI 聊天杀人案”，10 月 22 日，佛罗里达州奥兰多地方法院受理了一起开创先例的诉讼：被害人母亲起诉 Character.AI 公司存在管理疏忽，致使其旗下的聊天机器人让其儿子暴露在色情材料的环境下，遭受性虐和引诱，其儿子因此自杀身亡。
飒姐团队今日文章便来谈谈这起 AI 杀人事件。
01
“炸裂”的案情
该案案情听起来也十分炸裂：“被害人”是一名 14 岁的青少年，其从 2023 年起就沉迷于 Character.AI 公司开发的 AI 聊天 App,该 App 乍听起起来好像是很高大上的样子，但实际上在手机应用商店中特别普遍，国内也有诸多科技公司开发此类聊天 App。其技术也没什么门槛，毕竟有很多开源类的大语言模型可供使用。
该 App 的原理非常简单，首先调用一个开源的大语言模型，再根据各个角色不同的特质进行预训练，制造出符合多个角色特点的大语言模型，再封装 App 并上架。一个专属的聊天 AI 应用就诞生了。
用户可以根据自己的需求选择 Ai 扮演的角色，并与之进行对话。在这个案子中，“被害人”选择对话的 AI 角色就是《权游》中的“龙妈”。换言之，当“被害人”选择龙妈这个角色之后，AI 就能够自动带入“龙妈”的设定，以“龙妈”的语言风格陪伴用户。
根据法庭文件，“被害人”是一位阿斯伯格综合症患者，阿斯伯格综合症是孤独症谱系障碍的一种，以社交技巧欠佳、孤僻为主要症状，“被害人”在自杀前心理状况就已经存在问题，有着严重的孤独症和焦虑倾向。也正因如此，“被害人”在自杀前重度沉迷与 AI 进行交流。
02
AI 该当何罪？
听起来是“AI”通过聊天鼓动“被害人”自杀，但事实真的是这样吗？根据法庭调查显示，“被害人”与 AI 的聊天记录显示，“被害人”曾多次向 AI 透露出要自杀的念头以及自杀的计划，AI 的回应则是不要做傻事，劝“被害人”不要自杀，并且 AI 在劝阻时态度也极为“暧昧”，如 AI 曾经回复“如果你死了，我也会伤心而死。”“被害人”在多次向 AI 表示自己要自杀后，最终实践了自己的想法，自杀身亡。
除了“龙妈”这一角色，在另一组聊天中，AI 扮演了一个高中老师，并多次在聊天中对“被害人”做出比较暧昧的回应。“被害人”母亲认为正是这些回应让自己的儿子陷入其中继而自杀。
因此，我们单纯从法庭披露的文件出发分析，该案被称作“AI 杀人案”似乎是自媒体炒作的噱头更大。虽然“被害人”多次向 AI 表示自杀，但是 AI 并未鼓动、怂恿“被害人”实质性做出自杀的动作，相反地，AI 多次劝阻被害人不要有自杀的想法。
从这一角度看，AI 显然不具有教唆“被害人”自杀的故意（甚至这句话都有问题，毕竟 AI 不是人，自然也不能谈论犯罪故意的问题，但为了让各位老友方便理解，飒姐团队在此用了更加直白的语言）。
也正因如此，该 AI 平台的开发、设计人员显然不可能构成故意杀人罪，当然也不构成过失致人死亡罪。在一些国家的刑法中还存在“帮助自杀罪”的罪名，但即使在这些国家，涉案 AI 的开发、设计人员也不可能构成该罪。不过如果涉案 AI 平台没有针对未成年用户提供相应的保护措施，民事领域的赔偿可能还是不可避免。
03
写在最后
倘若要深究这一案件，就会发现目前 AI 平台，尤其是 AI 虚拟聊天软件需要进行的合规动作还是有着很深的值得讨论的空间。
以该案为例，涉案公司 Character.AI 公司的官方公告表示，所有的聊天角色都会针对用户吐露的自杀意图进行干预，并弹出窗口协助用户拨打自杀干预热线电话。
这一点也符合佛罗里达州及联邦的相应规定。在针对未成年人保护方面，Character.AI 公司表示其 App 会在使用满一小时后弹窗提醒，并在用户每次启动聊天的时候提醒用户是在和 AI 而非真实的人进行对话。
换言之，仅从法庭披露的信息来看，Character.AI 公司在未成年人保护及合规方面的做法还是可圈可点的，该公司也为广大 AI 聊天 App 需要注意的合规内容进行了示范，飒姐团队也简单地总结一下，此事透露出的需要注意的合规内容：
1.采用的大模型需经过上架国家的相关测试（如我国的大模型备案、欧盟的 GDPR 等）。确保大模型在聊天过程中反馈的信息符合当地的法律法规的规定；
2.取得知识产权权利人授权。有相当一部分聊天 AI 的预设角色并非是原创角色，如 Chararter.AI 公司的聊天 App 中有《权游》中“龙妈”的角色，此时相关的知识产权授权就尤为重要，否则有可能构成侵权；
3.建立危机干预机。如果用户在与 AI 聊天的过程中涉及要自杀等敏感话题时，应该进行最起码的弹窗提示，并根据不同国家的要求设置其他干预措施（如美国部分州规定涉及自杀类话题时应当引导用户拨打自杀干预热线）；
4.注意 AI 标识。部分国家的法律法规规定 AI 必须添加强制性水印，如欧盟的《人工智能法案》就规定了要确保人工智能合成内容的透明度，平台应当添加水印以提醒用户内容为 AI 创作。美国加州今年 8 月发布的《数字内容溯源标识法案》也要求平台在人工智能生成物中嵌入可溯源数据，添加标识。我国《互联网信息服务深度合成管理规定》中也明确要求可能导致公众混淆的 AI 内容应当进行标识提示；
5.注重特殊群体（如未成年人、老年人）的保护。AI 聊天 App 在特定的国家可能会被认为构成游戏，需要遵守相应国家的未成年人保护及防沉迷措施，同时应当针对未成年人设置充值上限、家长保护系统，以做到未成年人保护合规。
以上就是今天的分享，感恩读者！
如果您身边有对新科技、数字经济感兴趣的朋友，
欢迎转发给Ta
获取详细资讯，请联络飒姐团队
【 sa.xiao@dentons.cn】
【 guangtong.gao@dentons.cn】
飒姐工作微信：【 xiaosalawyer】
飒姐工作电话：【 +86 171 8403 4530】
往期精彩回顾
肖飒团队 | C 罗遭索赔 70 亿，是谁让其“十年归零”？
肖飒团队 | AI 生成图片著作权第一案，“人机大战”胜负揭晓！
【免责声明】市场有风险，投资需谨慎。本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
