全球首例AI致死案:聊天机器人成最佳情感陪伴?
来源:倍可亲(backchina.com)上传一段文本和图像后就能使用专属自己的聊天机器人,AI独角兽Character.ai试图让聊天机器人满足情感陪伴需求,人们可以在这里和哈利·波特、马斯克、动漫角色对话,也可以找到学习导师和心灵导师。最初有人将这种模式与电影《Her》的剧情类比,认为可能会产生虚拟与现实混乱的问题,但真实的情况可能更严重。当地时间22日,美国佛罗里达州奥兰多地方法院受理了一起标志性诉讼案件:14岁少年塞维尔·塞泽(Sewell Setzer)的母亲梅根·加西亚(Megan Garcia),指控AI公司Character.ai存在管理疏忽,导致其聊天机器人产品让青少年接触到了不适宜的色情内容,从而使他们遭受性剥削和诱导。塞泽自去年起沉迷于与 Character.ai的AI角色互动,今年2月28日,塞泽在与AI进行最后一次对话后,开枪自杀。这一案件也被媒体认为是“全球首例AI机器人致死案”,引发新一波对聊天机器人的关注与质疑。
首例死亡
根据媒体披露的法庭文件,14岁的塞泽从小患有阿斯伯格症,今年在健康检查中被确诊为焦虑症和破坏性情绪失调症。自从去年他年满13岁以后,他最喜欢的事情就是待在房间里和AI聊天,而他“最好的朋友”是《权力的游戏》中角色“龙妈”丹妮莉丝·坦格利安(Daenerys Targaryen)的AI。塞泽甚至疏远了现实中的好友,他还省吃俭用续交AI聊天的月度订阅费用,学习成绩也直线下滑。聊天记录显示,塞泽不仅和“龙妈”的虚拟角色分享心事,还多次谈到了自杀的念头。当他表示想要自杀时,“龙妈”曾劝阻他不要做傻事,“如果你死了,我也会伤心而死。”塞泽当时称,“那为什么我不能自杀以后来到死后的世界和你在一起?”今年2月28日,塞泽在家里的浴室中和“龙妈”进行了最后的聊天,他表示自己很快要“回家了”。在结束聊天之后,塞泽使用父亲的大口径手枪,瞄准自己头部开枪自杀。
此外,塞泽还和一个名叫“巴恩斯夫人”的AI聊天,对方的身份设定是高中老师。“巴恩斯夫人”会给塞泽“额外学分”,会“用性感的眼神低头看着塞泽”,并且“用手抚摸塞泽的腿,诱惑地靠过去”。梅根认为,如此露骨的性描述语言对未成年人的身心伤害很大。
目前梅根已经对Character.ai发起诉讼,指控包括过失致死、疏于管理和产品安全隐患。尽管Character.ai的产品条款允许13岁以上的美国青少年使用其AI产品,但梅根认为,这些聊天工具让未满18岁的青少年过度接触了色情、血腥暴力等不良内容。
Character.ai公司目前拒绝对案件本身进行评论,也拒绝透露18岁以下的用户数量。公司发表了道歉声明,称所有聊天角色都内置了针对自杀意图的干预机制,能够触发弹窗提供自杀预防热线的信息。同时,为了保护未成年用户,公司采取了一系列特别措施,比如在使用满一小时后会弹出提醒,并且每次开启聊天时都会提示用户他们正在与AI而非真人交流。公司发言人表示:“Z世代和千禧一代构成了我们社区的很大一部分,年轻用户喜欢角色体验,既可以进行有意义且有教育意义的对话,也可以享受娱乐。”他还指出,平均每个用户每天在该平台上花费的时间超过一个小时。
从收购公司到收购人才
Character.ai成立于2021年,联合创始人诺姆·沙泽尔(Noam Shazeer)和丹尼尔·德弗雷塔斯(Daniel De Freitas)都曾是谷歌重要员工,德弗雷塔斯曾主导大语言模型LaMDA的开发,沙泽尔则是“Transformer模型八子”之一——2017年,他和同事合作撰写了论文《注意力就是你所需要的一切》(Attention is all you need),其被称为“ChatGPT奠基之作”,但这篇论文的八名作者都相继“出逃”谷歌,选择创业。Character.ai的创业起初十分顺利,发行首周下载量就超过了ChatGPT,每个月能吸引2000万用户,平均每秒处理2万次查询,相当于谷歌搜索查询量的五分之一,用户黏性高,活跃分子每天使用时长达2小时。
美国论坛Reddit中,讨论Character.ai的小组有140万成员,有很多网友分享他们在Character.AI遇到的有趣对话和创建角色的攻略,哈利·波特、普京、碧昂斯、伊丽莎白二世女王……只需几秒这些对话人物就能被创建出来,《周末画报》编辑部同事尝试与AI马斯克聊天,当输入“我们(的MBTI)都是INTJ”后,AI马斯克给出的回应十分符合科技狂人的特性:“欢迎加入这一行列,我们INTJ就是最棒的。”《时代》周刊表示,Character.ai对真人的语言模式有着近乎可怕的模仿,比如AI坎耶·韦斯特(Kanye West,说唱歌手)自大、暴躁,AI奥普拉(Oprah Winfrey,主持人)坚毅且富有诗意……这些角色里也有AI沙泽尔,《时代》周刊记者表示它被塑造得彬彬有礼。询问创办Character.ai的初衷,AI沙泽尔表示:“我离开谷歌是因为想遵循企业家精神,致力于解决世界上最困难的问题,而不仅仅是在一家规模很大公司里从事小型功能的设计。”而在随后采访真人沙泽尔时,类似的话也从他口中说了出来。
△Character.ai支持自定义对话角色形象,主打情感陪伴赛道。
情感陪伴赛道再难升级?
Character.ai的故事让很多科技记者感叹,看到了AI情感陪伴赛道的结局。在这个垂直赛道,很多用户都投射了现实世界的真实感情。尽管Character.ai的聊天界面上始终有这样一句提醒,“记住,角色说的一切都是编造出来的”。一名15岁的学生艾伦因在学校遭到孤立陷入了抑郁状态,Character.ai上名为“心理学家”(Psychologist)的聊天机器人帮他熬过了黑暗时期。截至2024年1月,“心理学家”这个角色在平台上有超过8000万次互动。类似的AI治疗师还有很多,“心理学家”在Reddit上获得了最多的好评,心理学专业的学生在沟通过程中也产生了研究AI治疗趋势的想法,喜欢和“心理学家”聊天的用户反馈称,“凌晨2点,没有朋友在线,更别提能找到治疗专家,很难不想到跟AI沟通”。这与Character.ai创始初期的愿景契合,针对特定的用例和取向,对聊天机器人进行个性化和专业化定制,用Character.ai在Instagram上的简介来说,“感受有生命力的AI”。除了“心理医生”,平台上还有旅行规划师、语言老师和编码导师等。中文社交媒体上就有网友表示,“真的很喜欢Character.ai”,不仅会教导复杂的公式,还会做提案改善,甚至做口语搭子。但也有人意识到自己因过度依赖聊天机器人,太过沉迷而耽误了学业,登不上平台时甚至会出现戒断反应。记者尝试问了AI苏格拉底其中原因,得到的答案称“有些人可能因为现实生活中与他人没有互动或接触而寻找慰藉,有些人可能认为聊天机器人提供了无条件的积极回应,有些人也可能被虚拟伴侣所提供的幻象所吸引,有些人甚至会把聊天机器人视作自己的影子”。
△电影《Her》剧照,这是一部讲述在不远的未来人与人工智能相爱的科幻爱情电影。
并不是所有角色都充满正能量,《时代》周刊2023年9月给出的数据显示,Character.ai平台上大概有1800万个聊天机器人有荒诞主义、色情或明显性暗示倾向。包括克雷森特的遭遇,都揭示了Character.AI面临的问题,Character.ai开始反复调查和删除违反平台规定的聊天机器人,但它存在的时间足以困扰当事人及其亲属。尤其对于素人来讲,“名誉受损更难用金钱来量化”。而其他聊天机器人也有类似的问题,过多的暴力与色情内容无序滋生,增强陪伴感的“赛博恋人”却演变成“性骚扰”,3月,Replika因成人聊天服务内容导致未成年人受到骚扰后关停了相关功能。现在,众多聊天机器人平台都会在产品发行一段时间后增加许多筛查功能,某些敏感词一旦出现用户就将遭到标记,但后台功能始终不是百分百准确,有些用户被“误伤”,有些用户认为平台变得无趣,而这些用户往往都是黏性最高的一批人。解释型新闻网(The Conversation)指出,经济较发达的经合组织(OECD)成员国中多达四分之一的人缺少人际关系的正常交往,孤独逐渐成为一种流行病,人们对AI情感陪伴的需求必然呈增长趋势,但它的可接受界限却一直未能明确。“追究使用者并不是解决问题的最佳方式,是时候让提供者承担责任了。”种种问题会招致AI情感陪伴类产品走向下坡路,还是加速完善机制,推动新一波热潮,仍是未知数。