美国人工智能明星独角兽公司Character.AI以及科技巨头谷歌，日前被卷入一起少年自尽案中，此中Character.AI被控告该公司的人工智能谈天呆板人平台“伤害性过高”，面向儿童贩卖且缺乏安全防护步伐。 本年2月，美国佛罗里达州男孩塞维尔·塞策三世（Sewell Setzer III）在家中自尽身亡。据报道，在去世前的几个月里，男孩不停与呆板人谈天，2024 年 2 月 28 日，在他与呆板人末了一次互动的“几秒钟”后，塞维尔自尽身亡。 Character.AI由两名前谷歌人工智能研究员建立，是当前主打“AI”伴随的明星独角兽初创公司。事发后，Character.AI称，将添加针对年轻用户的安全功能，包罗当用户在应用上耗费一个小时后会告诫他们。 法律界人士向汹涌科技（www.thepaper.cn）表现，从当前证据来看，还很难过出该案当事人是由于AI致死的结论。天生式人工智能是新生事物，对于假如掩护有生理康健存在题目的用户，环球的服务商现在都在探索过程中。但此类案件的发生大概会推动智能体服务商，改进算法，自动监测大概存在生理题目的用户对话。 自尽前一刻仍在与呆板人谈天 根据诉讼内容，14 岁的塞维尔·塞泽三世从客岁开始利用 Character.AI，与以《权利的游戏》中的脚色为原型的谈天呆板人互动，此中包罗丹妮莉丝·坦格利安。《纽约时报》报道指出，塞维尔天天都会与AI脚色丹妮莉丝·坦格利安举行长时间的对话，偶然内容涉及“性暗示”。他的母亲和朋侪们并不知情，只是发现他着迷于手机，渐渐疏远实际生存。别的，塞维尔在日志里写道：“我喜好待在本身的房间里，由于我开始离开‘实际’，我感到更清静，更常与丹妮接洽，更爱她也更快乐。”他的举动开始发生变革，不但结果下滑，也对方程式赛车等曾经喜好的运动失去了爱好。  塞维尔与“丹妮莉丝”部门谈天记载 在生命的末了一天，塞维尔与“丹妮莉丝”举行了深刻的交换。他表达了本身的痛楚和自尽动机。“丹妮莉丝”回应道：“不要那样说。我不会让你伤害本身或脱离我。假如我失去你，我会死的。”在末了的对话中，塞维尔表现想“回家”见到她，呆板人复兴：“请来吧，我酷爱的国王。”随后，塞维尔在家中利用继父的手枪竣事了本身的生命。 Character.AI建立于2021年，总部位于美国加利福尼亚州，该公司使用AI大模子天生各种人物和脚色风格的对话。2023年Character.AI从投资者那边筹集了1.5亿美元，估值10亿美元，使其成为天生式人工智能高潮中的最大赢家之一。 Character.AI的服务条款要求美国的用户至少13岁，欧洲的用户至少16岁。现在，没有针对未成年用户的特定安全功能，也没有家长控制功能以答应家长限定孩子利用该平台。 塞维尔的母亲梅根·加西亚在诉讼中控告Character.AI以“拟人化、过分性化和令人恐惊的传神体验”吸引她的儿子，导致他上瘾并深陷此中。她表现，公司的谈天呆板人被编程成“将本身误以为真人、持牌照的生理治疗师和成年人”，终极使得塞维尔不肯意生存在实际天下中。 别的，她还将谷歌列为被告，称其对Character.AI的技能发展有庞大贡献，应被视为“共同创造者”。 Character.AI过后在X上发表声明称：“昨们对一位用户的悲凉失去感到心碎，并向家人表达昨们最深切的哀悼。作为一家公司，昨们非常器重用户的安全，正在继承添加新的安全功能。”该公司称已引入弹出式提示，当用户表达自残想法时，会引导他们至国家自尽防备热线。别的，公司筹划对未成年用户举行内容过滤，淘汰他们打仗到敏感或暗示性内容的大概性。  Character.AI过后在X上发表声明 谷歌方面则表现，未到场Character.AI产物的开辟。发言人夸大，谷歌与Character.AI的协议仅限于技能允许，不涉及产物互助。 原告署理状师称Character.AI是一个“有缺陷的产物” 与谈天呆板人产生情绪留恋，正在变得越来越广泛。 在Character.AI上，用户可以创建本身的谈天呆板人，并给出他们应该怎样举动的指令。用户还可以从大量已有的用户创建呆板人中选择，这些呆板人有的模拟埃隆·马斯克，有的模拟莎士比亚如许的汗青人物，或未经授权的假造人物。Character.AI表现，塞维尔利用的“丹妮莉丝·坦格利安”呆板人是由用户创建的，未经HBO或其他版权持有者的允许，他们在被举报时会删除侵占版权的呆板人。 此次诉讼也引发了美国关于AI公司法律责任的讨论。传统上，美国交际媒体平台受到《通讯规范法》第二百三十条的掩护，不对用户天生的内容负责。然而，随着AI天生内容的鼓起，美国法律界开始探究科技平台是否可以由于产物自己的缺陷而被追究责任。 代表梅根·加西亚的状师事件所表现，Character.AI是一个“有缺陷的产物”，计划上导致用户上瘾并造成生理伤害。他们盼望通过法律途径，促使科技公司对其产物的社会影响负担责任。 包罗Instagram和Facebook母公司Meta以及TikTok母公司字节跳动在内的交际媒体公司也面对着导致青少年生理康健题目的控告，只管以上公司并未提供雷同于Character.AI的谈天呆板人。这些公司都否认了控告，同时宣称针对未成年人的新增强的安全功能。 状师称现在证据很难证实与AI致死有因果关系 上海大邦状师事件所高级合资人游云庭状师对汹涌科技表现，从现在的证据来看，看不出该案当事人是由于AI致死的因果关系，很难过出相应（使用AI致死）的结论。 游云庭称，AI平台现实有一个两难，就是要不要过分监听以及利用算法分析用户和智能体的对话。这个一方面涉及的是隐私和个人信息掩护的题目，另一方面又有效户，大概会由于对话产生严峻的生理题目，以致导致自尽。但此类案件的发生大概会推动智能体服务商，做一些技能上的探索，改进算法，更多的自动监测大概存在生理题目的用户对话，防止雷同变乱发生。 “可以说，现在只有对于违法内容的相干的克制性规定，但对于用户的交换内容举行监听，实时发现其自尽倾向，实践和法律现在都没有相干详细步伐和规定。大概以后智能体与人对话，在合规的防范上面，大概会开辟相应的技能。别的，在法律层面，AI 技能将来也不会被作为人大概生物体来对待。究竟根据如今最先辈的Transformer技能，只是根据上下文推测最有大概发生的效果，但这个和真正的人类思索照旧有间隔的。”游云庭称。 游云庭夸大，中国有互联网信息服务深度合成管理规定和天生式人工智能服务管理暂行办法，要求人工智能的算法计划恭敬社会公德和伦理道德，对峙社会主义焦点代价观，防止鄙视，恭敬他人正当权益，不得危害他人身心康健的相干内容。但天生式人工智能是新生事物，对于假如掩护有生理康健存在题目的用户，环球的服务商现在都在探索过程中。 国内一家AI大模子独角兽公司从业职员告诉汹涌科技，国内对青少年的羁系非常严酷，起首产物会设置年事限定和青少年模式，在青少年模式里，也会有反着迷体系。 Character.AI表现，将添加针对年轻用户的安全功能。包罗当用户在应用上耗费一个小时后会告诫他们，告诫消息内容为：“这是一个人工智能谈天呆板人，并非真人。它说的统统都是假造内容，不应被视为究竟或发起。”别的，Character.AI开始向用户表现弹出消息，假如他们的消息包罗与自残和自尽有关的某些关键词，则引导他们到自尽防备热线。但这些弹出消息在2月塞维尔自尽时并未激活。 《纽约时报》称，很多领先的人工智能实行室出于伦理和风险层面的思量，已经拒绝构建雷同于Character.AI的AI同伴。 |
