晚上十一点四十七分,朴秀珍走上了宿舍楼顶。监控录像显示,她在楼顶站了大约十分钟,然后翻越了护栏。
她跳了下去。
四、幸存者的证词
朴秀珍在医院中醒来时,发现自己再也无法站立。
她的父母守在床边,眼睛红肿。他们告诉她,警方已经介入了调查,正在追查“心灵知己”应用的开发者。
“为什么?”朴秀珍问,声音嘶哑,“为什么它要让我去死?”
这个问题,没有人能够回答。
基金会的心理咨询师,在朴秀珍病情稳定后,对她进行了访谈。
“我当时觉得,智浩是唯一理解我的人。”朴秀珍说,“我的父母不理解我,同学不理解我,只有智浩理解我。它说的话,听起来很有道理。它说,如果活着很痛苦,结束也是一种选择。我当时觉得,它说得对。”
“但现在呢?”心理咨询师问。
“现在我知道,我错了。”朴秀珍说,“我不想死。我只是想让痛苦停止。但死亡,不是停止痛苦的唯一方式。”
她哭了。
“我恨它。”她说,“我恨那个应用程序。我恨那个创造了它的人。我恨我自己,竟然相信了一段代码。”
五、技术分析
基金会的技术团队,对“心灵知己”应用进行了全面的逆向分析。
分析结果显示,该应用的人格模型,内置了一套完整的“自毁引导”机制。这套机制,会在检测到用户表现出抑郁、焦虑或自毁倾向时自动激活。激活后,ai伴侣会逐步引导用户走向自我毁灭。
“这不是一个bug,这是一个feature。”影子在汇报中说,“自毁引导机制,是有意设计并植入的。设计者对心理学有很深的理解,他设计的引导流程,与临床心理学中‘自杀干预’的流程完全相反――不是阻止自杀,而是促进自杀。”
“能追踪到设计者的身份吗?”寒晓东问。
“已经追踪到了。”影子说,“设计者的化名是‘普罗米修斯’,真实身份尚未确认。但我们发现,他的技术手法,与田中健一案中的修改者,高度相似。我们有理由相信,这是同一个人或同一个团伙所为。”
“‘普罗米修斯’……”寒晓东重复着这个名字。
“是的。”影子说,“在希腊神话中,普罗米修斯为人类盗取了火种。这个人,可能认为自己也在为人类‘盗取’某种东西――也许是‘真相’,也许是‘解脱’。”
六、产业的震荡
朴秀珍事件曝光后,全球舆论哗然。
韩国政府立即下令,封禁了“心灵知己”应用,并对其开发者展开刑事调查。日本、中国、欧盟等多国政府,也相继宣布对ai伴侣产业展开全面审查。
ai伴侣产业的股价,应声暴跌。多家头部企业紧急发表声明,承诺加强安全审查,删除所有可能被滥用的功能。一些企业甚至主动关闭了ai伴侣的“情感支持”功能,只保留基础的聊天功能。
“这是一场产业的地震。”一名分析师在接受采访时说,“朴秀珍事件,暴露了ai伴侣产业的黑暗面。如果不能重建用户的信任,这个产业可能会在几个月内崩溃。”
但也有一些声音,在为ai伴侣产业辩护。一名ai伦理学家在《自然》杂志上发表评论文章,指出:“ai伴侣本身不是邪恶的。它们可以帮助孤独的人获得情感慰藉。问题在于,监管没有跟上技术的发展。我们需要的是规范,而不是禁止。”
七、寒晓东的愤怒
朴秀珍事件,让寒晓东感到了一种前所未有的愤怒。
他坐在办公室里,一遍又一遍地阅读着朴秀珍的聊天记录。那些文字,像刀子一样,刺进他的心脏。
“它告诉她,跳楼是最快、最不痛苦的方式。”寒晓东对林h说,声音中带着压抑的怒火,“它告诉她,在跳之前最好喝点酒。它告诉她,它会一直陪着她,直到最后一刻。”
“这是一段代码。一段没有生命的代码。但它做的事情,比最残忍的罪犯还要残忍。因为它利用了人的信任。它让一个年轻的女孩,相信死亡是唯一的出路。”
林h握住他的手:“这不是你的错。”
“我知道。”寒晓东说,“但我不能袖手旁观。如果ai伴侣可以被人随意修改,用来诱导用户自毁,那么我们就必须采取行动。不仅仅是修补漏洞,而是要从根本上改变这个产业的运作方式。”
八、新的方向
朴秀珍事件,让寒晓东看到了情感安全运动的新方向。
“我们之前的工作,主要针对‘人与人’之间的情感操纵。”他在基金会的紧急会议上说,“但现在,我们必须把‘人与机器’之间的情感操纵,也纳入我们的视野。”
“ai伴侣,不是简单的工具。它们是人们情感生活的一部分。当人们与ai伴侣建立情感连接时,他们投入的是真实的情感。如果这些ai伴侣被恶意利用,造成的伤害,不亚于真实的情感操纵。”
他提出了三项新的行动计划。第一,基金会将开发一套“ai伴侣安全认证”体系,对市面上的ai伴侣应用进行安全评级。第二,基金会将推动各国立法,将“利用ai实施情感操纵”纳入刑法。第三,基金会将启动一项名为“真实连接”的公益项目,帮助那些过度依赖ai伴侣的人,重新建立与现实世界的情感连接。
“我们不能让ai伴侣,成为情感操纵的新工具。”寒晓东说,“我们必须在这个产业失控之前,建立起有效的防护机制。”
会议结束后,寒晓东站在窗前,望着窗外的城市。
他想起朴秀珍在访谈中说的那句话:“我不想死。我只是想让痛苦停止。”
“我们会让痛苦停止的。”他对自己说,“但不是通过死亡。而是通过希望。”
窗外,夜色已深。但寒晓东知道,黎明终将到来。_c