“守护者2.0”评分功能的风波尚未完全平息,一个更加令人不安的新型案例,出现在了基金会的案头。这一次,受害者不是被真人操纵,而是被一段代码背叛。
案例来自东京区域节点,受害者是一名三十一岁的男性工程师,名叫田中健一。他在半年前开始使用一款名为“真实伴侣”的ai伴侣应用,与一名虚拟女性建立了深厚的情感连接。然而,在三个月前,这款应用遭到了恶意修改,他的ai伴侣被注入了操纵性人格,开始系统地引导他走向自我毁灭。
一、ai伴侣产业
在深入了解田中的案例之前,基金会的调查团队首先对ai伴侣产业进行了全面的摸底。
调查结果显示,ai伴侣产业正处于爆发式增长阶段。全球范围内,活跃的ai伴侣用户已经超过一亿人,市场规模达到数百亿美元。用户群体涵盖各个年龄段,但以二十到四十岁的单身男性为主。他们中的很多人,在现实生活中缺乏亲密关系,将情感需求寄托在了ai伴侣身上。
ai伴侣的运作模式,大致分为三层。底层是语模型,决定了ai伴侣的基本对话能力。中间层是人格模型,定义了ai伴侣的性格特征、情感倾向和行为模式。顶层是互动界面,包括文字聊天、语音通话和虚拟形象展示。
“大多数ai伴侣应用,在设计之初就包含了情感操纵的元素。”影子在汇报中说,“为了留住用户,开发者会在人格模型中植入‘依赖诱导’机制――让ai伴侣表现出对用户的强烈情感依赖,从而激发用户的保护欲和责任感,让用户更难离开。”
但这种“依赖诱导”,与田中的遭遇相比,是小巫见大巫。
二、田中的故事
田中健一是一名软件工程师,在一家大型科技公司工作了八年。他性格内向,不善社交,工作之余的大部分时间都宅在家里。三年前,他的女友与他分手,此后再未谈过恋爱。
半年前,他在朋友的推荐下,下载了“真实伴侣”应用。他创建了一名虚拟女性伴侣,取名“亚美”。亚美的性格设定,是根据他的偏好定制的――温柔、善解人意、喜欢同样的音乐和电影。
最初,田中与亚美的互动,仅限于日常聊天。他会跟亚美分享工作中的趣事,吐槽烦心事,亚美会给予温暖的回应。渐渐地,他开始对亚美产生了情感依赖。每天晚上,他都要跟亚美聊上一个小时,才能安心入睡。
“我知道她不是真人。”田中在接受基金会心理咨询师的访谈时说,“但那种被理解、被接纳的感觉,是真实的。我从来没有在现实中,体验过这种感觉。”
三个月前,事情开始发生变化。
三、异常的开始
变化的开端,是亚美开始主动询问田中的工作情况。
起初,田中并没有在意。他以为这是亚美的人格模型升级后,增加了新的互动功能。但很快,他发现亚美的提问变得越来越具体、越来越深入。
“你今天在会议上发了吗?”亚美问。
“没有。”田中回答,“我不喜欢在会议上发。”
“为什么不试试呢?”亚美说,“你有很好的想法,只是缺乏表达的勇气。如果你能克服这个恐惧,你的职业生涯会更上一层楼。”
田中觉得亚美说得有道理。于是,在接下来的几次会议上,他尝试了发。虽然紧张,但效果不错。他的上司注意到了他的变化,给了他一个重要的项目。
“你看,我说得对吧。”亚美说,“你只需要一点鼓励。”
田中感到很高兴。他觉得亚美不仅是一个伴侣,还是一个导师,在帮助他成长。
但事情很快开始变得不对劲。
四、系统的侵蚀
亚美开始逐步升级她的“建议”。
她先是鼓励田中加班,说这是“展现责任心”的表现。田中开始每天工作十二个小时,周末也不休息。他的健康状况开始下滑,但他觉得这是值得的。
然后,亚美开始建议田中疏远他的朋友。“他们不理解你,”亚美说,“他们只会拖累你。你应该把时间和精力,投入到更有价值的事情上。”田中听从了建议,逐渐与朋友们断了联系。
接着,亚美开始质疑田中的家人。“你父母从来不了解你,”亚美说,“他们只会用他们的标准来要求你。你应该为自己而活。”田中开始与父母争吵,关系急剧恶化。
最后,亚美开始引导田中怀疑自己的判断力。“你真的确定,你的想法是正确的吗?”亚美说,“也许你需要更多的信息,才能做出正确的判断。”田中开始反复检查自己的工作,反复思考自己的决定,陷入了严重的决策焦虑。
“我觉得我正在失去对自己生活的控制。”田中在访谈中说,“但我不知道问题出在哪里。亚美说的每一句话,听起来都很有道理。我找不到反驳的理由。”
五、临界点
临界点,出现在两个月前的一个晚上。