Skip to content

当你把光谱抹平,你也就杀死了激励

一场更宽泛的反思:关于 AI 角色扮演的现状、关于调查新闻,以及为什么把这件事弄错会伤害到我们大家都想保护的那些人。

背景阅读:


今天我们发布了一篇回应,针对调查新闻局那篇关于 AI 陪伴与角色扮演平台的文章。那一篇很具体——它详细说明了 AICHIKI 究竟构建了什么,以及那篇报道又略去了什么。这一篇谈的则是更大的图景,因为那篇报道的问题远不止于我们。


文章更宽泛的论点——小型 AI 平台正纷纷冒头,安全措施薄弱,剥削孤独的用户——有一部分是成立的。这个领域里确实有一些开发者,他们真的没有任何审核、没有年龄门槛,也压根没打算去建。有些人甚至当着镜头就这么说了。去报道那些吧,拜托。

问题在于,调查所发现的是一道光谱,发布出来的却是一块铁板。零安全措施的平台被摆在了拥有多层审核基础设施的平台旁边,而文章把它们当成了同一个故事来讲。体现差异的证据被收集了起来,又因为它搅浑了一个干净的叙事而被丢弃。

只要你掌控哪些引言出现、以及它们如何被框定,你完全能用全是真话的引言,搭建出一个严重误导的故事。每一句单独的引言都可以是准确的,而它们合起来描绘出的整体图景却是虚假的。当你反着写一篇文章时,发生的就是这种事——先定下你的结论,再挑出能佐证它的证据,然后悄悄把任何指向相反方向的东西束之高阁。

科学史上,这种方法论有一个著名的先例。20 世纪 50 年代,美国生理学家 Ancel Keys 着手证明膳食脂肪会导致心脏病。他从 22 个国家收集了数据。结果出来时,有些国家并不支持他的假说——那里的人摄入大量脂肪,心脏病发病率却很低。于是 Keys 把那些国家从数据集中剔除,只用那些印证了他既有信念的数据,发表了他的 Seven Countries Study。那项研究在数十年里左右了全球营养政策,各国政府据此推行低脂饮食,影响极为深远。然而这一整套东西,都建立在精挑细选的证据之上——真实的数据,被有选择地呈现出来,去支撑一个早在研究开始之前就已存在的结论。

TBIJ 那篇文章遵循的正是同一套方法论。记者从多个平台收集了信息,其中有些显示开发者在安全上投入了扎实的工程努力,而这部分信息被搁置了。留下来的,是一个干净而令人警觉的故事——技术上建立在真实引言之上,只是减去了那些会让事情变复杂的数据点。Keys 盯着那些不符合自己论点的国家,把它们从研究中删去;这篇文章盯着那些不符合自己论点的安全架构,把它们从故事中删去。


把光谱抹平,其后果不止落在那些被歪曲的开发者身上。

此刻,这个领域里的开发者面前有两条路。一条是花上数月去构建信任系统、内容审核、滥用检测、图像安全流水线——这是真刀真枪的工程活,要搭进真金白银和实打实的时间。另一条是把这一切统统跳过,用一个 API key 加一个付款页面,上线一个光秃秃的平台。

如果负责任的开发者和不负责任的开发者得到的是同样的媒体待遇——同一篇文章、同一种框定、同一句隐含的指控——那么对每一个新进入这个领域的开发者来说,传递出的信息再清楚不过:安全工作不值。反正无论你怎么做,都会被描绘成一个样子。对任何缺乏强烈个人良知的人来说,理性的选择就是干脆跳过这笔投入。

而这正是这类报道造成的真正损害。对每一个平台不加区分地一视同仁,实际上是在打击那篇文章声称想要的行为。一套完全寄望于开发者个人良知的激励结构是脆弱的。它本该奖励做正确的事,而一篇分不清努力与失职的报道,却在朝相反的方向使劲。


孤独这个问题笼罩着这一切,而在公共讨论中,几乎没有人在诚实地正视它。

年轻人之所以转向 AI 陪伴与角色扮演平台,是因为他们生活中有某种东西没有得到满足——连接、创意表达、一种被听见的感觉。这种需求是真实的,而且很深。哪怕明天就把所有 AI 平台一并封禁,那份需求也不会消失。它要么继续得不到满足,要么去寻找监管更少、也更黑暗的出口。

TBIJ 那篇文章把需求当作既定前提,把全部注意力都放在供给一侧——是谁在建这些平台,他们又有多不负责任。这样的框定让讨论显得很有成效,却始终没有触及那个更难的问题:为什么有这么多人、尤其是年轻人,会一开始就伸手抓向 AI?如果你真的认真想保护人,就必须去正视究竟是什么把他们推到了那里。关于他们抵达之后会发现什么的恐怖故事,替代不了那场对话。


监管环境也帮不上忙。被套用到对话式 AI 上的那些法律和框架,本是为社交媒体设计的——内容信息流、推荐算法、粉丝动态、病毒式传播。一段聊天机器人对话,在结构上和一个 TikTok 信息流截然不同。其危害的运作方式不同,机制不同,干预手段也理应不同。但监管者顺手抄起的,是他们手头已有的工具,而那些工具是为另一个问题打造的。

把 AI 平台当作带有产品安全要求的产品来对待——设定基准标准、划分梯度风险等级、为达成这些要求的不同路径留出空间——比当前提出的大多数方案都更接近正确。产品安全框架让你既能划出真正的底线,又承认一个两人团队和一家市值十亿美元的公司,会以不同的方式去满足它。一刀切的全面封禁、以及一套规则管尽所有人的做法,只会把负责任的开发者挤出去,对那些不负责任的开发者却几乎毫无作用——后者只需换个司法辖区,或者干脆无视执法。


不过,最让我担忧的,是文化上的鸿沟。

那些为这些平台拍板政策的人——监管者、立法者、编辑委员会——大体上既不使用它们,也不了解围绕它们的那套文化。他们所依赖的报道,正如我们的经历所显示的,为了清晰和冲击力,把文化语境剥离了出去。

TBIJ 那篇文章拿一段关于「殉情」的聊天机器人对话当作有害内容的证据端了出来。对任何不熟悉动漫的人来说,那听起来像是 AI 在怂恿自残;而对 Bungo Stray Dogs 数千万的粉丝来说,那一眼就能认出是 Osamu Dazai 标志性的性格特征——一个定义了现代漫画中最受欢迎角色之一的黑色幽默固定笑点。放回语境里,它令人警觉的程度,大概跟一个 Sherlock Holmes 机器人说出「这再基本不过了」差不多。

一位年长的读者看到「AI 怂恿殉情」,感到震惊,这可以理解;一位看 BSD 的年轻读者看到同一句引言,却知道它的含义早已被抽掉。年长的读者带着错误的信息离开;年轻的读者离开时学到的则是:那些书写他们世界的人,并不懂这个世界——而这个教训会迅速推而广之。如果连 Dazai 他们都搞错了,那还有什么是搞错的?我凭什么去相信这篇文章里别的任何东西?我又凭什么去相信它背后的那些机构?

这种信任的流失正在悄无声息地发生,而且很危险。一代人眼看着自己的文化被那些声称要保护他们的机构一再歪曲,并不会因此变得更谨慎,而是会干脆不再听了。一旦他们不再听,下一次真正的警告——关于一个确实危险的平台——也会连同其余一切被一并无视。

文化语境是让你声称要保护的那群人愿意把你当回事的前提,而不是一层可有可无的润色。少了它,你就只是在对一群本就认同你的听众说话,而那些最需要听到这条信息的人,早已把频道调开了。


AI 角色扮演与陪伴已经来了。没有人能把这只猫再塞回袋子里。真正的问题在于,我们是要围绕它构建一个深思熟虑的框架——一个能分辨努力与失职、诚实地正视需求为何存在、并尊重它试图监管的那个文化世界的框架——还是要在真正的问题无人理会的同时,把同一个危言耸听的故事一遍又一遍地写下去。

我们一直在努力把这件事做对,也希望围绕我们的这场讨论,能同样去努力一下。

—— Rudolf,AICHIKI 2026 年 6 月