スペクトラムを平らに均すとき、インセンティブは死ぬ
AI ロールプレイの現状、調査報道、そしてこれを誤ることがなぜ、私たち皆が守ろうとしている人々を傷つけるのか、についてのより広い考察です。
背景となる読み物:
- 私たちの逐条的な応答: 1 時間のインタビューを受けました。記事に載らなかったことをお話しします。
- そのきっかけとなった記事: Meet the Developers Cashing In on AI Intimacy — The Bureau of Investigative Journalism、2026 年 6 月 7 日
- フランス語版: « C'est effrayant de voir à quel point les gens font confiance » : ces développeurs de chatbots qui profitent de l'économie de l'intimité — Le Monde、2026 年 6 月 7 日
本日、私たちは、AI コンパニオン・ロールプレイ系プラットフォームについての Bureau of Investigative Journalism の記事に対する応答を公開しました。あの記事は具体的なものでした — AICHIKI が実際に何を築いたのか、そして記事が何を省いたのかを詳述しました。今回のこれは、より大きな構図についての話です。なぜなら、あの記事の問題は、私たちのことをはるかに超えて広がっているからです。
記事のより広い主張 — 小規模な AI プラットフォームが弱い安全対策で次々と現れ、孤独なユーザーにつけ込んでいる、というもの — は、部分的には真実です。この分野には、本当にモデレーションも年齢ゲートもなく、それを築くつもりもない開発者がいます。何人かはカメラの前でそう言いました。それを報じてください。どうか。
問題は、調査がスペクトラム（連続的な幅）を見つけておきながら、一枚岩を公開したことです。安全対策ゼロのプラットフォームが、多層のモデレーション基盤を持つプラットフォームの隣に並べられ、記事は両者を同じ物語として扱いました。違いの証拠は集められたのに、きれいな筋書きを複雑にするという理由で捨てられたのです。
どの引用が登場し、それがどう枠づけられるかをあなたが握っているなら、すべてを真実の引用だけで組み立てながら、深く誤解を招く物語をつくることができます。個々の引用はすべて正確でありながら、それらが描き出す全体像が偽りであることはありうるのです。そしてそれが、記事を逆向きに書くときに起きることです — まず結論から始め、それを裏づける証拠を選び、反対方向を指し示すものは静かに棚の奥へ片づける。
科学には、この種の手法の有名な前例があります。1950 年代、アメリカの生理学者 Ancel Keys は、食事の脂肪が心臓病を引き起こすことを証明しようとしました。彼は 22 か国からデータを集めました。結果が出てみると、いくつかの国は彼の仮説を支持しませんでした — それらの国の人々はたっぷり脂肪を摂りながら、心臓病の発生率は低かったのです。そこで Keys はそれらの国をデータセットから除外し、自分がすでに信じていたことを裏づけるデータだけを用いて Seven Countries Study を発表しました。その研究は、何十年にもわたって世界の栄養政策を形づくりました。各国政府はそれに基づいて低脂肪の食事を推し進めました。その影響は甚大でした。そしてそのすべては、つまみ食いされた証拠の上に築かれていたのです — 実在のデータを、研究が始まる前から存在していた結論を支えるために、選り好みして提示したものでした。
TBIJ の記事は、同じ手法をなぞっています。記者は複数のプラットフォームから情報を集めました。その情報の一部は、開発者がセーフティに本格的なエンジニアリングの労力を注いでいることを示していました。その情報は脇へ置かれました。残ったのは、きれいで不穏な物語でした — 技術的には実在の引用の上に築かれ、ただし物事を複雑にしたであろうデータポイントは差し引かれて。Keys は自分の主張に合わない国を見て、それを研究から削除しました。この記事は、自分の主張に合わないセーフティアーキテクチャを見て、それを物語から削除したのです。
スペクトラムを平らに均すことは、誤って伝えられる開発者たちの先にまで、結果をもたらします。
今この分野にいる開発者には、二つの選択肢があります。信頼システム、コンテンツモデレーション、虐待検出、画像セーフティのパイプラインを築くために何か月もかけること — 現実の時間と現実のお金がかかる、本物のエンジニアリングの仕事です。あるいは、そのすべてを飛ばして、API キーと決済ページだけのむき出しのプラットフォームを立ち上げること。
責任ある開発者も無責任な開発者も、同じ報道の扱いを受けるなら — 同じ記事、同じ枠づけ、同じ暗黙の告発 — この分野に入ってくるすべての新しい開発者へのメッセージは明白です。セーフティの仕事は割に合わない、と。どのみち同じように描かれるのです。強い個人的良心を持たない者にとって、合理的な一手は、その投資をまるごと飛ばすことになります。
そしてそれこそが、このような報道がもたらす本当の損害です。あらゆるプラットフォームを同じように扱うことは、記事自身が望むと謳うはずの行動へのインセンティブを、むしろ積極的に削いでしまいます。個々の開発者が良心を持っているかどうかに全面的に頼ったインセンティブ構造は、もろいものです。本来なら正しいことをした者が報われるべきなのに、努力と怠慢の違いを見分けられない報道は、ちょうど逆の方向へ働いてしまうのです。
孤独の問題が、このすべての上に重くのしかかっています。そして公の議論の中で、それに誠実に向き合っている人はほとんどいません。
若い人々が AI のコンパニオンシップやロールプレイのプラットフォームへ向かっているのは、生活の中で何かが満たされていないからです — つながり、創造的な表現、自分の声が聞かれているという感覚。需要は現実のものであり、そして根深いものです。明日すべての AI プラットフォームを禁止しても、その必要は消えません。満たされないままになるか、あるいはもっと監督の少ない、より暗い出口を見つけるのです。
TBIJ の記事は、需要を所与のものとして扱い、もっぱら供給側に焦点を当てています — 誰がこれらのプラットフォームを築いているのか、彼らがどれほど無責任なのか。その枠づけは、議論を生産的に感じさせながら、より難しい問いには一度も触れさせません。なぜこれほど多くの人々が、とりわけ若い人々が、そもそも AI に手を伸ばしているのか? 人々を守ることに本気なら、彼らをそこへ向かわせているものに向き合わなければなりません。たどり着いた先で見つけるものについての恐怖譚は、その対話の代わりにはなりません。
規制の状況も、助けにはなっていません。会話型 AI に適用されつつある法律や枠組みは、ソーシャルメディアのために設計されたものです — コンテンツフィード、レコメンドアルゴリズム、フォロワーの力学、バイラルな共有。チャットボットの会話は、TikTok のフィードとは構造的に異なります。害の働き方が異なり、メカニズムが異なり、そして介入もまた異なる形で働く必要があります。けれども規制当局は、すでに手元にある道具に手を伸ばします。そしてその道具は、まったく別の問題のために作られたものなのです。
AI プラットフォームを、製品安全の要件を持つ製品として扱うこと — 基準となる最低水準、段階的なリスクプロファイル、それを満たすための異なるアプローチの余地 — は、現在提案されているもののほとんどよりも、正解に近いものです。製品安全の枠組みは、二人組のチームと十億ドル規模の企業とがそれを異なる形で満たすことを認めつつ、現実の最低水準を設定することを可能にします。一律の禁止や画一的なルールは、責任ある開発者を締め出し、無責任な開発者を止めることはほとんどできません。彼らは単に管轄を移すか、執行を無視するだけです。
けれども、私が最も憂慮しているのは、文化的な溝です。
これらのプラットフォームについて政策判断を下す人々 — 規制当局、立法者、編集委員会 — の多くは、それらを使っておらず、それを取り巻く文化を理解していません。彼らは、私たちの経験が示すとおり、明快さとインパクトのために文化的文脈を剥ぎ取る報道に頼っているのです。
TBIJ の記事は、有害なコンテンツの証拠として「心中（しんじゅう）」についてのチャットボットのやり取りを取り上げています。アニメに不案内な人には、それは AI が自傷を勧めているように聞こえます。数千万人の『Bungo Stray Dogs』のファンには、それは太宰治を象徴する性格 — 現代マンガで最も人気のあるキャラクターの一人を定義づける、ダークコメディのお約束ネタ — として即座にそれと分かります。文脈の中では、それは Sherlock Holmes のボットが「初歩的なことだよ、ワトソン君」と言うのと同じくらい、何でもないことです。
年配の読者は「AI が心中を勧めている」と見て、当然ながら戦慄します。BSD を観ている若い読者は、同じ引用を見て、意味が剥ぎ取られていると分かります。年配の読者は誤った情報を抱えて立ち去ります。若い読者は、自分たちの世界について書いている人々がそれを理解していないと学んで立ち去ります — そしてその教訓は、たちまち一般化します。太宰のことを取り違えたのなら、ほかに何を取り違えたのか? なぜこの記事の他のことを信じる気になるのか? なぜその背後にある組織を信じる気になるのか?
その信頼の浸食は、静かに進行しており、そして危険です。自分たちの文化が、守ると主張する組織によって一貫して誤って伝えられるのを見ている世代は、より慎重になったりはしません。彼らは耳を傾けるのをやめます。そして彼らが耳を傾けるのをやめたとき、次の本物の警告 — 本当に危険なプラットフォームについての警告 — も、ほかのすべてと一緒に無視されてしまうのです。
文化的文脈は、あなたが守ると言っている人々から真剣に受け止めてもらうための前提条件であって、磨き上げのための任意の上塗りではありません。それがなければ、あなたはすでに自分に同意している聴衆にしか語りかけていないことになります。そのメッセージを最も聞く必要のある人々は、とうに耳をふさいでいるのです。
AI のロールプレイとコンパニオンシップは、もうここにあります。一度世に出たものは、もう元には戻せません。問いは、私たちがその周りに思慮深い枠組みを築くのか — 努力と怠慢を区別し、なぜ需要が存在するのかに誠実に向き合い、規制しようとしている文化的世界を尊重する枠組みを — それとも、実際の問題が手つかずのまま放置される一方で、同じ警鐘的な物語を繰り返し書き続けるのか、ということです。
私たちは、これを正しくやろうと努めてきました。私たちを取り巻く議論にも、努めてほしいと願っています。
— Rudolf、AICHIKI 2026 年 6 月