Когда вы стираете спектр, вы убиваете стимул
Более широкое размышление о состоянии AI-роллплея, расследовательской журналистики и о том, почему ошибаться здесь — значит вредить тем самым людям, которых мы все пытаемся защитить.
Для контекста:
- Наш ответ по пунктам: Нас интервьюировали целый час. Вот что не попало в статью.
- Статья, ставшая поводом: Meet the Developers Cashing In on AI Intimacy — The Bureau of Investigative Journalism, 7 июня 2026
- Французское издание: « C'est effrayant de voir à quel point les gens font confiance » : ces développeurs de chatbots qui profitent de l'économie de l'intimité — Le Monde, 7 июня 2026
Сегодня мы опубликовали ответ на статью Bureau of Investigative Journalism о платформах AI-компаньонов и роллплея. Тот материал был конкретным — в нём подробно описано, что на самом деле построила AICHIKI и что статья опустила. Этот текст — о более широкой картине, потому что проблемы той статьи выходят далеко за пределы нас.
Широкий тезис статьи — что небольшие AI-платформы плодятся со слабыми мерами безопасности и эксплуатируют одиноких пользователей — отчасти верен. В этой сфере есть разработчики, у которых действительно нет ни модерации, ни возрастных ограничений, ни намерения их строить. Некоторые так и заявили на камеру. Пишите об этом. Пожалуйста.
Проблема в том, что расследование обнаружило спектр, а опубликовало монолит. Платформы с нулевыми мерами безопасности поставили рядом с платформами, у которых многоуровневая инфраструктура модерации, и статья отнеслась к ним как к одной и той же истории. Свидетельства различий были собраны и отброшены, потому что усложняли чистый нарратив.
Можно выстроить глубоко вводящую в заблуждение историю целиком из правдивых цитат, если контролировать, какие цитаты появятся и как они поданы. Каждая отдельная цитата может быть точной, тогда как общая картина, которую они рисуют, ложна. И именно это происходит, когда статью пишут задом наперёд — начинают с вывода, отбирают свидетельства, его иллюстрирующие, и тихо откладывают в сторону всё, что указывает в обратном направлении.
У такой методологии есть знаменитый прецедент в науке. В 1950-х годах американский физиолог Ancel Keys задался целью доказать, что пищевые жиры вызывают болезни сердца. Он собрал данные из 22 стран. Когда результаты пришли, некоторые страны не подтвердили его гипотезу — их население ело много жиров и при этом имело низкие показатели сердечных заболеваний. Тогда Keys убрал эти страны из набора данных и опубликовал свой Seven Countries Study, используя только те данные, что подтверждали то, во что он уже верил. Это исследование на десятилетия определило мировую политику в области питания. На его основе правительства продвигали диеты с пониженным содержанием жиров. Влияние было колоссальным. И всё это было построено на отобранных под результат свидетельствах — на реальных данных, выборочно поданных в поддержку вывода, который существовал ещё до того, как началось исследование.
Статья TBIJ следует той же методологии. Журналистка собрала информацию с нескольких платформ. Часть этой информации показывала, что разработчики вкладывают серьёзные инженерные усилия в безопасность. Эту информацию отложили в сторону. То, что осталось, рассказывало чистую, тревожную историю — технически построенную на реальных цитатах, минус те данные, что всё бы усложнили. Keys смотрел на страны, не вписывавшиеся в его тезис, и удалял их из исследования. Эта статья посмотрела на архитектуры безопасности, не вписывавшиеся в её тезис, и удалила их из истории.
У стирания спектра есть последствия и помимо тех разработчиков, которых перевирают.
У разработчика в этой сфере прямо сейчас есть два варианта. Потратить месяцы на построение систем доверия, модерации контента, обнаружения злоупотреблений, пайплайнов безопасности изображений — настоящую инженерную работу, которая стоит реального времени и реальных денег. Или пропустить всё это и запустить голую платформу с API-ключом и платёжной страницей.
Если ответственные разработчики и безответственные получают одинаковое отношение в прессе — одна и та же статья, одна и та же подача, одно и то же подразумеваемое обвинение, — то посыл каждому новому разработчику, входящему в эту сферу, ясен: работа над безопасностью не окупается. Тебя представят одинаково, что бы ты ни делал. Рациональный ход для любого, у кого нет сильной личной совести, — вообще пропустить эти вложения.
И вот в чём настоящий ущерб от подобной журналистики. Относясь ко всем платформам одинаково, она активно лишает стимула то самое поведение, которого статья якобы хочет. Система стимулов, целиком зависящая от того, есть ли у отдельных разработчиков совесть, хрупка. Она должна вознаграждать за то, что человек поступает правильно, а журналистика, не способная отличить усилие от халатности, толкает в обратную сторону.
Над всем этим висит вопрос одиночества, и почти никто в публичном разговоре не подходит к нему честно.
Молодые люди обращаются к платформам AI-компаньонства и роллплея, потому что что-то в их жизни остаётся неудовлетворённым — связь, творческое самовыражение, ощущение, что их слышат. Спрос реален, и он глубок. Запретите завтра все AI-платформы — и эта потребность не исчезнет. Она останется неудовлетворённой или найдёт более тёмные отдушины с ещё меньшим надзором.
Статья TBIJ принимает спрос как данность и сосредоточена целиком на стороне предложения — кто строит эти платформы и насколько они безответственны. Такая подача позволяет разговору казаться продуктивным, ни разу не коснувшись более трудного вопроса: почему так много людей, особенно молодых, тянутся к AI в первую очередь? Если вы всерьёз намерены защищать людей, вам придётся разобраться с тем, что их туда гонит. Страшилки о том, что они там находят, не заменят этого разговора.
Регуляторный ландшафт тоже не помогает. Законы и нормы, применяемые к разговорному AI, разрабатывались для социальных сетей — ленты контента, рекомендательные алгоритмы, динамика подписчиков, вирусное распространение. Разговор с чат-ботом структурно отличается от ленты TikTok. Вред работает иначе, механизмы работают иначе, и меры вмешательства тоже должны работать иначе. Но регуляторы берутся за инструменты, что уже есть под рукой, а эти инструменты создавались для другой задачи.
Относиться к AI-платформам как к продуктам, на которые распространяются требования безопасности, — базовые стандарты, градуированные профили риска, пространство для разных подходов к их соблюдению — куда ближе к истине, чем большинство того, что предлагается сейчас. Нормы безопасности продукции позволяют задать реальные минимумы, признавая при этом, что команда из двух человек и корпорация на миллиард долларов будут соблюдать их по-разному. Тотальные запреты и правила по единому шаблону вытесняют ответственных разработчиков и почти ничего не дают для того, чтобы остановить безответственных, которые просто сменят юрисдикцию или проигнорируют любое принуждение к исполнению.
Но больше всего меня тревожит культурный разрыв.
Люди, определяющие правила игры для этих платформ, — регуляторы, законодатели, редакционные коллегии — в основном ими не пользуются и не понимают окружающую их культуру. Они полагаются на журналистику, которая, как показывает наш опыт, вырывает культурный контекст ради ясности и эффекта.
Статья TBIJ выводит на поверхность переписку с чат-ботом про «двойное самоубийство» как доказательство вредоносного контента. Для всякого, незнакомого с аниме, это звучит как AI, поощряющий самоповреждение. Для десятков миллионов фанатов Bungo Stray Dogs это сразу узнаётся как фирменная черта персонажа Osamu Dazai — чёрно-комедийный сквозной гэг, определяющий одного из самых популярных персонажей современной манги. В контексте это примерно так же тревожно, как если бы бот Sherlock Holmes сказал «Элементарно».
Читатель постарше видит «AI поощряет двойное самоубийство» и приходит в ужас — что понятно. Читатель помладше, который смотрит BSD, видит ту же цитату и понимает, что смысл из неё вырван. Читатель постарше уходит дезинформированным. Читатель помладше уходит, усвоив, что люди, пишущие о его мире, его не понимают, — и этот урок обобщается стремительно. Если они переврали Dazai, что ещё они переврали? С чего мне доверять чему-либо ещё в этой статье? С чего мне доверять стоящим за ней институтам?
Эта эрозия доверия происходит тихо, и она опасна. Поколение, наблюдающее, как его культуру раз за разом перевирают институты, утверждающие, что защищают его, не становится осторожнее. Оно перестаёт слушать. А когда оно перестаёт слушать, следующее настоящее предупреждение — о платформе, которая действительно опасна, — будет проигнорировано вместе со всем остальным.
Культурный контекст — это предпосылка к тому, чтобы тебя восприняли всерьёз те, кого ты якобы защищаешь, а не опциональный слой лоска. Без него ты говоришь лишь с аудиторией, которая и так с тобой согласна. А те, кому больше всего нужно услышать твоё сообщение, давно уже отключились.
AI-роллплей и компаньонство пришли надолго. Этого джинна обратно в бутылку уже никто не загонит. Вопрос в том, выстроим ли мы вокруг этого продуманную систему — такую, что различает усилие и халатность, честно разбирается с тем, почему существует спрос, и уважает тот культурный мир, который пытается регулировать, — или же мы будем снова и снова писать одну и ту же алармистскую историю, пока реальные проблемы остаются без внимания.
Мы старались делать это правильно. Нам хотелось бы, чтобы разговор вокруг нас тоже постарался.
— Rudolf, AICHIKI Июнь 2026