Коли ви сплощуєте спектр, ви вбиваєте стимул
Ширший роздум про стан AI-роллплею, журналістські розслідування та про те, чому помилка тут шкодить тим самим людям, яких ми всі намагаємося захистити.
Контекст для читання:
- Наша відповідь по пунктах: Нас інтерв'ювали годину. Ось що не потрапило до статті.
- Стаття, що це спонукала: Meet the Developers Cashing In on AI Intimacy — The Bureau of Investigative Journalism, 7 червня 2026 року
- Французьке видання: « C'est effrayant de voir à quel point les gens font confiance » : ces développeurs de chatbots qui profitent de l'économie de l'intimité — Le Monde, 7 червня 2026 року
Сьогодні ми опублікували відповідь на статтю Bureau of Investigative Journalism про платформи AI-компаньйонів та роллплею. Той текст був конкретним — він детально описував, що насправді побудувала AICHIKI і що стаття опустила. Цей текст — про ширшу картину, бо проблеми тієї статті виходять далеко за межі нас.
Ширша теза статті — що невеликі AI-платформи з'являються зі слабкими заходами безпеки й експлуатують самотніх користувачів — частково правдива. У цій сфері є розробники, які справді не мають жодної модерації, жодних вікових обмежень і жодного наміру їх будувати. Дехто так і сказав на камеру. Пишіть про це. Будь ласка.
Проблема в тому, що розслідування побачило спектр, а опублікувало моноліт. Платформи з нульовими заходами безпеки поставили поруч із платформами, що мають багатошарову інфраструктуру модерації, і стаття звела їх до однієї історії. Докази відмінностей було зібрано — і відкинуто, бо вони ускладнювали чистий наратив.
Можна побудувати глибоко оманливу історію цілком із правдивих цитат, якщо контролювати, які цитати потраплять у текст і як їх подати. Кожна окрема цитата може бути точною, а от загальна картина, яку вони малюють, — хибною. І саме так стається, коли пишеш статтю задом наперед: починаєш із висновку, добираєш докази, що його ілюструють, і тихо відкладаєш убік усе, що вказує в інший бік.
У науки є знаменитий прецедент такої методології. У 1950-х американський фізіолог Ancel Keys узявся довести, що харчовий жир спричиняє хвороби серця. Він зібрав дані з 22 країн. Коли надійшли результати, деякі країни не підтверджували його гіпотезу — їхнє населення споживало вдосталь жиру й мало низькі показники хвороб серця. Тож Keys прибрав ці країни з набору даних і опублікував свій Seven Countries Study, використавши лише ті дані, що підтверджували те, у що він уже вірив. Це дослідження десятиліттями формувало глобальну політику харчування. На його основі уряди просували нежирні дієти. Вплив був величезний. А вся ця будівля стояла на вибірково дібраних доказах — на реальних даних, поданих так вибірково, щоб підтвердити висновок, який існував ще до початку дослідження.
Стаття TBIJ дотримується тієї самої методології. Репортерка зібрала інформацію з кількох платформ. Частина цієї інформації показувала розробників, які вкладають серйозні інженерні зусилля в безпеку. Цю частину відклали вбік. Те, що лишилося, розповідало чисту, тривожну історію — технічно збудовану на реальних цитатах, та без тих даних, що ускладнили б справу. Keys подивився на країни, які не вписувалися в його тезу, і викреслив їх із дослідження. Ця стаття подивилася на архітектури безпеки, які не вписувалися в її тезу, і викреслила їх з історії.
Сплощування спектра має наслідки, що сягають далі за розробників, яких перекручують.
У розробника в цій сфері зараз є два варіанти. Витратити місяці на побудову систем довіри, модерації контенту, виявлення зловживань, конвеєрів безпеки зображень — реальної інженерної роботи, що коштує реального часу й реальних грошей. Або пропустити все це й запустити голу платформу з API-ключем і платіжною сторінкою.
Якщо відповідальні розробники й безвідповідальні дістають однакове ставлення преси — та сама стаття, те саме формулювання, те саме приховане звинувачення, — то меседж кожному новому розробникові, який заходить у цю сферу, зрозумілий: робота з безпеки не окупається. Вас змалюють однаково, хоч би що ви робили. Раціональний хід для будь-кого, у кого немає міцного власного сумління, — узагалі пропустити ці вкладення.
І саме в цьому й полягає реальна шкода від такого висвітлення. Однакове ставлення до кожної платформи активно вбиває стимул до тієї самої поведінки, якої стаття нібито прагне. Структура стимулів, що цілком залежить від наявності сумління в окремих розробників, крихка. Вона має винагороджувати правильні вчинки, а висвітлення, нездатне відрізнити зусилля від недбалості, штовхає у протилежний бік.
Над усім цим нависає питання самотності, і майже ніхто в публічній розмові не підходить до нього чесно.
Молодь звертається до AI-компаньйонства й роллплей-платформ, бо щось у її житті лишається незадоволеним — зв'язок, креативне самовираження, відчуття, що тебе чують. Попит реальний, і він глибокий. Заборони завтра кожну AI-платформу — і ця потреба не зникне. Вона лишиться незадоволеною або знайде темніші виходи з іще меншим наглядом.
Стаття TBIJ сприймає попит як даність і зосереджується цілком на боці пропозиції — хто будує ці платформи і наскільки вони безвідповідальні. За такого підходу розмова видається продуктивною, жодного разу не торкнувшись складнішого питання: чому так багато людей, особливо молодих, узагалі тягнуться до AI? Якщо ви серйозно налаштовані захищати людей, вам доведеться розібратися з тим, що їх туди жене. Історії жахів про те, що вони там знаходять, цієї розмови не замінять.
Регуляторний ландшафт теж не допомагає. Закони й рамки, які застосовують до розмовного AI, проєктувалися для соцмереж — стрічки контенту, рекомендаційні алгоритми, динаміка підписників, вірусне поширення. Розмова з чат-ботом структурно відмінна від стрічки TikTok. Шкода виникає інакше, механізми діють інакше, і втручання теж мають бути іншими. Але регулятори хапаються за інструменти, які вже мають, а ці інструменти будувалися під іншу проблему.
Ставлення до AI-платформ як до продуктів із вимогами щодо безпеки продукту — базові стандарти, градуйовані профілі ризику, простір для різних підходів до їх виконання — ближче до правильного, ніж більшість того, що пропонують зараз. Рамки безпеки продукту дозволяють встановити реальні мінімуми, водночас визнаючи, що команда з двох людей і корпорація на мільярд доларів виконуватимуть їх по-різному. Суцільні заборони й правила за принципом «один розмір на всіх» виштовхують відповідальних розробників і майже нічого не дають для того, щоб зупинити безвідповідальних, — ті просто змінять юрисдикцію або проігнорують вимоги.
Та найбільше мене непокоїть культурна прірва.
Люди, які ухвалюють політичні рішення щодо цих платформ, — регулятори, законодавці, редакційні колегії — здебільшого ними не користуються й не розуміють культури навколо них. Вони покладаються на висвітлення, яке, як показує наш досвід, вихолощує культурний контекст заради ясності й ефекту.
Стаття TBIJ виносить на поверхню обмін повідомленнями з чат-ботом про «подвійне самогубство» як доказ шкідливого контенту. Для будь-кого, незнайомого з аніме, це звучить як AI, що заохочує до самоушкодження. Для десятків мільйонів фанатів Bungo Stray Dogs це миттєво впізнавана фірмова риса персонажа Osamu Dazai — наскрізний жарт у дусі чорної комедії, що визначає одного з найпопулярніших персонажів сучасної манґи. У контексті це приблизно настільки ж тривожно, як коли бот Sherlock Holmes каже «елементарно».
Старший читач бачить «AI заохочує до подвійного самогубства» і, що зрозуміло, жахається. Молодший читач, який дивиться BSD, бачить ту саму цитату й знає, що з неї вихолостили зміст. Старший читач іде дезінформованим. Молодший іде, засвоївши, що люди, які пишуть про його світ, цього світу не розуміють, — і цей висновок узагальнюється блискавично. Якщо вони помилилися щодо Dazai, то в чому ще помилилися? Чому я маю вірити будь-чому іншому в цій статті? Чому я маю вірити інституціям, що стоять за нею?
Це розмивання довіри відбувається тихо, і воно небезпечне. Покоління, яке спостерігає, як інституції, що нібито його захищають, послідовно перекручують його культуру, не стає обережнішим. Воно перестає слухати. А коли воно перестає слухати, наступне справжнє попередження — про платформу, яка справді небезпечна, — буде проігноровано разом з усім іншим.
Культурний контекст — це передумова того, щоб люди, яких ви нібито захищаєте, сприймали вас усерйоз, а не необов'язковий шар лоску. Без нього ви говорите лише до тих, хто вже з вами згоден. Ті, кому найбільше потрібно почути меседж, уже вимкнулися.
AI-роллплей і компаньйонство тут, із нами. Цього джина назад у пляшку вже ніхто не заганяє. Питання в тому, чи побудуємо ми навколо цього продуману рамку — таку, що відрізняє зусилля від недбалості, чесно розбирається з тим, чому існує попит, і поважає культурний світ, який намагається регулювати, — чи й далі писатимемо ту саму панічну історію по колу, поки реальні проблеми лишаються без розв'язання.
Ми намагаємося робити це правильно. Ми хотіли б, щоб розмова навколо нас теж спробувала.
— Rudolf, AICHIKI червень 2026 року