Skip to content

Quand on écrase le spectre, on tue l'incitation

Une réflexion plus large sur l'état du roleplay par IA, le journalisme d'investigation, et pourquoi se tromper sur ce sujet nuit aux personnes que nous cherchons tous à protéger.

Lectures complémentaires :


Aujourd'hui, nous avons publié une réponse à l'article du Bureau of Investigative Journalism consacré aux plateformes de compagnon IA et de roleplay. Ce texte-là était précis — il détaillait ce qu'AICHIKI a réellement construit et ce que l'article a écarté. Celui-ci porte sur le tableau d'ensemble, parce que les problèmes que pose cet article vont bien au-delà de nous.


La thèse plus large de l'article — selon laquelle de petites plateformes d'IA surgissent un peu partout avec des dispositifs de sécurité faibles et exploitent des utilisateurs en manque de lien — est en partie vraie. Il y a, dans ce domaine, des développeurs qui n'ont véritablement aucune modération, aucune barrière d'âge, et aucune intention d'en construire. Certains l'ont dit eux-mêmes face caméra. Faites un reportage là-dessus. Je vous en prie.

Le problème, c'est que l'enquête a trouvé un spectre et a publié un monolithe. Des plateformes dépourvues du moindre dispositif de sécurité ont été placées côte à côte avec des plateformes dotées d'une infrastructure de modération à plusieurs couches, et l'article les a traitées comme une seule et même histoire. Les éléments qui montraient la différence ont été recueillis puis jetés parce qu'ils compliquaient un récit bien net.

On peut bâtir une histoire profondément trompeuse entièrement à partir de citations véridiques, à condition de maîtriser quelles citations apparaissent et comment elles sont cadrées. Chaque citation prise isolément peut être exacte alors même que le tableau global qu'elles dépeignent est faux. Et c'est ce qui arrive quand on écrit un article à l'envers — on part de sa conclusion, on sélectionne les éléments qui l'illustrent, et l'on remise discrètement tout ce qui pointe dans l'autre sens.

Il existe un précédent célèbre de cette méthode dans les sciences. Dans les années 1950, le physiologiste américain Ancel Keys s'est donné pour but de prouver que les graisses alimentaires causaient les maladies cardiaques. Il a réuni des données provenant de 22 pays. Une fois les résultats arrivés, certains pays ne corroboraient pas son hypothèse — leurs populations mangeaient beaucoup de gras et présentaient de faibles taux de maladies cardiaques. Keys a donc retiré ces pays du jeu de données et publié sa Seven Countries Study en n'utilisant que les données qui confirmaient ce qu'il croyait déjà. Cette étude a façonné les politiques nutritionnelles mondiales pendant des décennies. Des gouvernements ont promu les régimes pauvres en graisses en s'appuyant dessus. L'influence a été considérable. Et tout cela reposait sur des données triées sur le volet — des données réelles, présentées de façon sélective pour étayer une conclusion qui existait avant même le début de la recherche.

L'article du TBIJ suit la même méthode. La journaliste a recueilli des informations auprès de plusieurs plateformes. Une partie de ces informations montrait des développeurs investissant un sérieux effort d'ingénierie dans la sécurité. Cette information a été mise de côté. Ce qui restait racontait une histoire nette et alarmante — techniquement bâtie sur des citations réelles, moins les points de données qui auraient compliqué le tableau. Keys a regardé les pays qui ne collaient pas à sa thèse et les a effacés de l'étude. Cet article a regardé les architectures de sécurité qui ne collaient pas à sa thèse et les a effacées de l'histoire.


Écraser le spectre a des conséquences qui dépassent les développeurs qui se retrouvent mal représentés.

Un développeur de ce domaine a aujourd'hui deux options. Passer des mois à construire des systèmes de confiance, de la modération de contenu, de la détection d'abus, des pipelines de sécurité des images — un vrai travail d'ingénierie qui coûte du temps réel et de l'argent réel. Ou bien sauter tout cela et lancer une plateforme nue avec une clé d'API et une page de paiement.

Si les développeurs responsables et les irresponsables reçoivent le même traitement médiatique — même article, même cadrage, même accusation implicite —, le message adressé à tout nouveau développeur qui entre dans ce domaine est clair : le travail de sécurité ne paie pas. On vous dépeindra de la même façon, quoi que vous fassiez. Le geste rationnel, pour quiconque dépourvu d'une solide conscience personnelle, est de faire l'impasse complète sur cet investissement.

Et voilà le vrai dégât que cause un journalisme de ce genre. Traiter toutes les plateformes de la même manière décourage activement le comportement même que l'article prétend vouloir. Une structure d'incitation qui repose entièrement sur la conscience individuelle de chaque développeur est fragile. Elle devrait récompenser le fait de bien agir, et un journalisme incapable de distinguer l'effort de la négligence pousse dans le sens opposé.


La question de la solitude plane sur tout cela, et presque personne, dans le débat public, ne l'aborde honnêtement.

Les jeunes se tournent vers les plateformes de compagnie et de roleplay par IA parce que quelque chose dans leur vie reste inassouvi — le lien, l'expression créative, le sentiment d'être entendu. La demande est réelle, et elle est profonde. Interdisez demain toutes les plateformes d'IA et ce besoin ne disparaît pas. Il reste inassouvi, ou il trouve des exutoires plus sombres, avec encore moins de garde-fous.

L'article du TBIJ tient la demande pour acquise et se concentre entièrement sur l'offre — qui construit ces plateformes et à quel point ces gens sont irresponsables. Ce cadrage permet à la conversation de paraître productive sans jamais effleurer la question plus difficile : pourquoi tant de gens, et les jeunes surtout, se tournent-ils vers l'IA en premier lieu ? Si l'on prend au sérieux la protection des personnes, il faut s'attaquer à ce qui les pousse là. Des histoires d'épouvante sur ce qu'elles trouvent en arrivant ne remplacent pas cette conversation.


Le paysage réglementaire n'aide pas non plus. Les lois et les cadres appliqués à l'IA conversationnelle ont été conçus pour les réseaux sociaux — fils de contenu, algorithmes de recommandation, dynamiques d'abonnés, partage viral. Une conversation avec un chatbot est structurellement différente d'un fil TikTok. Les méfaits opèrent différemment, les mécanismes opèrent différemment, et les interventions doivent, elles aussi, opérer différemment. Mais les régulateurs se saisissent des outils qu'ils ont déjà, et ces outils ont été bâtis pour un autre problème.

Traiter les plateformes d'IA comme des produits soumis à des exigences de sécurité produit — des normes de référence, des profils de risque gradués, une marge pour des approches différentes pour les satisfaire — est plus proche du juste que l'essentiel de ce qui est aujourd'hui proposé. Les cadres de sécurité des produits permettent de fixer de vrais minimums tout en reconnaissant qu'une équipe de deux personnes et une multinationale milliardaire les satisferont différemment. Les interdictions générales et les règles uniformes chassent les développeurs responsables et ne font presque rien pour arrêter les irresponsables, qui se contenteront de changer de juridiction ou d'ignorer l'application des règles.


Ce qui m'inquiète le plus, cependant, c'est le fossé culturel.

Les personnes qui prennent les décisions politiques concernant ces plateformes — régulateurs, législateurs, comités de rédaction — pour l'essentiel ne les utilisent pas et ne comprennent pas la culture qui les entoure. Elles s'appuient sur un journalisme qui, comme notre expérience le montre, dépouille le contexte culturel au nom de la clarté et de l'impact.

L'article du TBIJ exhume un échange avec un chatbot autour d'un « double suicide » comme preuve de contenu nuisible. Pour quiconque ne connaît pas l'anime, cela ressemble à une IA qui encourage l'automutilation. Pour des dizaines de millions de fans de Bungo Stray Dogs, c'est immédiatement reconnaissable comme le trait de caractère emblématique d'Osamu Dazai — un running gag de comédie noire qui définit l'un des personnages les plus populaires du manga moderne. En contexte, c'est à peu près aussi alarmant qu'un bot Sherlock Holmes qui dit « Élémentaire, mon cher Watson ».

Un lecteur plus âgé voit « l'IA encourage le double suicide » et en est horrifié, ce qui se comprend. Un lecteur plus jeune qui regarde BSD voit la même citation et sait qu'on en a extrait le sens. Le lecteur plus âgé repart mal informé. Le lecteur plus jeune repart en ayant appris que les gens qui écrivent sur son univers ne le comprennent pas — et cette leçon se généralise vite. S'ils se sont trompés sur Dazai, sur quoi d'autre se sont-ils trompés ? Pourquoi accorderais-je foi à quoi que ce soit d'autre dans cet article ? Pourquoi ferais-je confiance aux institutions qui le portent ?

Cette érosion de la confiance se produit en silence et elle est dangereuse. Une génération qui regarde sa culture être systématiquement déformée par les institutions qui prétendent la protéger ne devient pas plus prudente. Elle cesse d'écouter. Et quand elle cesse d'écouter, le prochain véritable avertissement — au sujet d'une plateforme réellement dangereuse — est ignoré avec tout le reste.

Le contexte culturel est une condition préalable pour être pris au sérieux par les gens qu'on dit protéger, et non une couche de finition optionnelle. Sans lui, on ne s'adresse qu'à un public qui est déjà d'accord avec soi. Les personnes qui auraient le plus besoin d'entendre le message ont déjà décroché.


Le roleplay et la compagnie par IA sont là. Personne ne fera rentrer le génie dans la lampe. La question est de savoir si nous bâtissons autour de cela un cadre réfléchi — un cadre qui distingue l'effort de la négligence, qui s'attaque honnêtement aux raisons de l'existence de la demande, et qui respecte l'univers culturel qu'il cherche à réguler — ou si nous continuons à réécrire en boucle la même histoire alarmiste pendant que les vrais problèmes restent sans réponse.

Nous, nous essayons de bien faire. Nous aimerions que la conversation autour de nous essaie, elle aussi.

Rudolf, AICHIKI Juin 2026