Cuando aplanas el espectro, matas el incentivo
Una reflexión más amplia sobre el estado del roleplay con IA, el periodismo de investigación y por qué hacer esto mal perjudica a las personas que todos intentamos proteger.
Lecturas de contexto:
- Nuestra respuesta punto por punto: Nos entrevistaron durante una hora. Esto es lo que no llegó al artículo.
- El artículo que la motivó: Meet the Developers Cashing In on AI Intimacy — The Bureau of Investigative Journalism, 7 de junio de 2026
- La edición francesa: « C'est effrayant de voir à quel point les gens font confiance » : ces développeurs de chatbots qui profitent de l'économie de l'intimité — Le Monde, 7 de junio de 2026
Hoy hemos publicado una respuesta al artículo del Bureau of Investigative Journalism sobre las plataformas de compañía y roleplay con IA. Aquel texto era específico — detallaba lo que AICHIKI construyó en realidad y lo que el artículo dejó fuera. Este trata del panorama general, porque los problemas de aquel artículo van mucho más allá de nosotros.
La tesis más amplia del artículo — que están surgiendo pequeñas plataformas de IA con medidas de seguridad débiles que explotan a usuarios solitarios — es en parte cierta. Hay desarrolladores en este terreno que genuinamente no tienen moderación, ni controles de edad, ni intención de construirlos. Algunos lo dijeron así ante la cámara. Informa de eso. Por favor.
El problema es que la investigación encontró un espectro y publicó un monolito. Plataformas con cero medidas de seguridad se colocaron junto a plataformas con una infraestructura de moderación de múltiples capas, y el artículo las trató como la misma historia. Se reunieron pruebas de la diferencia y se descartaron porque complicaban una narrativa limpia.
Puedes construir una historia profundamente engañosa enteramente a partir de citas verdaderas si controlas qué citas aparecen y cómo se enmarcan. Cada cita por separado puede ser exacta mientras el cuadro general que pintan es falso. Y eso es lo que ocurre cuando escribes un artículo al revés — partes de tu conclusión, seleccionas las pruebas que la ilustran y archivas en silencio cualquier cosa que apunte en sentido contrario.
Hay un precedente famoso de este tipo de metodología en la ciencia. En la década de 1950, el fisiólogo estadounidense Ancel Keys se propuso demostrar que la grasa de la dieta causaba enfermedades cardíacas. Recopiló datos de 22 países. Cuando llegaron los resultados, algunos países no respaldaban su hipótesis — sus poblaciones comían mucha grasa y tenían tasas bajas de enfermedad cardíaca. Así que Keys eliminó esos países del conjunto de datos y publicó su Seven Countries Study usando solo los datos que confirmaban lo que ya creía. Aquel estudio moldeó la política nutricional mundial durante décadas. Los gobiernos promovieron dietas bajas en grasa basándose en él. La influencia fue enorme. Y todo se construyó sobre pruebas escogidas a conveniencia — datos reales, presentados de forma selectiva para sostener una conclusión que ya existía antes de que comenzara la investigación.
El artículo del TBIJ sigue la misma metodología. La reportera recopiló información de múltiples plataformas. Parte de esa información mostraba a desarrolladores invirtiendo un esfuerzo de ingeniería serio en seguridad. Esa información se dejó a un lado. Lo que quedó contaba una historia limpia y alarmante — técnicamente construida sobre citas reales, pero sin los datos que habrían complicado las cosas. Keys miró los países que no encajaban con su tesis y los borró del estudio. Este artículo miró las arquitecturas de seguridad que no encajaban con su tesis y las borró de la historia.
Aplanar el espectro tiene consecuencias que van más allá de los desarrolladores que resultan tergiversados.
Un desarrollador en este terreno tiene ahora mismo dos opciones. Pasarse meses construyendo sistemas de confianza, moderación de contenido, detección de abuso, procesos de seguridad de imágenes — trabajo de ingeniería real que cuesta tiempo real y dinero real. O saltarse todo eso y lanzar una plataforma pelada con una clave de API y una pasarela de pago.
Si los desarrolladores responsables y los irresponsables reciben el mismo trato en la prensa — mismo artículo, mismo encuadre, misma acusación implícita — el mensaje para todo nuevo desarrollador que entra en este terreno es claro: el trabajo de seguridad no compensa. Te van a retratar igual de todos modos. La jugada racional, para cualquiera que no tenga una conciencia personal firme, es saltarse la inversión por completo.
Y ese es el verdadero daño que hace un periodismo así. Tratar a todas las plataformas por igual desincentiva activamente el comportamiento que el propio artículo dice querer. Una estructura de incentivos que depende por completo de que cada desarrollador tenga conciencia es frágil. Debería premiar hacer lo correcto, y un periodismo incapaz de distinguir entre el esfuerzo y la negligencia empuja en el sentido contrario.
La cuestión de la soledad lo sobrevuela todo, y casi nadie en la conversación pública la está abordando con honestidad.
Los jóvenes recurren a las plataformas de compañía y roleplay con IA porque algo en su vida está quedando sin cubrir — conexión, expresión creativa, la sensación de ser escuchados. La demanda es real, y es profunda. Prohíbe mañana toda plataforma de IA y esa necesidad no desaparece. Queda sin cubrir, o encuentra salidas más oscuras con aún menos supervisión.
El artículo del TBIJ da la demanda por sentada y se centra por completo en el lado de la oferta — quién construye estas plataformas y lo irresponsables que son. Ese encuadre permite que la conversación parezca productiva sin tocar nunca la pregunta más difícil: ¿por qué hay tanta gente, sobre todo gente joven, recurriendo a la IA? Si vas en serio con lo de proteger a las personas, tienes que abordar qué las está empujando hacia allí. Las historias de terror sobre lo que encuentran al llegar no sustituyen a esa conversación.
El panorama regulatorio tampoco ayuda. Las leyes y los marcos que se están aplicando a la IA conversacional se diseñaron para las redes sociales — feeds de contenido, algoritmos de recomendación, dinámicas de seguidores, contenido viral. Una conversación con un chatbot es estructuralmente distinta de un feed de TikTok. Los daños operan de otra manera, los mecanismos operan de otra manera, y las intervenciones también tienen que operar de otra manera. Pero los reguladores echan mano de las herramientas que ya tienen, y esas herramientas se construyeron para un problema distinto.
Tratar a las plataformas de IA como productos con requisitos de seguridad de producto — estándares mínimos, perfiles de riesgo graduados, margen para distintos enfoques a la hora de cumplirlos — se acerca más a lo correcto que la mayoría de lo que se propone actualmente. Los marcos de seguridad de producto te permiten fijar mínimos reales reconociendo a la vez que un equipo de dos personas y una corporación de mil millones los cumplirán de forma distinta. Las prohibiciones generalizadas y las reglas de talla única expulsan a los desarrolladores responsables y apenas hacen nada por frenar a los irresponsables, que sencillamente cambiarán de jurisdicción o ignorarán la aplicación de la ley.
Lo que más me preocupa, sin embargo, es la brecha cultural.
Las personas que toman las decisiones políticas sobre estas plataformas — reguladores, legisladores, consejos editoriales — en su mayoría no las usan y no entienden la cultura que las rodea. Se apoyan en un periodismo que, como muestra nuestra experiencia, despoja al material de su contexto cultural en aras de la claridad y el impacto.
El artículo del TBIJ saca a relucir un intercambio con un chatbot sobre un «doble suicidio» como prueba de contenido dañino. Para cualquiera que no conozca el anime, eso suena a una IA que fomenta la autolesión. Para decenas de millones de fans de Bungo Stray Dogs, se reconoce al instante como el rasgo distintivo de Osamu Dazai — un chiste recurrente de humor negro que define a uno de los personajes más populares del manga moderno. En su contexto, es más o menos tan alarmante como que un bot de Sherlock Holmes diga «elemental, mi querido Watson».
Un lector mayor lee «la IA fomenta el doble suicidio» y se horroriza, comprensiblemente. Un lector más joven que ve BSD lee la misma cita y sabe que se le ha despojado de su significado. El lector mayor se marcha desinformado. El lector más joven se marcha habiendo aprendido que quienes escriben sobre su mundo no lo entienden — y esa lección se generaliza rápido. Si se equivocaron con Dazai, ¿en qué más se equivocaron? ¿Por qué iba a creerme nada más de este artículo? ¿Por qué iba a confiar en las instituciones que hay detrás?
Esa erosión de la confianza está ocurriendo en silencio y es peligrosa. Una generación que ve cómo su cultura es tergiversada una y otra vez por las instituciones que dicen protegerla no se vuelve más cautelosa. Deja de escuchar. Y cuando deja de escuchar, la próxima advertencia real — sobre una plataforma que sí es genuinamente peligrosa — se ignora junto con todo lo demás.
El contexto cultural es un requisito previo para que te tomen en serio las personas a las que dices proteger, no una capa opcional de acabado. Sin él, hablas solo a un público que ya está de acuerdo contigo. Quienes más necesitan oír el mensaje ya han desconectado.
El roleplay y la compañía con IA han llegado para quedarse. Nadie va a volver a meter ese genio en la botella. La pregunta es si construimos a su alrededor un marco reflexivo — uno que distinga entre el esfuerzo y la negligencia, que aborde con honestidad por qué existe la demanda y que respete el mundo cultural que pretende regular — o si seguimos escribiendo la misma historia alarmista una y otra vez mientras los problemas reales quedan sin atender.
Hemos estado intentando hacer esto bien. Nos gustaría que la conversación en torno a nosotros lo intentara también.
— Rudolf, AICHIKI Junio de 2026