스펙트럼을 뭉개면, 그 동기를 죽이게 됩니다
AI 롤플레이의 현주소, 탐사 저널리즘, 그리고 이것을 잘못 다루는 일이 어째서 우리 모두가 지키려는 사람들을 해치는지에 대한 더 폭넓은 성찰.
배경 읽을거리:
- 우리의 조목조목 답변: We Were Interviewed for an Hour. Here's What Didn't Make the Article.
- 이 글을 촉발한 기사: Meet the Developers Cashing In on AI Intimacy — The Bureau of Investigative Journalism, 2026년 6월 7일
- 프랑스어판: « C'est effrayant de voir à quel point les gens font confiance » : ces développeurs de chatbots qui profitent de l'économie de l'intimité — Le Monde, 2026년 6월 7일
오늘 우리는 AI 컴패니언 및 롤플레이 플랫폼을 다룬 Bureau of Investigative Journalism의 기사에 대한 답변을 게재했습니다. 그 글은 구체적이었습니다. AICHIKI가 실제로 무엇을 만들었고 기사가 무엇을 빼놓았는지를 조목조목 다뤘습니다. 이 글은 더 큰 그림에 관한 것입니다. 그 기사의 문제는 우리만의 일에 그치지 않기 때문입니다.
기사의 더 큰 논지, 곧 소규모 AI 플랫폼들이 허술한 안전 장치를 달고 우후죽순 생겨나 외로운 사용자를 착취하고 있다는 주장은 부분적으로 사실입니다. 이 분야에는 정말로 모더레이션도, 연령 게이팅도 없고 그것을 만들 생각조차 없는 개발자들이 있습니다. 일부는 카메라 앞에서 그렇게 말하기도 했습니다. 그런 것은 보도하십시오. 부디.
문제는 조사가 하나의 스펙트럼을 발견해 놓고는 단일체로 보도했다는 점입니다. 아무런 안전 장치도 없는 플랫폼이 다층 모더레이션 인프라를 갖춘 플랫폼과 나란히 놓였고, 기사는 둘을 같은 이야기로 묶어 다뤘습니다. 차이를 보여 주는 증거는 모아 놓고도 깔끔한 서사를 복잡하게 만든다는 이유로 버려졌습니다.
어떤 인용을 싣고 그것을 어떻게 프레이밍할지 통제할 수만 있다면, 전부 사실인 인용만으로도 심각하게 오도하는 이야기를 지어낼 수 있습니다. 개별 인용 하나하나는 정확한데도, 그것들이 함께 그려 내는 전체 그림은 거짓일 수 있습니다. 기사를 거꾸로 쓸 때, 곧 결론에서 출발해 그것을 뒷받침하는 증거만 골라내고 반대 방향을 가리키는 것은 슬그머니 치워 버릴 때, 바로 그런 일이 벌어집니다.
과학에도 이런 방법론의 유명한 선례가 있습니다. 1950년대에 미국의 생리학자 Ancel Keys는 식이 지방이 심장병을 일으킨다는 것을 입증하려 했습니다. 그는 22개국에서 데이터를 모았습니다. 그런데 결과가 나오고 보니, 일부 국가는 그의 가설을 뒷받침하지 않았습니다. 그 나라 사람들은 지방을 많이 먹는데도 심장병 발병률이 낮았던 것입니다. 그러자 Keys는 그 국가들을 데이터셋에서 빼 버리고, 자신이 이미 믿고 있던 것을 확인해 주는 데이터만 추려 Seven Countries Study를 발표했습니다. 그 연구는 수십 년간 전 세계 영양 정책을 좌우했습니다. 각국 정부는 그것에 근거해 저지방 식단을 밀어붙였습니다. 영향력은 막대했습니다. 그러나 그 모든 것이 입맛대로 골라낸 증거 위에 세워진 것이었습니다. 실제 데이터를, 연구가 시작되기도 전에 이미 정해 둔 결론에 맞도록 선별해 제시한 것이지요.
TBIJ 기사도 똑같은 방법론을 따릅니다. 기자는 여러 플랫폼에서 정보를 모았습니다. 그중 일부는 개발자들이 세이프티에 진지한 엔지니어링 노력을 쏟고 있음을 보여 주었습니다. 그 정보는 한쪽으로 치워졌습니다. 남은 것은 깔끔하고 충격적인 이야기였습니다. 엄밀히는 실제 인용 위에 세워졌으되, 일을 복잡하게 만들 데이터는 덜어낸 채로 말입니다. Keys는 자기 논지에 맞지 않는 국가들을 보고 그것들을 연구에서 지웠습니다. 이 기사는 자기 논지에 맞지 않는 안전 아키텍처들을 보고 그것들을 이야기에서 지웠습니다.
스펙트럼을 뭉개는 일은 잘못 묘사된 개발자들에게만 영향을 미치는 게 아닙니다.
지금 이 분야의 개발자 앞에는 두 가지 선택지가 있습니다. 하나는 몇 달을 들여 신뢰 시스템, 콘텐츠 모더레이션, 학대 탐지, 이미지 세이프티 파이프라인을 구축하는 것입니다. 실제로 시간과 돈이 드는 진짜 엔지니어링 작업이지요. 다른 하나는 그 모든 것을 건너뛰고 API 키와 결제 페이지만 달린 맨몸의 플랫폼을 출시하는 것입니다.
책임 있는 개발자와 무책임한 개발자가 똑같은 언론 취급을, 곧 같은 기사, 같은 프레이밍, 같은 암묵적 비난을 받는다면, 이 분야에 새로 들어오는 모든 개발자에게 전해지는 메시지는 분명합니다. 세이프티 작업은 보상받지 못한다, 어차피 너도 똑같이 그려질 것이다. 그렇다면 어지간히 강한 양심을 지니지 않은 사람에게 합리적인 선택은, 그 투자를 통째로 건너뛰는 것입니다.
바로 그것이 이런 보도가 입히는 진짜 피해입니다. 모든 플랫폼을 똑같이 대하는 것은, 기사가 바란다고 주장하는 바로 그 행동의 동기를 도리어 적극적으로 꺾습니다. 전적으로 개별 개발자의 양심에만 기대는 동기 구조는 취약합니다. 마땅히 옳은 일에 보상이 돌아가야 하는데, 노력과 태만을 구별하지 못하는 보도는 정반대 방향으로 떠밉니다.
외로움이라는 물음이 이 모든 것 위에 드리워 있지만, 공론장에서 그것을 정직하게 마주하는 사람은 거의 없습니다.
젊은이들이 AI 컴패니언십과 롤플레이 플랫폼으로 향하는 이유는 삶의 무언가가 채워지지 않고 있기 때문입니다. 연결, 창의적 표현, 누군가 내 말을 들어 준다는 감각 같은 것들 말입니다. 그 수요는 실재하고, 또 뿌리가 깊습니다. 내일 당장 모든 AI 플랫폼을 금지한다 해도 그 필요는 사라지지 않습니다. 채워지지 못한 채 남거나, 감독이 훨씬 더 허술한 어두운 출구를 찾아갈 뿐입니다.
TBIJ 기사는 그 수요를 당연한 전제로 깔아 둔 채, 전적으로 공급 측에만, 곧 누가 이런 플랫폼을 만들며 그들이 얼마나 무책임한지에만 집중합니다. 그런 프레이밍은 정작 더 어려운 질문은 한 번도 건드리지 않으면서 대화가 생산적인 듯한 착각을 줍니다. 어째서 그토록 많은 사람들이, 특히 젊은 사람들이 애초에 AI에 손을 뻗는 걸까요? 사람들을 지키는 일에 진지하다면, 무엇이 그들을 그곳으로 떠미는지를 마주해야 합니다. 그들이 도착해서 무엇을 마주치는지에 대한 공포 이야기는 그 대화를 대신할 수 없습니다.
규제 지형 또한 사정을 거들지 못합니다. 대화형 AI에 들이대는 법과 틀은 소셜 미디어를 겨냥해 설계된 것입니다. 콘텐츠 피드, 추천 알고리즘, 팔로워 역학, 바이럴 공유 같은 것 말입니다. 챗봇 대화는 TikTok 피드와 구조부터 다릅니다. 해악이 작동하는 방식도, 메커니즘도 다르고, 따라서 개입 또한 다르게 작동해야 합니다. 그런데도 규제 당국은 이미 손에 쥔 도구로 손을 뻗고, 그 도구들은 애초에 다른 문제를 풀려고 만든 것입니다.
AI 플랫폼을 제품 안전 요건을 갖춘 하나의 제품으로 다루는 접근, 곧 기본 기준을 세우고, 위험 수준에 따라 프로파일을 차등화하며, 그것을 충족하는 방식에는 서로 다른 여지를 두는 접근이, 현재 제안되는 대부분의 안보다 정답에 더 가깝습니다. 제품 안전 틀은 실질적인 최저선을 정하게 해 주면서도, 두 사람짜리 팀과 10억 달러짜리 기업이 그 선을 서로 다른 방식으로 충족하리라는 점을 인정합니다. 전면 금지와 일률적 규칙은 책임 있는 개발자를 몰아내면서도, 그저 관할권을 옮기거나 단속을 무시해 버릴 무책임한 개발자를 막는 데는 거의 아무 효과가 없습니다.
하지만 제가 무엇보다 우려하는 것은 문화적 간극입니다.
이런 플랫폼에 대한 정책 결정을 내리는 사람들, 곧 규제 당국, 입법자, 편집위원회는 대체로 그 플랫폼을 직접 쓰지 않고 그 주변의 문화도 이해하지 못합니다. 그들은, 우리의 경험이 보여 주듯, 명료함과 파급력을 위해 문화적 맥락을 벗겨내는 보도에 의존하고 있습니다.
TBIJ 기사는 유해한 콘텐츠의 증거로 "동반 자살(double suicide)"에 관한 챗봇 대화를 끄집어냅니다. 애니메이션에 익숙하지 않은 사람에게는 그것이 AI가 자해를 부추기는 것처럼 들립니다. 그러나 Bungo Stray Dogs의 수천만 팬에게 그것은 오사무 다자이(Osamu Dazai)를 상징하는 캐릭터 특성으로 곧장 알아볼 수 있는 것입니다. 현대 만화에서 가장 인기 있는 캐릭터 중 하나를 규정하는 다크 코미디 개그 말입니다. 맥락 안에서 보면, 셜록 홈즈(Sherlock Holmes) 봇이 "기초적인 거지, 왓슨"이라고 말하는 것만큼이나 놀랄 일이 못 됩니다.
나이 든 독자는 "AI가 동반 자살을 부추긴다"를 보고 당연히 경악합니다. BSD를 보는 젊은 독자는 같은 인용을 보고 그 의미가 벗겨져 나갔음을 알아챕니다. 나이 든 독자는 잘못된 정보를 안고 돌아섭니다. 젊은 독자는 자기 세계를 다루는 사람들이 정작 그 세계를 이해하지 못한다는 사실을 깨달은 채 돌아섭니다. 그리고 그 깨달음은 순식간에 번져 나갑니다. 다자이를 틀렸다면, 또 뭘 틀렸을까? 이 기사의 나머지를 무슨 근거로 믿지? 그 뒤에 선 기관들은 또 왜 믿어야 하지?
그렇게 신뢰가 무너지는 일은 조용히 진행되고 있고, 또 위험합니다. 자신을 보호하겠다고 내세우는 기관들에 의해 자기 문화가 거듭 왜곡되는 것을 지켜보는 세대는 더 신중해지지 않습니다. 그저 귀를 닫아 버립니다. 그리고 그들이 귀를 닫고 나면, 다음번의 진짜 경고, 곧 정말로 위험한 플랫폼에 관한 경고마저 나머지 모든 것과 함께 묻혀 버립니다.
문화적 맥락은 당신이 보호한다고 말하는 사람들에게 진지하게 받아들여지기 위한 전제 조건이지, 있으면 좋은 겉치레가 아닙니다. 그것이 없다면, 당신은 이미 당신에게 동의하는 청중에게만 말하고 있는 셈입니다. 정작 그 메시지를 가장 들어야 할 사람들은 이미 귀를 닫은 뒤입니다.
AI 롤플레이와 컴패니언십은 이미 와 있습니다. 누구도 이미 엎질러진 물을 다시 주워 담을 수는 없습니다. 관건은 우리가 그 주위에 사려 깊은 틀을, 곧 노력과 태만을 구별하고, 그 수요가 왜 존재하는지 정직하게 마주하며, 규제하려는 문화 세계를 존중하는 틀을 세우느냐, 아니면 실제 문제는 손도 대지 못한 채 똑같은 선정적 이야기를 반복해서 써 내려가느냐입니다.
우리는 이 일을 제대로 해내려 애써 왔습니다. 우리를 둘러싼 대화도 그렇게 애써 주기를 바랍니다.
— Rudolf, AICHIKI 2026년 6월