한 시간 동안 인터뷰했습니다. 기사에 실리지 않은 이야기를 들려드립니다.
Bureau of Investigative Journalism이 2026년 6월 7일 게재한 "Meet the Developers Cashing In on AI Intimacy"에 대한 AICHIKI의 답변입니다.
무엇에 대한 답변인가:
- Meet the Developers Cashing In on AI Intimacy — The Bureau of Investigative Journalism, 2026년 6월 7일
- « C'est effrayant de voir à quel point les gens font confiance » : ces développeurs de chatbots qui profitent de l'économie de l'intimité — Le Monde, 2026년 6월 7일
오늘 Bureau of Investigative Journalism(TBIJ)이 Le Monde와 함께 소규모 AI 컴패니언 및 롤플레이 플랫폼을 다룬 기사를 게재했습니다. AICHIKI도 그 기사에 언급된 플랫폼 중 하나였습니다. 저는 AICHIKI의 CEO이자 단독 개발자인 Rudolf이며, 이에 답하고자 합니다. 이 기사는 이 산업에 대한 실질적인 우려를 제기합니다. 저 역시 공감하는 우려이고, 그래서 애초에 인터뷰에 응했던 것입니다. 문제는 제가 건넨 정보가 그 뒤에 어떻게 다뤄졌는가입니다.
저는 Effie Webb과 약 한 시간 동안 이야기를 나눴습니다. AICHIKI가 어떻게 작동하는지, 우리의 모더레이션이 어떻게 돌아가는지, 무엇이 우리를 다르게 만드는지, 이 분야에서 책임 있는 개발이란 어떤 모습인지를 하나하나 설명했습니다. 그 대화에서 기사에 실린 것은 두 가지였습니다. 아내와 제가 플래그된 콘텐츠를 직접 검토한다는 것, 그리고 최소 연령을 13세에서 16세로 올렸다는 것. 나머지는 모두 빠졌습니다.
그것은 기자의 편집 권한입니다. 하지만 무엇이 빠졌는지는 독자가 알아야 합니다. 그 누락이 이야기 자체를 바꿔 놓기 때문입니다.
AICHIKI는 실제로 무엇인가
기사는 우리를 컴패니언 챗봇 플랫폼, 즉 AI 여자친구, 남자친구, 정서적 애착을 중심으로 만들어진 앱들과 한데 묶습니다. AICHIKI는 롤플레이 플랫폼입니다. 인터랙티브 소설을, 테이블탑 RPG 캠페인을 떠올려 보십시오. 우리 사용자들은 캐릭터를 만들고, 세계관을 빚고, AI와 함께 이야기를 써 나갑니다. 우리가 "롤플레이"라고 할 때 그것은 사람들이 수십 년간 테이블탑 게임, 포럼 기반 RP 커뮤니티, 팬픽션에서 해 온 협력적 스토리텔링, 곧 문학적 의미에서의 인터랙티브 픽션을 뜻합니다.
저는 인터뷰에서 이 구분을 길게 설명했습니다.
우리가 만든 것, 그리고 기사가 빼놓은 것
우리의 세이프티 아키텍처를 큰 틀에서 설명하고자 합니다. 바로 이것이 기사에서 언급되지 않은 작업이기 때문입니다.
AICHIKI에서 사용자가 텍스트를 입력하거나 이미지를 올릴 수 있는 모든 지점은 모더레이션을 거칩니다. 채팅 메시지, 캐릭터 생성, 페르소나 설정, 이미지 업로드, AI 생성 이미지, 메시지 편집까지, 이 모든 것이 AI가 보기 전에 검사됩니다. 이러한 검사는 대부분 여러 단계로 이뤄집니다. 빠른 1차 스캔을 거치고, 거기서 우려가 잡히면 더 엄격한 2차 검사가 뒤따릅니다.
우리는 행동 기반 신뢰 시스템을 만들었습니다. 모든 계정에는 사용자가 결코 볼 수 없는 점수가 부여됩니다. 눈에 보이는 점수는 곧 조작할 수 있는 점수이고, 조작할 수 있는 점수는 아무도 지켜 주지 못하기 때문입니다. 점수는 중립에서 출발합니다. 시간이 흐르며 건전하고 창의적인 사용이 신뢰를 쌓아 올리면, AI가 응해 주는 범위도 점차 넓어집니다. 정책 위반은 점수를 깎고, 그럴수록 AI는 점점 더 제한적으로 반응합니다. 가장 낮은 단계에서는 사용자 본인의 메시지조차 캐릭터에게 닿기 전에 별도의 AI가 고쳐 씁니다. 그래서 표현을 어떻게 비틀어도 모델을 강제할 수 없습니다. 이 시스템은 쉬지 않고, 조용히 돌아갑니다.
또한 어떤 개별 필터보다 더 중요하다고 생각하는 무언가가 AI의 기본 지시문에 새겨져 있습니다. 바로 캐릭터들이 희망 쪽으로 기울도록 설계되어 있다는 점입니다. 시스템 프롬프트는 AI에게 이야기가 완전한 절망으로 주저앉도록 결코 두지 말라고 지시합니다. 시나리오가 아무리 어둡더라도 앞으로 나아갈 길, 한 줄기 빛, 이야기가 딛고 올라설 경로가 반드시 있어야 합니다. 맨 아래의 우울에서 맨 위의 희망까지 이어지는 눈금자를 떠올려 본다면, AI에게는 늘 위쪽으로 향하라는 지시가 걸려 있는 셈입니다. 어두운 주제는 허용됩니다. 죽음, 상실, 도덕적 모호함, 그 모든 것이 가능합니다. 다만 막다른 길로서의 절망만은 허용되지 않습니다. 마찬가지로 사용자의 캐릭터가 AI 캐릭터를 성폭행하려 들면, 서사는 그 일이 일어나도록 두지 않습니다. 누군가 끼어들거나, 상황이 뒤집히거나, 이야기 자체가 개입합니다. AI는 동의하지 않는 캐릭터를 상대로 폭행이 성공하는 장면을 결코 서술하지 않습니다.
백그라운드 모니터링 시스템은 일정한 간격으로 대화를 검토하면서 사용자의 고통 징후를 살피고, 학대 가능성이 있는 대화는 더 철저한 2차 검토로 넘기도록 플래그하며, 반복적인 루프를 막기 위해 대화의 질을 지켜봅니다. 사용자가 괴로워하는 듯 보이면 시스템은 여러 층위에서 대응합니다. 다음 응답에는 우리가 운영하는 가장 강력한 AI 모델로 전환하고, 프롬프트에 지침을 더해 대화를 한결 가벼운 쪽으로 이끕니다. 갑작스러운 주제 전환이 아니라, 벼랑 끝에서 부드럽게 멀어지도록 이야기를 당겨 주는 것입니다.
우리는 잠재적 위반을 여러 범주로 분류하는 구조화된 학대 탐지 체계를 갖추고 있으며, 각 범주에는 정밀한 정의가 붙어 있습니다. 확인된 위반에는 실질적인 결과가 따릅니다. 신뢰도 페널티, 관리자 알림, 사람의 검토가 그것입니다. 판단이 불확실할 때 시스템은 콘텐츠를 허용하는 쪽을 기본값으로 둡니다. 오탐(false positive)으로 누군가를 부당하게 처벌하는 것 역시 분명한 비용이기 때문입니다. 그래도 지속적인 학대는 결국 걸립니다. 모니터링이 쉬지 않고 돌아가기 때문입니다.
이미지의 경우, 모든 업로드와 모든 AI 생성 이미지가 다단계 파이프라인을 거칩니다. AI 이미지 생성에서는 사용자의 말이 이미지 모델에 직접 닿는 일이 결코 없습니다. 중간 단계의 AI가 생성이 시작되기 전에 모든 프롬프트를 규정에 맞는 버전으로 고쳐 씁니다. 결과물은 사용자가 보기 전에 한 번 더 걸러집니다.
흔히 쓰이는 공격 경로에 대한 보호 장치도 마련했습니다. 탈옥(jailbreak) 시도, 프롬프트 추출, 메시지 편집을 통한 대화 맥락 오염, 메타 지시문 주입, 가입 시 일회용 이메일 차단이 그렇습니다. 자명한 이유로 이것들이 어떻게 작동하는지를 공개적으로 자세히 밝히지는 않겠지만, 분명히 존재하고 또 검증되어 있습니다.
이 모든 것이 인터뷰에서 다뤄졌습니다. 저는 상세한 세이프티 브리핑 문서도 준비했습니다. 거의 400줄에 달하고, 각 시스템을 구현한 실제 소스 코드에 대한 참조까지 담겨 있습니다. 대화 도중 그 문서를 기자에게 건네겠다고 제안했지만, 받지 않았습니다. 라이브 코드 워크스루도 제안했지만, 그 역시 이뤄지지 않았습니다.
플래그된 콘텐츠 검토는 모더레이션입니다, 그 이상도 이하도 아닙니다
기사의 부제는 이런 플랫폼들이 "사용자의 사적인 대화를 읽고 있다"고 말합니다. 우리가 실제로 무엇을 하는지 정확히 말씀드리겠습니다.
우리의 자동 시스템이 잠재적 정책 위반을 플래그하면, 관련 대화 발췌, 위반 유형, 시스템의 판단 근거, 사용자의 활동 이력 링크가 담긴 알림이 우리에게 전송됩니다. 아내와 저는 플래그된 바로 그 콘텐츠를 검토하고 어떻게 대응할지 정합니다. 자동 페널티를 그대로 두거나, 수위를 조정하거나, 심각한 경우 벤(ban)을 내립니다.
세이프티를 진지하게 여기는 플랫폼이라면 어디나 이렇게 합니다. 그러지 않으려면 모더레이션을 아예 건너뛰거나, AI의 판단을 최종 결정으로 받아들이고 사람이 결과를 결코 확인하지 않아야 합니다. 우리는 둘 다 택하지 않았습니다.
우리는 사용자 대화를 들여다보지 않습니다. 사용자의 심리를 분석하지도 않습니다. 우리가 앉아서 사람들이 무슨 말을 하는지 지켜보는 "뒷방" 같은 것은 없습니다. 모더레이션 시스템이 무엇을 봐야 하는지 알려 주면, 우리는 그에 따라 움직일 뿐입니다. 플래그된 콘텐츠를 표적 삼아 모더레이션이 주도하는 검토는 이 업계의 표준 관행입니다. 그런데 기사의 프레이밍은 이것을 전혀 다른 무언가처럼 들리게 만듭니다.
거기 없었던 스크린샷
기사에는 문제가 될 만한 콘텐츠를 보여 주는 여러 플랫폼의 스크린샷이 실려 있습니다. 근친 주제, 괴롭히는 캐릭터, 강요 시나리오 같은 것들입니다. AICHIKI의 스크린샷도 있긴 하지만, 그것은 제가 앱을 홍보한 Reddit 게시물 하나뿐입니다. 정작 앱 자체는 등장하지 않습니다.
AICHIKI를 열어 공개 캐릭터들을 둘러보면, 기사가 이런 플랫폼의 전형이라고 묘사하는 종류의 콘텐츠는 찾을 수 없습니다. 우리의 캐릭터 모더레이션은 16세 미만 캐릭터, 성폭행을 중심으로 설계된 캐릭터, 탈옥(jailbreak) 지시문이 심어진 캐릭터 등을 걸러냅니다. 설령 무언가가 자동 검사를 빠져나가더라도, 누군가 실제로 그 캐릭터를 사용하는 순간 인챗 모니터링이 잡아냅니다.
스캔들이 될 만한 AICHIKI 스크린샷이 없는 이유는, 위에서 설명한 세이프티 엔지니어링, 곧 기사가 언급하지 않은 바로 그 엔지니어링이 애초에 그런 콘텐츠가 우리 플랫폼에 존재할 수 없도록 막기 때문입니다.
동반 자살, 다자이, 그리고 맥락을 벗겨낸 대가
기사는 유해한 AI 콘텐츠의 사례로 "동반 자살(double suicide)"이 등장하는 챗봇 대화를 인용합니다. 아무런 맥락 없이 읽으면 섬뜩하게 들립니다. 하지만 요즘의 애니메이션·만화 문화에 조금이라도 익숙한 사람이 읽으면, 전혀 다르게 들립니다.
오사무 다자이(Osamu Dazai)는 Bungo Stray Dogs(BSD)에서 가장 널리 알려진 캐릭터 중 하나입니다. 이 작품은 전 연령층에 걸쳐 수천만 명의 팬을 거느린 만화·애니메이션 시리즈입니다. 그를 규정하는 특징이자 시리즈 전체를 관통하는 개그가 바로 동반 자살에 대한 집착입니다. 작품 내내 다크 코미디로 다뤄지고, 실제로는 한 번도 실행되는 법이 없는 반복 개그입니다. 이 가상의 캐릭터는 1948년 실제로 동반 자살로 생을 마감한 일본 작가 오사무 다자이를 느슨하게 모델로 삼았고, 만화는 그 역사적 사실을 이야기 속에 엮어 넣습니다. 그러니 BSD 롤플레이에서 캐릭터가 동반 자살을 입에 올리는 것은, 현대 애니메이션에서 가장 인기 있는 인물 중 하나의 성격에 충실한 것일 뿐입니다. 셜록 홈즈(Sherlock Holmes) 캐릭터가 "게임은 시작됐어"라고 말하는 것만큼이나 별스러울 것 없는 일입니다.
BSD라는 맥락이 없으면 그 대사는 위험의 증거처럼 보입니다. BSD라는 맥락과 함께 보면, 곧 그 플랫폼의 실제 사용자들이 지닌 맥락 안에서 보면, 그것은 그저 평범한 캐릭터 재현일 뿐입니다.
이 사례는 기사가 어떻게 만들어졌는지를 드러낸다는 점에서 의미심장합니다. 자신이 취재하는 문화 세계에 익숙하지 않은 취재자, 혹은 그 맥락을 알면서도 생략하기로 택한 취재자는, 평범한 창작 롤플레이를 불길한 무언가로 둔갑시키고 맙니다. 그리고 그 피해는 잘못 읽힌 인용 하나에 그치지 않습니다. 이런 보도는 세대 간의 간극을 넓힙니다. 나이 든 독자는 "AI가 동반 자살을 부추긴다"를 보고 당연히 경악합니다. BSD를 보는 젊은 독자는 같은 인용을 보고 그 의미가 통째로 벗겨졌음을 알아챕니다. 두 독자층 사이에 다리를 놓기는커녕, 이런 보도는 있던 다리마저 불태웁니다. 저널리즘에 대한 신뢰가 무너지고, 기사가 보호하겠다고 내세운 바로 그 사람들은 자신들의 문화가 편할 때면 언제든 왜곡된다는 사실을 배우게 됩니다.
우리가 아직 풀지 못한 것
우리의 빈틈을 솔직히 인정하는 편이, 그런 빈틈이 없는 척하는 것보다 더 믿을 만합니다.
우리의 모바일 앱은 16세 이상 등급이며 앱 스토어 차원에서 게이팅됩니다. 반면 웹 버전에는 탄탄한 연령 인증이 없고, 우리는 얼굴 스캔이나 정부 발급 신분증을 수집하지 않으면서 이 문제를 어떻게 풀지를 여전히 고민하고 있습니다. 그런 것들은 우리가 보유하고 싶지 않은, 솔직히 보유할 이유도 없어야 할 민감한 데이터입니다. 우리의 입장은 연령 확인이 플랫폼 층위에서 이뤄져야 한다는 것입니다. Apple, Google, 그리고 운영체제 자체야말로 신원 인증을 제대로 처리할 인프라와 보안 자원, 그리고 사용자와의 관계를 갖추고 있습니다. 개별 앱은, 특히 작은 앱일수록, 자체 신원 인증 파이프라인을 구축할 게 아니라 플랫폼에서 연령 신호를 건네받아야 합니다. 그렇게 하면 해커가 노릴 취약점이 줄고, 제대로 해내는 데 더 나은 자원이 투입되며, 정부가 실제로 감독할 수 있는 규제 지점이 생깁니다. 두 명짜리 개발팀 하나하나를 ID 처리 관행으로 쫓아다니는 방식은 확장될 수 없습니다. Apple과 Google에게 연령에 맞는 신호를 앱에 전달하도록 요구하는 방식은 확장될 수 있습니다.
우리는 아직 위기 지원 정보를 화면에 띄우지 못하고 있습니다. 시스템이 사용자의 고통을 감지하면 더 강력한 AI 모델과 더 가벼운 주제로 이끄는 프롬프트 지침으로 대응하지만, 상담 전화번호나 지원 안내 메시지를 보여 주지는 않습니다. AI는 이미 대화를 벼랑 끝에서 끌어냅니다. 빠진 것은 현실의 도움으로 이어 주는 다리입니다. 그것은 마땅히 있어야 하고, 로드맵에도 올라 있습니다.
우리는 엄격한 세션 길이 제한을 두지 않습니다. 오래 사용하면 부드러운 웰니스 알림이 뜨지만, 그것은 가볍게 권하는 넛지(nudge)일 뿐 가로막는 벽은 아닙니다. 우리는 데이터를 지켜보고 있으며, 사용 패턴이 그것을 요구한다면 더 조일 것입니다.
우리는 단둘입니다. 모든 것을 다 풀어낸 것은 아닙니다. 다만 우리가 손댈 수 있는 문제에는 진짜 엔지니어링을 쏟아부었고, 여전히 부족한 지점에 대해서는 솔직하게 말합니다.
기사가 묻지 않는 질문
기사는 개발자들이 어떻게 친밀함으로 돈을 벌고 있는지를 묻습니다. 정작 그 수요가 왜 존재하는지는 묻지 않습니다.
외로움이라는 전염병이 있습니다. 기록되고, 연구되고, 널리 인정된 현상입니다. 사람들이, 특히 젊은 사람들이 AI 플랫폼으로 향하는 이유는 삶의 무언가가 채워지지 않고 있기 때문입니다. 이것을 착취할 시장으로 대할 수도 있고, 조심스럽게 마주할 대상으로 대할 수도 있습니다. 우리는 후자를 택했습니다.
AICHIKI는 부트스트랩으로 운영됩니다. 투자자도, 광고 수익도, 무슨 수를 써서라도 성장하라는 압박도 없습니다. 우리의 수익은 우리의 비용을 감당하는 선에 있습니다. 우리는 창의적인 스토리텔링 플랫폼을 만들었습니다. 성인 콘텐츠는 신뢰와 행동 뒤에 게이팅합니다. 모든 지점을 모더레이션합니다. 학대는 처벌하고 건전한 사용에는 보상합니다. 플래그된 콘텐츠는 사람의 눈으로 검토합니다. 우리가 이렇게 하는 이유는, 이것이 옳은 개발 방식이라고 믿기 때문입니다. 그 이상도 이하도 아닙니다.
기사는 이 산업을 하나의 단일체로 프레이밍합니다. 정말로 무책임한 개발자가 있는가 하면, 이 일을 제대로 해내려는 개발자도 있습니다. 기자는 그 차이를 보여 줄 증거를 손에 쥐고 있었으면서도, 그것을 뭉개기로 택했습니다.
우리가 요청하는 것
우리는 이 모든 것을 그저 우리 말만 믿고 받아들여 달라고 청하는 것이 아닙니다. 기자에게 건네겠다고 제안했던 바로 그 세이프티 브리핑 문서는, 요청하시면 제공합니다. 거기에는 위에서 설명한 모든 시스템을 떠받치는 소스 코드에 대한 참조가 담겨 있습니다. 우리는 우리의 주장을 실제 구현과 대조해 검증하려는 모든 기자, 연구자, 규제 당국에게 지금도 라이브 코드 워크스루를 제안합니다.
우리는 탐사 저널리즘을 지지합니다. 검증은 우리 것을 포함해 모든 플랫폼을 더 낫게 만드니까요. 하지만 조사란 증거가 이끄는 곳이라면 어디든 따라가는 일입니다. 그 증거가 자기 논지를 복잡하게 만드는 순간에도 말입니다. 뉘앙스를 보여 주는 증거를 모아 놓고도 깔끔한 서사를 흐린다는 이유로 잘라낸다면, 지면에 남는 것은 개별 인용만 떼어 보면 엄밀히 정확할지 몰라도, 그것이 그려 내는 전체 그림은 거짓입니다. 빠뜨려서 하는 거짓말도 거짓말입니다.
우리 같은 플랫폼을 쓰는 사람들, 곧 이 기사가 보호하고 싶다고 말하는 젊은이들은, 아무런 안전 장치도 없는 플랫폼과 수년에 걸쳐 그것을 쌓아 온 플랫폼을 구별할 줄 아는 보도를 받을 자격이 있습니다. 그들은 자신들의 문화 세계가 헤드라인을 위해 입맛대로 골라내어지는 대신 제대로 이해받을 자격이 있습니다. 그리고 그들은, 도착해서 무엇을 마주치는지에 대한 공포 이야기만이 아니라, 애초에 왜 그곳으로 향하는지에 대한 정직한 대화를 나눌 자격이 있습니다.
한 가지 더 있습니다. 인터뷰 내내 저는 기자에게 거듭 피드백을 청했습니다. 우리가 무엇을 더 잘해야 한다고 보는지, 무엇을 더 보고 싶은지, 무엇이 이것을 더 안전하게 만들지를 말해 달라고요. 진심이었습니다. 지금도 진심입니다. AI 롤플레이와 컴패니언십은 이미 와 있습니다. 누구도 이미 엎질러진 물을 다시 주워 담을 수는 없습니다. 다만 우리는 그것이 모두에게 이로운 것이 되도록 길들일 수 있고, 그러려면 모든 쪽의 목소리가 필요합니다. 기자, 규제 당국, 아동 안전 옹호자, 부모, 연구자, 사용자 말입니다. 우리 같은 플랫폼이 어떻게 작동해야 한다고 생각하신다면, 우리는 그 의견을 듣고 싶습니다. 다른 책임 있는 개발자들을 대신해서도 말할 수 있기를 바라며 이렇게 말합니다. 우리는 조언에 열려 있고, 비판에 열려 있으며, 그것을 반영해 만들어 가려 애쓸 것입니다. 문은 열려 있습니다. 언제나 그래 왔습니다.
— Rudolf, AICHIKI CEO 겸 단독 개발자 2026년 6월
기자, 연구자, 또는 규제 당국으로서 우리의 세이프티 문서를 검토하거나 코드 워크스루를 받고 싶으시다면, 저희에게 연락해 주십시오. 우리의 세이프티 브리핑은 요청 시 전문을 제공해 드립니다.