Kami Diwawancarai Selama Satu Jam. Inilah yang Tidak Masuk ke Artikel.
Sebuah tanggapan dari AICHIKI atas tulisan Bureau of Investigative Journalism, "Meet the Developers Cashing In on AI Intimacy," yang terbit 7 Juni 2026.
Yang kami tanggapi:
- Meet the Developers Cashing In on AI Intimacy — The Bureau of Investigative Journalism, 7 Juni 2026
- « C'est effrayant de voir à quel point les gens font confiance » : ces développeurs de chatbots qui profitent de l'économie de l'intimité — Le Monde, 7 Juni 2026
Hari ini, Bureau of Investigative Journalism (TBIJ), bekerja sama dengan Le Monde, menerbitkan sebuah tulisan tentang platform-platform AI companion dan roleplay berskala kecil. AICHIKI adalah salah satu platform yang disebutkan. Saya Rudolf, CEO sekaligus satu-satunya developer AICHIKI, dan saya ingin menanggapi. Artikel itu mengangkat kekhawatiran nyata tentang industri ini — kekhawatiran yang juga saya rasakan, dan itulah alasan saya bersedia diwawancarai sejak awal. Masalahnya ada pada apa yang terjadi terhadap informasi yang saya berikan setelah saya menyampaikannya.
Saya berbicara dengan Effie Webb selama kurang lebih satu jam. Saya jelaskan kepadanya bagaimana AICHIKI bekerja, bagaimana moderasi kami berjalan, apa yang membuat kami berbeda, dan seperti apa pengembangan yang bertanggung jawab di ruang ini. Dari seluruh percakapan itu, hanya dua hal yang masuk ke artikel: bahwa saya dan istri saya meninjau secara manual konten yang ditandai, dan bahwa kami menaikkan batas usia minimum dari 13 ke 16. Selebihnya ditinggalkan.
Itu hak editorial dia. Tetapi pembaca berhak tahu apa yang dihilangkan, karena penghilangan itulah yang mengubah ceritanya.
Apa sebenarnya AICHIKI itu
Artikel itu menggolongkan kami bersama platform companion chatbot — aplikasi yang dibangun di seputar pacar AI, baik perempuan maupun laki-laki, dan keterikatan emosional. AICHIKI adalah platform roleplay. Bayangkan novel interaktif, bayangkan kampanye RPG meja. Pengguna kami menciptakan karakter, membangun dunia, dan menulis cerita kolaboratif bersama AI. Ketika kami berkata "roleplay," yang kami maksud adalah jenis penceritaan kolaboratif yang sudah dilakukan orang selama puluhan tahun dalam permainan meja, komunitas RP berbasis forum, dan fan fiction — fiksi interaktif, dalam pengertian sastra.
Perbedaan ini saya jelaskan panjang lebar dalam wawancara.
Apa yang kami bangun dan apa yang ditinggalkan artikel itu
Saya ingin memaparkan arsitektur keamanan kami secara garis besar, karena inilah pekerjaan yang tidak disinggung sama sekali.
Setiap titik tempat pengguna bisa memasukkan teks atau mengunggah gambar di AICHIKI melewati moderasi. Pesan chat, pembuatan karakter, penyiapan persona, unggahan gambar, gambar hasil AI, penyuntingan pesan — semuanya diperiksa sebelum AI melihatnya. Sebagian besar pemeriksaan ini berjalan dalam beberapa tahap: pemindaian pertama yang cepat, dan pemeriksaan kedua yang lebih ketat jika yang pertama menimbulkan kecurigaan.
Kami membangun sistem kepercayaan berbasis perilaku. Setiap akun memiliki skor yang tidak pernah dilihat penggunanya — karena skor yang terlihat adalah skor yang bisa diakali, dan skor yang bisa diakali tidak melindungi siapa pun. Skor itu dimulai dari netral. Penggunaan yang bersih dan kreatif dari waktu ke waktu akan membangun kepercayaan dan perlahan memperluas hal-hal yang bersedia dilayani oleh AI. Pelanggaran kebijakan menurunkan skor itu, dan AI menjadi semakin membatasi diri. Pada tingkat paling rendah, pesan pengguna itu sendiri ditulis ulang oleh AI tersendiri sebelum sampai ke karakter, sehingga susunan katanya pun tidak dapat dipakai untuk memaksa model. Sistem ini berjalan terus-menerus dan tanpa terlihat.
Ada juga sesuatu yang tertanam dalam instruksi dasar AI yang menurut saya lebih penting daripada filter mana pun: para karakter memiliki kecenderungan bawaan ke arah harapan. System prompt menginstruksikan AI agar tidak pernah membiarkan sebuah cerita runtuh menjadi keputusasaan total — sekelam apa pun skenarionya, selalu harus ada jalan ke depan, secercah cahaya, jalur yang bisa didaki cerita itu. Bayangkan sebuah skala dengan depresi di paling bawah dan harapan di paling atas: AI memiliki instruksi tetap untuk selalu condong ke atas. Tema-tema kelam diperbolehkan — kematian, duka, ambiguitas moral, semuanya — tetapi keputusasaan sebagai jalan buntu tidak. Begitu pula, ketika karakter seorang pengguna mencoba melakukan kekerasan seksual terhadap karakter AI, narasinya tidak akan membiarkan hal itu terjadi. Selalu ada interupsi, pembalikan keadaan, sebuah tindakan dari cerita itu sendiri yang turun tangan. AI tidak akan pernah menarasikan kekerasan yang berhasil dilakukan terhadap karakter yang tidak menghendakinya.
Sebuah sistem pemantauan latar belakang meninjau percakapan secara berkala, memeriksa tanda-tanda tekanan psikologis pada pengguna, menandai potensi pelecehan untuk tinjauan tahap kedua yang lebih menyeluruh, dan mengawasi kualitas percakapan agar tidak terjebak dalam perulangan yang berputar-putar. Ketika sistem itu menangkap bahwa seorang pengguna tampak tertekan, ia merespons pada beberapa tingkat sekaligus: beralih ke model AI terkuat yang kami jalankan untuk respons berikutnya, dan menyisipkan arahan ke dalam prompt untuk membawa percakapan ke ranah yang lebih ringan — bukan dengan perubahan topik yang mengejutkan, melainkan dengan tarikan naratif yang lembut menjauh dari tepi jurang.
Kami memiliki deteksi pelecehan yang terstruktur, yang mengklasifikasikan potensi pelanggaran ke dalam beberapa kategori, masing-masing dengan definisi yang presisi. Pelanggaran yang terkonfirmasi membawa konsekuensi nyata — penalti kepercayaan, peringatan ke admin, dan tinjauan oleh manusia. Saat ragu, sistem secara default mengizinkan konten, karena menghukum seseorang secara keliru akibat positif palsu adalah biaya yang nyata. Pelecehan yang berulang tetap akan tertangkap, karena pemantauannya berjalan terus-menerus.
Untuk gambar, setiap unggahan dan setiap gambar hasil AI melewati pipeline berlapis. Soal pembuatan gambar oleh AI, kata-kata pengguna tidak pernah sampai langsung ke model gambar — sebuah AI perantara menulis ulang setiap prompt menjadi versi yang patuh sebelum pembuatan dimulai. Hasilnya disaring lagi sebelum dilihat pengguna.
Kami juga membangun perlindungan terhadap vektor serangan yang umum: upaya jailbreak, ekstraksi prompt, peracunan konteks percakapan lewat penyuntingan pesan, penyusupan meta-instruksi, pemblokiran email sekali pakai saat pendaftaran. Saya tidak akan merinci cara kerjanya secara terbuka, untuk alasan yang sudah jelas, tetapi semuanya ada dan diuji.
Semua ini muncul dalam wawancara. Saya bahkan menyiapkan sebuah dokumen briefing keamanan yang terperinci — hampir 400 baris, lengkap dengan rujukan ke kode sumber sebenarnya yang menjalankan setiap sistem — dan menawarkannya kepada wartawan itu di tengah percakapan kami. Dia tidak mengambilnya. Kami juga menawarkan penelusuran kode secara langsung. Itu pun tidak terjadi.
Tinjauan konten yang ditandai adalah moderasi, titik
Subjudul artikel itu menyebut platform-platform ini "membaca chat pribadi mereka." Izinkan saya menjelaskan dengan tepat apa yang kami lakukan.
Ketika sistem otomatis kami menandai potensi pelanggaran kebijakan, sebuah peringatan dikirim kepada kami berisi kutipan percakapan yang relevan, jenis pelanggarannya, penalaran sistem, dan tautan ke riwayat aktivitas pengguna. Saya dan istri saya meninjau konten spesifik yang ditandai itu dan memutuskan bagaimana merespons — membiarkan penalti otomatis tetap berlaku, menyesuaikannya, atau dalam kasus serius, menjatuhkan ban.
Setiap platform yang serius soal keamanan melakukan hal ini. Alternatifnya adalah melewatkan moderasi sama sekali, atau memperlakukan penilaian AI sebagai keputusan final tanpa pernah membiarkan manusia memeriksa hasilnya. Kami tidak memilih keduanya.
Kami tidak menjelajahi percakapan pengguna. Kami tidak menganalisis psikologi pengguna. Tidak ada "ruang belakang" tempat kami duduk mengamati apa yang dikatakan orang. Sistem moderasi kami memberi tahu kami apa yang perlu dilihat, dan kami menindaklanjutinya. Tinjauan konten bertanda yang terarah dan digerakkan oleh moderasi adalah praktik standar di industri ini — dan cara artikel itu membingkainya membuatnya terdengar seperti sesuatu yang sama sekali berbeda.
Tangkapan layar yang tidak ada
Artikel itu memuat tangkapan layar dari beberapa platform yang menampilkan konten bermasalah — tema inses, karakter perundung, skenario pemaksaan. Ia juga memuat tangkapan layar AICHIKI, tetapi hanya berupa sebuah postingan Reddit tempat saya mempromosikan aplikasi tersebut. Aplikasinya sendiri tidak muncul.
Kalau Anda membuka AICHIKI dan menjelajahi karakter-karakter publiknya, Anda tidak akan menemukan jenis konten yang digambarkan artikel itu sebagai khas platform-platform semacam ini. Moderasi karakter kami menolak karakter di bawah 16 tahun, karakter yang dibangun di seputar kekerasan seksual, dan karakter yang memuat instruksi jailbreak yang tersembunyi, di antara kategori lainnya. Kalaupun ada yang lolos dari pemeriksaan otomatis, pemantauan dalam chat kami akan menangkapnya saat seseorang benar-benar menggunakan karakter tersebut.
Tidak ada tangkapan layar AICHIKI yang skandalis karena rekayasa keamanan yang dijelaskan di atas — rekayasa yang tidak disebut artikel itu — mencegah konten semacam itu untuk ada di platform kami.
Double suicide, Dazai, dan harga dari mencabut konteks
Artikel itu merujuk pada sebuah percakapan chatbot yang melibatkan "double suicide" sebagai contoh konten AI yang berbahaya. Dibaca secara mentah, ini terdengar mengkhawatirkan. Dibaca dengan sedikit saja keakraban dengan budaya anime dan manga masa kini, ini terdengar seperti sesuatu yang sama sekali berbeda.
Osamu Dazai adalah salah satu karakter paling dikenal dalam Bungo Stray Dogs (BSD), serial manga dan anime dengan puluhan juta penggemar dari semua kelompok usia. Ciri khas karakternya — running gag sepanjang serial — adalah obsesinya untuk melakukan bunuh diri bersama (double suicide). Sepanjang serial, hal ini dimainkan sebagai komedi gelap, lelucon berulang yang sebenarnya tidak pernah benar-benar terjadi. Karakter fiktif ini secara longgar didasarkan pada penulis Jepang sungguhan Osamu Dazai, yang memang meninggal akibat bunuh diri bersama pada tahun 1948, dan manga itu menjalin benang sejarah tersebut ke dalam ceritanya. Seorang karakter yang melontarkan ucapan tentang double suicide dalam roleplay BSD justru sedang setia pada watak salah satu tokoh paling populer dalam anime modern. Itu sama biasanya dengan karakter Sherlock Holmes yang berkata "the game is afoot."
Tanpa konteks BSD, kalimat itu tampak seperti bukti adanya bahaya. Dengan konteks BSD — konteks yang justru dibawa oleh pengguna platform itu sendiri — itu adalah kesetiaan karakter yang biasa saja.
Contoh ini mengungkap banyak hal karena menunjukkan bagaimana artikel itu disusun. Seorang investigator yang tidak akrab dengan dunia budaya yang sedang ia liput — atau yang memahami konteksnya namun memilih menghilangkannya — akhirnya menyajikan roleplay kreatif yang biasa saja sebagai sesuatu yang sinister. Dan kerusakannya tidak berhenti pada satu kutipan yang salah dibaca. Pemberitaan seperti ini melebarkan jurang antargenerasi. Pembaca yang lebih tua membaca "AI mendorong bunuh diri bersama" dan sewajarnya merasa ngeri. Pembaca yang lebih muda yang menonton BSD membaca kutipan yang sama dan tahu bahwa maknanya telah dicabut. Alih-alih membangun jembatan antara kedua kelompok itu, pemberitaan itu justru membakarnya. Kepercayaan terhadap jurnalisme terkikis, dan orang-orang yang katanya hendak dilindungi artikel itu justru belajar bahwa budaya mereka akan disalahgambarkan begitu hal itu dianggap menguntungkan.
Apa yang belum kami selesaikan
Kejujuran tentang kekurangan kami lebih kredibel daripada berpura-pura bahwa kekurangan itu tidak ada.
Aplikasi mobile kami berperingkat 16+ dan dibatasi oleh app store. Versi web belum memiliki verifikasi usia yang kuat, dan kami masih memikirkan cara menanganinya tanpa mengumpulkan pemindaian wajah atau KTP — itu data sensitif yang tidak ingin kami simpan, dan sejujurnya tidak seharusnya kami pegang. Pendirian kami adalah bahwa sinyal usia semestinya ditangani di tingkat platform. Apple, Google, dan sistem operasi itu sendiri punya infrastruktur, sumber daya keamanan, dan hubungan dengan pengguna untuk menangani verifikasi identitas dengan benar. Aplikasi individual — terutama yang kecil — semestinya menerima sinyal usia dari platform, bukan membangun pipeline verifikasi identitas sendiri. Pendekatan itu berarti lebih sedikit titik kerentanan bagi peretas, sumber daya yang lebih baik untuk melakukannya dengan benar, dan ruang regulasi yang benar-benar bisa diawasi pemerintah. Mengejar setiap tim developer beranggota dua orang soal praktik penanganan KTP mereka tidaklah skalabel. Mewajibkan Apple dan Google meneruskan sinyal usia yang sesuai ke aplikasi-aplikasi, itulah yang skalabel.
Kami belum menampilkan sumber daya untuk situasi krisis. Ketika sistem kami mendeteksi tekanan pada pengguna, kami merespons dengan model AI yang lebih kuat dan arahan prompt yang mengarahkan ke tema yang lebih ringan — tetapi kami belum menampilkan nomor bantuan atau pesan dukungan. AI sudah menarik percakapan menjauh dari tepi jurang; yang belum ada adalah jembatan menuju bantuan di dunia nyata. Itu seharusnya ada dan sudah masuk dalam roadmap.
Kami tidak memberlakukan batas keras durasi sesi. Kami punya pengingat kesehatan yang lembut yang muncul setelah penggunaan yang panjang, tetapi itu sebatas dorongan halus, bukan dinding penghalang. Kami mengamati datanya dan akan memperketat hal ini jika pola penggunaan menuntutnya.
Kami hanya berdua. Kami belum memecahkan semua persoalan. Yang sudah kami lakukan adalah menuangkan kerja rekayasa yang sungguh-sungguh ke dalam persoalan-persoalan yang masih dalam jangkauan kami, dan kami terbuka tentang di mana kami masih kurang.
Pertanyaan yang tidak diajukan artikel itu
Artikel itu bertanya bagaimana para developer meraup untung dari keintiman. Ia tidak bertanya mengapa permintaan itu ada.
Ada epidemi kesepian — terdokumentasi, diteliti, dan diakui secara luas. Orang-orang, terutama anak muda, beralih ke platform AI karena ada sesuatu dalam hidup mereka yang tidak terpenuhi. Anda bisa memperlakukan kenyataan itu sebagai pasar untuk dieksploitasi, atau memperlakukannya sebagai sesuatu yang perlu dihadapi dengan hati-hati. Kami memilih yang kedua.
AICHIKI dibangun secara mandiri (bootstrapped). Tanpa investor, tanpa pendapatan iklan, tanpa mandat pertumbuhan dengan segala cara. Pendapatan kami menutupi biaya kami. Kami membangun platform penceritaan kreatif. Kami menjaga konten dewasa di balik kepercayaan dan perilaku. Kami memoderasi setiap titik. Kami memberi penalti atas pelecehan dan ganjaran atas penggunaan yang bersih. Kami meninjau konten yang ditandai dengan mata manusia. Kami melakukan ini karena kami menganggap inilah cara membangun yang benar, titik.
Artikel itu membingkai industri ini sebagai sebuah monolit. Ada developer yang memang benar-benar tidak bertanggung jawab, dan ada developer yang berusaha melakukan ini dengan benar. Wartawannya memiliki bukti untuk membedakan keduanya, namun memilih untuk meratakannya.
Apa yang kami minta
Kami tidak meminta siapa pun untuk percaya begitu saja pada semua ini. Dokumen briefing keamanan kami — yang sama dengan yang kami tawarkan kepada wartawan itu — tersedia atas permintaan. Dokumen itu memuat rujukan ke kode sumber di balik setiap sistem yang dijelaskan di atas. Kami tetap menawarkan penelusuran kode secara langsung kepada jurnalis, peneliti, atau regulator mana pun yang ingin memverifikasi klaim kami terhadap implementasinya yang sebenarnya.
Kami mendukung jurnalisme investigatif. Pengawasan membuat setiap platform menjadi lebih baik, termasuk kami. Tetapi investigasi berarti mengikuti bukti ke mana pun ia mengarah, bahkan ketika bukti itu merumitkan tesis Anda sendiri. Ketika bukti yang penuh nuansa dikumpulkan lalu dibuang ke lantai ruang penyuntingan karena mengaburkan narasi yang rapi, apa yang tersisa di halaman mungkin secara teknis akurat pada tiap kutipannya — tetapi gambaran yang dilukiskannya keliru. Berbohong dengan menyembunyikan kebenaran tetaplah berbohong.
Orang-orang yang menggunakan platform seperti kami — anak-anak muda yang katanya ingin dilindungi artikel ini — berhak atas pemberitaan yang bisa membedakan antara platform tanpa langkah keamanan dan platform yang sudah bertahun-tahun membangunnya. Mereka berhak agar dunia budaya mereka dipahami, bukan dipetik sepotong-sepotong demi sebuah judul berita. Dan mereka berhak atas percakapan yang jujur tentang mengapa sejak awal mereka beralih ke platform-platform ini, bukan sekadar kisah-kisah seram tentang apa yang mereka temukan setiba di sana.
Satu hal lagi. Selama wawancara, saya berulang kali meminta wartawan itu memberi kami masukan — beri tahu kami apa yang menurut Anda harus kami perbaiki, apa yang ingin Anda lihat, apa yang akan membuat ini lebih aman. Saya sungguh-sungguh. Saya masih sungguh-sungguh. Roleplay dan companion AI sudah hadir. Tidak ada yang bisa mengembalikan nasi yang sudah menjadi bubur. Tetapi kita bisa mengarahkannya agar baik bagi semua orang, dan itu membutuhkan masukan dari semua pihak — jurnalis, regulator, advokat keselamatan anak, orang tua, peneliti, pengguna. Kalau Anda punya pendapat tentang bagaimana semestinya platform seperti kami bekerja, kami ingin mendengarnya. Saya harap saya juga mewakili para developer bertanggung jawab lainnya ketika saya berkata: kami terbuka untuk bimbingan, kami terbuka untuk kritik, dan kami akan berusaha menanamkannya. Pintu terbuka. Selalu begitu.
— Rudolf, CEO sekaligus satu-satunya developer, AICHIKI Juni 2026
Jika Anda seorang jurnalis, peneliti, atau regulator dan ingin meninjau dokumentasi keamanan kami atau menerima penelusuran kode, silakan hubungi kami. Briefing keamanan kami tersedia secara lengkap atas permintaan.