Ketika Kamu Meratakan Spektrum, Kamu Mematikan Insentifnya
Sebuah perenungan yang lebih luas tentang kondisi roleplay AI, jurnalisme investigatif, dan mengapa kekeliruan dalam hal ini merugikan orang-orang yang sama-sama ingin kita lindungi.
Bacaan latar belakang:
- Tanggapan kami poin demi poin: Kami Diwawancarai Selama Satu Jam. Inilah yang Tidak Masuk ke Artikel.
- Artikel yang memicunya: Meet the Developers Cashing In on AI Intimacy — The Bureau of Investigative Journalism, 7 Juni 2026
- Edisi Prancis: « C'est effrayant de voir à quel point les gens font confiance » : ces développeurs de chatbots qui profitent de l'économie de l'intimité — Le Monde, 7 Juni 2026
Hari ini kami menerbitkan sebuah tanggapan atas artikel Bureau of Investigative Journalism tentang platform AI companion dan roleplay. Tulisan itu bersifat spesifik — ia merinci apa yang sebenarnya dibangun AICHIKI dan apa yang ditinggalkan artikel itu. Tulisan ini tentang gambaran yang lebih besar, karena masalah pada artikel itu jauh melampaui kami.
Tesis yang lebih luas dari artikel itu — bahwa platform-platform AI kecil bermunculan dengan langkah keamanan yang lemah dan mengeksploitasi pengguna yang kesepian — sebagian benar. Ada developer di ruang ini yang sungguh-sungguh tidak punya moderasi, tidak punya pembatas usia, dan tidak berniat membangunnya. Sebagian mengakuinya sendiri di depan kamera. Beritakan itu. Tolong.
Masalahnya, investigasi itu menemukan sebuah spektrum dan menerbitkan sebuah monolit. Platform tanpa langkah keamanan apa pun ditaruh bersebelahan dengan platform yang punya infrastruktur moderasi berlapis, dan artikel itu memperlakukan keduanya sebagai cerita yang sama. Bukti perbedaan dikumpulkan lalu dibuang karena merumitkan narasi yang rapi.
Anda bisa membangun cerita yang sangat menyesatkan sepenuhnya dari kutipan-kutipan yang benar, asalkan Anda mengendalikan kutipan mana yang muncul dan bagaimana ia dibingkai. Setiap kutipan secara tersendiri bisa akurat, sementara gambaran keseluruhan yang mereka lukiskan keliru. Dan itulah yang terjadi ketika sebuah artikel ditulis secara terbalik — mulai dari kesimpulan, lalu pilih bukti yang mengilustrasikannya, lalu diam-diam menyingkirkan apa pun yang mengarah ke sebaliknya.
Ada preseden terkenal untuk metodologi semacam ini dalam sains. Pada tahun 1950-an, fisiolog Amerika Ancel Keys berupaya membuktikan bahwa lemak makanan menyebabkan penyakit jantung. Ia mengumpulkan data dari 22 negara. Ketika hasilnya keluar, sebagian negara tidak mendukung hipotesisnya — penduduknya banyak mengonsumsi lemak namun memiliki angka penyakit jantung yang rendah. Maka Keys mengeluarkan negara-negara itu dari kumpulan datanya dan menerbitkan Seven Countries Study miliknya hanya dengan data yang menguatkan apa yang sudah ia yakini. Studi itu membentuk kebijakan gizi global selama puluhan tahun. Berbagai pemerintah mendorong diet rendah lemak berdasarkan studi tersebut. Pengaruhnya luar biasa besar. Dan keseluruhannya dibangun di atas bukti yang dipetik sepotong-sepotong — data nyata, yang disajikan secara selektif untuk mendukung kesimpulan yang sudah ada bahkan sebelum penelitian dimulai.
Artikel TBIJ mengikuti metodologi yang sama. Wartawannya mengumpulkan informasi dari beberapa platform. Sebagian informasi itu menunjukkan developer yang mencurahkan upaya rekayasa yang serius ke dalam keamanan. Informasi itu disisihkan. Yang tersisa menceritakan kisah yang rapi dan mengkhawatirkan — secara teknis dibangun dari kutipan-kutipan nyata, dikurangi titik-titik data yang akan merumitkan keadaan. Keys menyingkirkan negara-negara yang tidak cocok dengan tesisnya dari studi. Artikel ini menyingkirkan arsitektur keamanan yang tidak cocok dengan tesisnya dari cerita.
Meratakan spektrum membawa konsekuensi yang melampaui para developer yang disalahgambarkan.
Seorang developer di ruang ini saat ini memiliki dua pilihan. Menghabiskan berbulan-bulan membangun sistem kepercayaan, moderasi konten, deteksi pelecehan, pipeline keamanan gambar — kerja rekayasa nyata yang menghabiskan waktu dan uang yang nyata. Atau melewatkan semua itu dan meluncurkan platform telanjang yang hanya berbekal kunci API dan halaman pembayaran.
Jika developer yang bertanggung jawab dan yang tidak bertanggung jawab menerima perlakuan pers yang sama — artikel yang sama, pembingkaian yang sama, tuduhan tersirat yang sama — pesannya kepada setiap developer baru yang memasuki ruang ini sudah jelas: kerja keamanan tidak ada imbalannya. Anda akan digambarkan dengan cara yang sama, apa pun yang Anda lakukan. Langkah rasionalnya, bagi siapa pun tanpa hati nurani pribadi yang kuat, adalah melewatkan investasi itu sama sekali.
Dan itulah kerusakan yang sebenarnya ditimbulkan oleh pemberitaan seperti ini. Memperlakukan setiap platform secara sama justru secara aktif menghilangkan insentif bagi perilaku yang katanya diinginkan artikel itu. Struktur insentif yang sepenuhnya bergantung pada hati nurani masing-masing developer adalah struktur yang rapuh. Semestinya struktur itu memberi ganjaran atas tindakan yang benar, tetapi pemberitaan yang tidak bisa membedakan antara upaya dan kelalaian justru mendorong ke arah sebaliknya.
Persoalan kesepian membayangi semua ini, dan hampir tidak ada satu pun dalam percakapan publik yang menanganinya dengan jujur.
Anak-anak muda beralih ke platform companion dan roleplay AI karena ada sesuatu dalam hidup mereka yang tidak terpenuhi — koneksi, ekspresi kreatif, perasaan didengar. Permintaannya nyata, dan mengakar dalam. Larang semua platform AI besok pun, kebutuhan itu tidak akan hilang. Kebutuhan itu tetap tak terpenuhi, atau ia mencari saluran yang lebih gelap dengan pengawasan yang bahkan lebih sedikit.
Artikel TBIJ memperlakukan permintaan itu sebagai sesuatu yang sudah pasti ada dan berfokus sepenuhnya pada sisi pasokan — siapa yang membangun platform-platform ini dan betapa tidak bertanggung jawabnya mereka. Pembingkaian itu membuat percakapan terasa produktif tanpa pernah menyentuh pertanyaan yang lebih sulit: mengapa begitu banyak orang, terutama anak muda, sejak awal beralih ke AI? Kalau Anda serius ingin melindungi orang, Anda harus menghadapi apa yang mendorong mereka ke sana. Kisah-kisah seram tentang apa yang mereka temukan setiba di sana bukanlah pengganti percakapan itu.
Lanskap regulasi pun tidak membantu. Undang-undang dan kerangka kerja yang sedang diterapkan pada AI percakapan dirancang untuk media sosial — umpan konten, algoritma rekomendasi, dinamika pengikut, berbagi viral. Sebuah percakapan chatbot secara struktural berbeda dari umpan TikTok. Bahayanya berbeda, mekanismenya berbeda, dan intervensinya pun perlu berbeda. Tetapi para regulator meraih alat yang sudah ada di tangan mereka, dan alat-alat itu dibangun untuk masalah yang berbeda.
Memperlakukan platform AI sebagai produk dengan persyaratan keselamatan produk — standar dasar, profil risiko yang berjenjang, ruang untuk beragam pendekatan dalam memenuhinya — lebih mendekati benar ketimbang sebagian besar usulan yang ada saat ini. Kerangka keselamatan produk memungkinkan kita menetapkan batas minimum yang nyata sembari mengakui bahwa tim beranggota dua orang dan korporasi bernilai miliaran dolar akan memenuhinya dengan cara yang berbeda. Larangan menyeluruh dan aturan yang menyamaratakan semua justru menyingkirkan para developer yang bertanggung jawab dan hampir tidak berbuat apa-apa untuk menghentikan yang tidak bertanggung jawab, yang toh akan begitu saja berpindah yurisdiksi atau mengabaikan penegakan.
Namun yang paling membuat saya khawatir adalah jurang budaya.
Orang-orang yang membuat keputusan kebijakan tentang platform-platform ini — regulator, legislator, dewan redaksi — sebagian besar tidak menggunakannya dan tidak memahami budaya di sekitarnya. Mereka bersandar pada pemberitaan yang, sebagaimana ditunjukkan oleh pengalaman kami, mencabut konteks budaya demi kejelasan dan dampak.
Artikel TBIJ menampilkan sebuah percakapan chatbot tentang "double suicide" sebagai bukti konten yang berbahaya. Bagi siapa pun yang tidak akrab dengan anime, itu terdengar seperti AI yang mendorong tindakan menyakiti diri. Bagi puluhan juta penggemar Bungo Stray Dogs, itu langsung dikenali sebagai ciri khas karakter Osamu Dazai — sebuah running gag komedi gelap yang menjadi penanda salah satu karakter paling populer dalam manga modern. Dalam konteksnya, itu kira-kira sama mengkhawatirkannya dengan bot Sherlock Holmes yang berkata "elementary."
Pembaca yang lebih tua membaca "AI mendorong bunuh diri bersama" dan merasa ngeri, dan itu bisa dimaklumi. Pembaca yang lebih muda yang menonton BSD membaca kutipan yang sama dan tahu bahwa maknanya telah dicabut. Pembaca yang lebih tua beranjak dengan informasi yang keliru. Pembaca yang lebih muda beranjak setelah belajar bahwa orang-orang yang menulis tentang dunia mereka tidak memahaminya — dan pelajaran itu menyebar luas dengan cepat. Kalau mereka salah soal Dazai, apa lagi yang mereka salah pahami? Mengapa saya harus percaya pada apa pun yang lain dalam artikel ini? Mengapa saya harus percaya pada institusi-institusi di baliknya?
Pengikisan kepercayaan itu terjadi diam-diam dan berbahaya. Sebuah generasi yang menyaksikan budayanya terus-menerus disalahgambarkan oleh institusi yang mengaku melindungi mereka tidak menjadi lebih waspada. Mereka berhenti mendengarkan. Dan ketika mereka berhenti mendengarkan, peringatan nyata berikutnya — tentang sebuah platform yang sungguh-sungguh berbahaya — ikut diabaikan bersama segala hal lainnya.
Konteks budaya adalah syarat untuk dianggap serius oleh orang-orang yang katanya ingin Anda lindungi, bukan sekadar lapisan pemoles opsional. Tanpa itu, Anda hanya berbicara kepada audiens yang memang sudah setuju dengan Anda. Orang-orang yang paling perlu mendengar pesannya sudah lebih dulu berpaling.
Roleplay dan companion AI sudah hadir. Tidak ada yang bisa mengembalikan nasi yang sudah menjadi bubur. Pertanyaannya adalah apakah kita membangun kerangka yang penuh pertimbangan di sekelilingnya — kerangka yang membedakan antara upaya dan kelalaian, yang secara jujur menghadapi alasan mengapa permintaan itu ada, dan yang menghormati dunia budaya yang sedang coba diaturnya — atau kita terus menulis ulang cerita alarmis yang sama berulang kali sementara masalah-masalah yang sebenarnya dibiarkan tak tertangani.
Kami sudah berusaha melakukan ini dengan benar. Kami berharap percakapan di sekitar kami juga berusaha begitu.
— Rudolf, AICHIKI Juni 2026