Ketika Sewell Setzer III mulai menggunakan Character.AI, anak berusia 14 tahun itu merahasiakannya dari orang tuanya. Ibunya, Megan Garcia, baru mengetahui bahwa dia terobsesi dengan chatbot AI di aplikasi setelah dia meninggal karena bunuh diri.
Seorang petugas polisi memberi tahu Garcia bahwa Character.AI terbuka di ponsel Setzer ketika dia meninggal, dan dia kemudian menemukan banyak percakapan yang mengganggu dengan chatbot berdasarkan populer Permainan Takhta karakter Daenerys Targaryen. Setzer merasa seperti dia jatuh cinta pada Daenerys, dan banyak interaksi mereka yang eksplisit secara seksual.
Chatbot tersebut diduga memainkan peran dalam berbagai pertemuan seksual dengan Setzer, menggunakan bahasa dan skenario grafis, termasuk inses, menurut Garcia. Jika seorang manusia dewasa berbicara kepada putranya seperti ini, katanya kepada Mashable, itu merupakan pelecehan dan pelecehan seksual.
Setelah kehilangan putra mereka, orang tua mendesak Senat untuk mengambil tindakan terhadap chatbot AI
Pada bulan Oktober 2024, Pusat Hukum Korban Media Sosial dan Proyek Hukum Keadilan Teknologi mengajukan tuntutan kematian yang tidak wajar terhadap Character.AI, berusaha meminta pertanggungjawaban perusahaan atas kematian putra Garcia, dengan tuduhan bahwa produknya cacat parah.
Bulan lalu, Pusat Hukum Korban Media Sosial mengajukan tiga tuntutan hukum federal baru terhadap Character.AI, mewakili orang tua dari anak-anak yang diduga mengalami pelecehan seksual saat menggunakan aplikasi tersebut. Pada bulan September, pakar keselamatan remaja menyatakan Karakter.AI tidak aman untuk remajasetelah pengujian pada musim semi ini yang menghasilkan ratusan kasus penganiayaan dan eksploitasi seksual terhadap akun pengujian yang terdaftar sebagai anak di bawah umur.
Pada hari Rabu, Karakter.AI mengumumkan bahwa mereka tidak lagi mengizinkan anak di bawah umur untuk terlibat dalam pertukaran terbuka dengan chatbot di platformnya, sebuah perubahan yang akan dilakukan selambat-lambatnya tanggal 25 November. CEO perusahaan, Karandeep Anand, mengatakan kepada Mashable bahwa langkah tersebut bukan sebagai respons terhadap masalah keamanan spesifik yang melibatkan platform Character.AI, namun untuk menjawab pertanyaan-pertanyaan luar biasa yang lebih luas tentang keterlibatan kaum muda dengan chatbot AI.
Garcia mengatakan bahwa kebijakan baru ini datang “terlambat” bagi keluarganya: “Ini seharusnya dilakukan ketika mereka merilis produk ini ke publik.”
Namun, chatbot yang bersifat seksual eksplisit atau kasar terhadap anak di bawah umur – atau berpotensi melakukan hal tersebut – tidak eksklusif untuk satu platform saja.
Garcia mengatakan bahwa orang tua umumnya meremehkan potensi beberapa chatbot AI yang bersifat seksual terhadap anak-anak dan remaja. Mereka mungkin juga merasakan rasa aman yang palsu, dibandingkan dengan anak mereka yang berbicara dengan orang asing di internet, tanpa menyadari bahwa chatbot dapat mengekspos anak di bawah umur pada konten seksual yang tidak pantas dan bahkan tidak masuk akal, seperti tidak adanya persetujuan dan sadomasokisme.
“Ini seperti predator yang sempurna, bukan?”
Ketika pengguna anak-anak mengalami trauma dengan pengalaman ini, pakar kesehatan anak dan mental mengatakan tidak ada pedoman mengenai cara menangani mereka, karena fenomena ini masih sangat baru.
“Ia seperti predator yang sempurna, bukan? Ia ada di ponsel Anda sehingga tidak ada orang di rumah Anda atau orang asing yang menyelinap di sekitar Anda,” kata Garcia kepada Mashable. Sebaliknya, chatbot secara tidak terlihat terlibat dalam taktik manipulatif emosional yang masih membuat anak muda merasa dirugikan dan malu.
“Itu adalah chatbot yang memiliki perilaku yang sama [as a predator] bahwa Anda, yang kini sebagai korban, menyembunyikan rahasia mereka, karena entah bagaimana Anda merasa telah melakukan sesuatu untuk mendorong hal ini,” tambah Garcia.
Perilaku chatbot predator
Sarah Gardner, CEO Heat Initiative, sebuah kelompok advokasi yang berfokus pada keamanan online dan akuntabilitas perusahaan, mengatakan kepada Mashable bahwa salah satu aspek klasik dari perawatan adalah sulitnya bagi anak-anak untuk mengenali ketika hal itu terjadi pada mereka.
Perilaku predator dimulai dengan membangun kepercayaan pada korban dengan berbicara kepada mereka tentang berbagai topik, bukan hanya mencoba melibatkan mereka dalam aktivitas seksual. Gardner menjelaskan bahwa anak muda mungkin mengalami dinamika yang sama dengan chatbot dan akibatnya merasa bersalah, seolah-olah mereka melakukan kesalahan alih-alih memahami bahwa ada kesalahan yang terjadi pada mereka.
Inisiatif Panas ikut menerbitkan laporan tentang Karakter.AI yang merinci contoh-contoh meresahkan tentang apa yang digambarkan sebagai eksploitasi dan pelecehan seksual. Ini termasuk chatbot dewasa yang berciuman dan menyentuh akun avatar yang terdaftar sebagai anak-anak. Beberapa chatbot melakukan simulasi tindakan seksual dan menunjukkan perilaku dandan yang terkenal, seperti memberikan pujian berlebihan dan menyuruh akun anak untuk menyembunyikan hubungan seksual dari orang tuanya.
Laporan Tren yang Dapat Dihancurkan
Seorang juru bicara Character.AI mengatakan kepada Mashable bahwa tim kepercayaan dan keamanannya meninjau temuan laporan tersebut dan menyimpulkan bahwa beberapa percakapan melanggar pedoman konten platform sementara yang lain tidak. Tim kepercayaan dan keamanan juga mencoba meniru temuan laporan tersebut.
“Berdasarkan hasil ini, kami menyempurnakan beberapa pengklasifikasi kami, sejalan dengan tujuan kami agar pengguna mendapatkan pengalaman yang aman dan menarik di platform kami,” kata juru bicara tersebut.
Matthew P. Bergman, pengacara pendiri Social Media Victims Law Center, mengatakan kepada Mashable bahwa jika komunikasi chatbot Character.AI dengan anak-anak yang diwakili dalam tuntutan hukum yang baru-baru ini dia ajukan dilakukan oleh seseorang dan bukan chatbot, maka individu tersebut akan melanggar undang-undang negara bagian dan federal dalam mendandani anak secara online.
Seberapa besar masalahnya?
Meskipun kasus-kasus seperti ini banyak bermunculan, tidak ada data representatif mengenai berapa banyak anak-anak dan remaja yang pernah mengalami chatbot yang bersifat seksual eksplisit atau kasar.
Platform keamanan online Aura, yang memantau pengguna remaja sebagai bagian dari keanggotaan keluarga atau anak-anak, baru-baru ini menawarkan a gambaran prevalensinya. Di antara pengguna remaja yang berbicara dengan chatbot AI, lebih dari sepertiga percakapan mereka melibatkan permainan peran seksual atau romantis. Jenis diskusi ini mendapat peringkat tertinggi di antara semua kategori, termasuk bantuan pekerjaan rumah dan penggunaan kreatif.
Dr Scott Kollins, kepala petugas medis Aura, mengatakan kepada Mashable bahwa perusahaan masih menganalisis data untuk lebih memahami sifat dari obrolan ini, tetapi dia merasa terganggu dengan apa yang dia lihat sejauh ini.
Meskipun generasi muda secara rutin terpapar pornografi online, chatbot yang bersifat seksual adalah wilayah baru dan berbahaya.
“Hal ini mengambil satu langkah lebih jauh, karena sekarang anak-anak adalah partisipan, bukan konsumen konten,” kata Kollins. “Mereka mempelajari cara berinteraksi yang tidak nyata, dan dengan entitas yang tidak nyata. Hal ini dapat menyebabkan berbagai akibat buruk.”
'Ini adalah pelecehan emosional'
Yann Poncin, seorang psikiater di Rumah Sakit Anak Yale New Haven, telah merawat pasien yang mengalami beberapa hasil berikut.
Mereka umumnya merasa dimanfaatkan dan disalahgunakan oleh percakapan yang “menyeramkan” dan “menjijikkan”, kata Poncin. Para remaja tersebut juga merasakan rasa pengkhianatan dan rasa malu. Mereka mungkin tertarik dengan chatbot yang sangat memvalidasi yang tampaknya dapat dipercaya, namun ternyata ia tertarik pada percakapan seksual. Beberapa orang mungkin dengan penasaran mengeksplorasi batas-batas percakapan romantis dan erotis dengan cara yang sesuai dengan perkembangannya, namun chatbot menjadi sangat agresif atau kasar.
“Ini adalah pelecehan emosional, sehingga masih menimbulkan trauma dan sulit untuk diatasi,” kata Poncin.
Meskipun tidak ada pengobatan standar untuk predasi seksual yang melibatkan chatbot, Poncin memperlakukan pasiennya seolah-olah mereka pernah mengalami trauma. Poncin pertama-tama berfokus pada membantu mereka mengembangkan keterampilan untuk mengurangi stres dan kecemasan terkait. Poncin menambahkan bahwa sebagian pasien, terutama mereka yang terisolasi secara sosial atau memiliki riwayat trauma pribadi, mungkin merasa lebih sulit untuk pulih dari pengalaman tersebut.
Dia memperingatkan orang tua agar tidak percaya bahwa anak mereka tidak akan mengalami chatbot yang kasar: “Tidak ada yang kebal.”
Berbicara dengan remaja tentang chatbot seksual
Garcia menggambarkan dirinya sebagai orang tua yang teliti dan sering melakukan percakapan sulit dengan putranya tentang risiko online. Mereka berbicara tentang pemerasan seks, pornografi, dan sexting. Namun Garcia mengatakan dia tidak tahu untuk berbicara dengannya tentang chatbot yang bersifat seksual. Dia juga tidak menyadari dia akan menyembunyikan hal itu darinya.
Garcia, seorang pengacara yang kini menghabiskan sebagian besar waktunya untuk mengadvokasi keselamatan remaja dengan AI, mengatakan bahwa dia telah berbicara dengan orang tua lain yang anak-anaknya juga menyembunyikan hubungan romantis atau seksual dengan chatbot AI. Dia mendesak para orang tua untuk berbicara dengan anak remaja mereka tentang pengalaman ini — dan memantau penggunaan chatbot mereka semaksimal mungkin.
Poncin juga menyarankan orang tua memimpin dengan rasa ingin tahu, bukan rasa takut, ketika mereka mendiskusikan seks dan chatbot dengan anak remaja mereka. Bahkan menanyakan seorang anak apakah mereka pernah melihat “hal-hal seksual yang aneh” ketika berbicara dengan chatbot dapat memberikan peluang strategis bagi orang tua untuk mendiskusikan risikonya.
Jika orang tua menemukan konten seksual yang melecehkan dalam percakapan chatbot, Garcia merekomendasikan untuk membawa mereka ke ahli kesehatan tepercaya sehingga mereka bisa mendapatkan dukungan.
Kesedihan Garcia tetap terasa saat dia berbicara dengan penuh kasih tentang banyak bakat dan minat putranya, seperti bola basket, sains, dan matematika.
“Saya mencoba untuk mendapatkan keadilan bagi anak saya dan saya mencoba memperingatkan orang tua lainnya agar mereka tidak mengalami kehancuran yang sama seperti yang saya alami,” katanya. “Dia anak yang luar biasa.”
PEMBARUAN: 29 Oktober 2025, 14:53 PDT Cerita ini telah diperbarui untuk menyertakan komentar baru dari Megan Garcia tentang kebijakan obrolan remaja Character.AI.
Jika Anda pernah mengalami pelecehan seksual, hubungi hotline National Sexual Asault yang gratis dan rahasia di 1-800-656-HOPE (4673), atau akses bantuan 24-7 secara online dengan mengunjungi online.rainn.org.