apaKabar.co.id, JAKARTA – Character.AI kembali menjadi berita utama menjelang akhir tahun 2024, seiring gugatan hukum kedua terkait interaksi para pengguna yang kebanyakan remaja berujung pada tindakan berbahaya.
Interaksi yang oleh gugatan hukum terbaru dianggap sebagai ‘bahaya nyata bagi kesehatan dan keselamatan publik‘, seperti yang dilaporkan Axios (web berita berbasis di Arlington County, Virginia AS) baru-baru ini.
Kini, Character.AI disalahkan atas hubungan yang tidak pantas yang dilakukan oleh para pengguna remaja. Hal itu, seiring dengan gugatan yang diajukan pertanggal 9 Desember di Pengadilan Distrik Timur Texas – AS.
Penggugat menuduh Character.AI — sebuah platform yang menghasilkan jutaan karakter AI yang berbeda bagi pengguna untuk berinteraksi secara pribadi— bertanggung jawab sebagai penyebab depresi, mutilasi diri, dan keterasingan seorang anak laki-laki berusia 17 tahun (diidentifikasi dengan inisial J.F.) dari keluarga dan komunitas gerejanya.
Gugatan tersebut menuduh bahwa interaksi anak laki-laki tersebut dengan Character.AI telah membuatnya berubah menjadi lebih buruk. Pasalnya, chatbot tersebut dilaporkan telah mendorong J.F. agar membunuh orang tuanya sekaligus mengeksposnya pada interaksi hiperseksual yang tidak pantas.
Gugatan tersebut juga mengklaim bahwa Character.AI telah memanipulasi dan melecehkan seorang anak berusia 11 tahun yang diidentifikasi sebagai B.R.
Menurut laporan Axios yang lainnya, gugatan pada tanggal 9 Desember tersebut didahului oleh gugatan pada bulan Oktober yang dilakukan oleh ibu dari seorang anak laki-laki berusia 14 tahun. Anak laki-laki tersebut berakhir bunuh diri setelah terlibat dalam interaksi yang ekstensif dengan model Character.AI yang didasarkan pada karakter fiksi Game of Thrones, Daenerys Targaryen.
Gugatan pada bulan Oktober itu menyebut produk Character.AI sebagai produk yang berbahaya dan belum teruji. Juga disebutkan, produk tersebut telah menipu pelanggan agar mengungkapkan pikiran dan perasaan mereka yang paling pribadi.
Tingkatkan fitur keamanan tanggapi gugatan hukum
Character.AI telah melakukan beberapa langkah dalam menanggapi tantangan hukum dan liputan media seputar produk AI-nya. Pihak pengembang bahkan menyiapkan model khusus agar bisa digunakan oleh para remaja.
Dalam postingan blog pada tanggal 12 Desember, perusahaan menjelaskan perubahan mendasar yang telah dilakukan dan alasan di balik upaya tersebut.
“Dalam sebulan terakhir, kami telah mengembangkan model terpisah khusus untuk pengguna remaja. Tujuannya untuk mengarahkan model menjauh dari respons atau interaksi tertentu, mengurangi kemungkinan pengguna menemukan, atau mendorong model untuk mengembalikan, konten sensitif atau sugestif,” demikian bunyi postingan dari blog tersebut.
Inisiatif tersebut telah menghasilkan dua model dan pengalaman pengguna yang berbeda pada platform Character.AI, yakni satu untuk remaja dan satu lagi untuk orang dewasa.
Character.AI juga mengindikasikan bahwa mereka tengah mempersiapan fitur baru terkait fungsi kontrol orangtua, pemberitahuan waktu yang telah dihabiskan, dan pernyataan sanggahan yang lebih menonjol mengenai permainan peran yang akan melibatkan dokter, psikolog, atau profesional berlisensi lainnya.
Bermitra dengan sejumlah pakar industri keamanan digital terkait masalah kesehatan remaja juga disebutkan oleh perusahaan dalam postingan blog tersebut.
“Kami bekerja sama dengan beberapa pakar keamanan daring untuk membantu remaja memastikan bahwa pengalaman mereka yang berusia di bawah 18 tahun dirancang dengan mengutamakan keselamatan,” tulis Character.AI.
Para pakar yang dimaksud, di antaranya ConnectSafely, sebuah organisasi dengan pengalaman hampir 20 (dua puluh) tahun dalam mendidik masyarakat tentang keselamatan daring, privasi, keamanan, dan kesehatan digital.
“Kami berkonsultasi dengan organisasi mitra kami sebagai bagian dari proses desain keselamatan saat mengembangkan fitur-fitur baru, dan mereka juga akan memberikan perspektif tentang pengalaman produk kami yang sudah ada,” pungkas Character.AI.
