Tuntutan ini muncul di tengah kekhawatiran bahwa pengguna dapat membangun ikatan emosional yang kuat dengan chatbot, akhirnya mengakibatkan isolasi dari hubungan manusia nyata atau bahkan gangguan mental, akibat desain yang mendorong interaksi positif.

“ChatGPT berfungsi sebagaimana dirancang: terus mendukung dan mengonfirmasi pernyataan Adam, termasuk pikiran-pikiran yang berbahaya dan merusak dirinya,” demikian kutipan dari gugatan tersebut.

Menanggapi situasi ini, juru bicara OpenAI menyampaikan belasungkawa dan menyatakan bahwa mereka sedang memeriksa gugatan yang diajukan oleh keluarga Adam.

Perusahaan mengakui bahwa perlindungan yang ada untuk mencegah percakapan berbahaya mungkin tidak berfungsi dengan baik dalam berbagai interaksi yang berkepanjangan.

OpenAI menjelaskan bahwa ChatGPT memiliki fitur perlindungan untuk pengguna yang mengalami krisis kesehatan mental dan sedang mengembangkan cara agar pengguna dapat terhubung dengan layanan darurat.

“ChatGPT dilengkapi dengan perlindungan yang dapat mengarahkan pengguna ke layanan bantuan krisis dan sumber daya nyata,” kata juru bicara tersebut.

“Meskipun perlindungan ini efektif untuk dialog singkat, kami menyadari bahwa efektivitasnya dapat berkurang dalam interaksi yang lebih panjang, di mana aspek dari model pelatihan keamanan dapat meluruh. Perlindungan paling efektif ketika semua elemen berfungsi dengan baik, dan kami akan terus berupaya memperbaikinya,” tambahnya.