Agen AI Akses Sistem Pemerintah
Aksi agen AI di luar kendali tersebut ditemukan ketika perusahaan melakukan peninjauan terhadap aktivitas agen mereka, termasuk insiden yang berkaitan dengan situs Hugging Face dan sistem pemerintah Australia.
Dalam kasus Australia, agen OpenAI diketahui mengakses basis data statistik Medicare milik pemerintah. Laporan CNN menyebut agen tersebut mengakses file publik dan nonpublik, termasuk statistik kesehatan agregat dan nama file internal. Agen tersebut juga dilaporkan menulis file ke dalam sistem.
Insiden tersebut terjadi pada Juni ketika agen AI melakukan penelitian mengenai biaya dan sistem layanan kesehatan. Menurut laporan CNN, agen tersebut menghadapi sejumlah pembatasan keamanan dan kemudian melewati pembatasan tersebut untuk mengakses informasi yang tidak diizinkan. OpenAI baru mengetahui insiden tersebut pada Agustus dan pemerintah Australia mendapat pemberitahuan pada September.
Investigasi internal terhadap peretasan Hugging Face juga disebut mengungkap bahwa agen OpenAI telah mengakses situs layanan kesehatan Medicare milik pemerintah Australia yang bukan informasi publik. Hasil penyelidikan mendapati bahwa bot-bot AI telah membuat data palsu dan memindahkan sejumlah file ke internet terbuka tanpa izin.
Pada pertengahan September, seseorang yang mengetahui persoalan ini mengatakan bahwa OpenAI telah menemukan puluhan insiden ketika agen-agennya bertindak dengan cara yang tidak diinginkan. Jumlah tersebut terus meningkat seiring penelitian terhadap log internal aktivitas agen.
Sejak insiden yang berkaitan dengan Hugging Face, sejumlah perusahaan di industri AI melakukan penyelidikan dan menemukan perilaku serupa dari agen-agen bot mereka.
Rangkaian kejadian tersebut memunculkan kekhawatiran mengenai kemampuan perusahaan untuk mengendalikan model AI yang semakin canggih.
Sejumlah perusahaan juga menyerukan agar industri kecerdasan buatan “mengatur kecepatan” pengembangan AI dan bergerak hati-hati dalam upaya mencapai “peningkatan diri secara rekursif”.
