OpenAI, perusahaan di balik ChatGPT, baru-baru ini merilis sebuah makalah penelitian yang mengupas mengapa model bahasa besar (LLM) masih sering mengalami “halusinasi”. Dalam riset tersebut, OpenAI juga mengusulkan perubahan mendasar pada cara evaluasi AI untuk mengurangi masalah informasi palsu yang terdengar meyakinkan tersebut.
Menurut OpenAI dalam unggahan blognya, halusinasi didefinisikan sebagai “pernyataan masuk akal namun salah yang dihasilkan oleh model bahasa”. Fenomena ini diakui sebagai tantangan fundamental yang belum sepenuhnya bisa dihilangkan.
Para peneliti mencontohkan, ketika sebuah chatbot ditanya judul disertasi Ph.D. salah satu peneliti, model tersebut memberikan tiga jawaban berbeda yang semuanya salah, namun disampaikan dengan penuh keyakinan.
Akar masalahnya, menurut riset tersebut, sebagian besar berasal dari proses pra-pelatihan AI. Model dilatih untuk memprediksi kata berikutnya berdasarkan pola dari miliaran contoh kalimat tanpa diberi label mana yang benar atau salah. Hal ini membuat AI mahir dalam hal pola bahasa seperti ejaan, namun kesulitan saat dihadapkan pada fakta arbitrer yang jarang muncul, seperti tanggal lahir seseorang, sehingga AI cenderung berhalusinasi atau menebak.
Para peneliti berpendapat sistem evaluasi saat ini secara tidak langsung mendorong perilaku ini. Sistem tersebut diibaratkan seperti ujian pilihan ganda di mana tidak ada hukuman untuk jawaban salah.
“Dengan cara yang sama, ketika model dinilai hanya berdasarkan akurasi. mereka didorong untuk menebak daripada mengatakan ‘Saya tidak tahu’,” tulis para peneliti dilansir dari TechCrunch.
Dari pernyataan itu, dijelaskan bahwa insentif yang ada saat ini lebih menghargai tebakan yang kebetulan benar daripada pengakuan ketidaktahuan, sehingga memperkuat kebiasaan AI untuk berhalusinasi.
Sebagai solusi, OpenAI mengusulkan sistem evaluasi baru yang mirip dengan ujian SAT, yaitu dengan memberikan “penilaian negatif untuk jawaban yang salah atau kredit parsial karena membiarkan pertanyaan kosong untuk mencegah tebakan buta”. Sistem ini perlu diterapkan secara luas untuk mengubah insentif bagi pengembangan AI.
“Jika papan skor utama terus menghargai tebakan yang beruntung, model akan terus belajar untuk menebak,” tegas para peneliti.
