“Rekomendasi kami saat ini adalah kita harus sangat hati-hati dan mungkin mencoba menghindari penggunaan detektor ini sebanyak mungkin,” kata penulis senior James Zou, dari Universitas Stanford. “Ini bisa memiliki konsekuensi signifikan jika detektor ini digunakan untuk meninjau hal-hal seperti lamaran kerja, esai masuk perguruan tinggi, atau tugas sekolah menengah.”

Source: indiatimes.com
Alat AI seperti chatbot ChatGPT dari OpenAI dapat menyusun esai, menyelesaikan masalah ilmu pengetahuan dan matematika, serta menghasilkan kode komputer. Pendidik di seluruh AS semakin khawatir tentang penggunaan AI dalam pekerjaan siswa dan banyak dari mereka telah mulai menggunakan detektor GPT untuk memeriksa tugas siswa. Detektor ini adalah platform yang mengklaim dapat mengidentifikasi apakah teks dihasilkan oleh AI, tetapi keandalan dan efektivitas mereka belum melalui tahap pengujian.
Apa riset yang dilakukan Zou?
Zou dan timnya menguji tujuh detektor GPT populer. Mereka menjalankan 91 esai Bahasa Inggris yang ditulis oleh penutur Bahasa Inggris non-asli untuk tes kemampuan Bahasa Inggris yang diakui secara luas, yaitu Test of English as a Foreign Language, atau TOEFL, melalui detektor. Platform ini salah menandai lebih dari setengah esai sebagai yang dihasilkan oleh AI, dengan satu detektor hampir menandai 98% esai tersebut sebagai yang ditulis oleh AI. Sebaliknya, detektor berhasil mengklasifikasikan lebih dari 90% esai yang ditulis oleh siswa kelas delapan dari AS sebagai yang dihasilkan manusia. Zou menjelaskan bahwa algoritma detektor ini bekerja dengan mengevaluasi kebingungan teks, yaitu seberapa mengejutkan pilihan kata dalam sebuah esai.

Source: zapier.com
“Jika Anda menggunakan kata-kata Bahasa Inggris yang umum, detektor akan memberikan skor kebingungan yang rendah, yang berarti esai saya kemungkinan akan ditandai sebagai yang dihasilkan oleh AI. Jika Anda menggunakan kata-kata yang kompleks dan mewah, maka lebih mungkin diklasifikasikan sebagai yang ditulis oleh manusia oleh algoritma,” James Zou, 2023.
Ini karena model bahasa besar seperti ChatGPT dilatih untuk menghasilkan teks dengan kebingungan rendah untuk lebih baik mensimulasikan bagaimana manusia biasa berbicara, tambah Zou.
Impactnya Bagaimana?
Akibatnya, pilihan kata yang lebih sederhana yang diadopsi oleh penulis Bahasa Inggris non-native membuat mereka lebih rentan ditandai sebagai menggunakan AI, mereka kemudian memasukkan esai TOEFL yang ditulis manusia ke dalam ChatGPT dan meminta untuk mengedit teks menggunakan bahasa yang lebih canggih, termasuk mengganti kata-kata sederhana dengan kosakata kompleks. Hasilnya? Detektor GPT justru menandai esai yang diedit AI ini sebagai yang ditulis manusia.
What’s the moral value?
“Kita harus sangat hati-hati tentang penggunaan detektor ini di lingkungan kelas, karena masih banyak bias, dan mudah untuk dikelabui dengan hanya dengan prompt yang mendetail,” kata Zou. Penggunaan detektor GPT juga bisa memiliki implikasi di luar sektor pendidikan. Misalnya, mesin pencari seperti Google menurunkan nilai konten yang dihasilkan AI, yang mungkin tidak sengaja menyilangkan penulis Bahasa Inggris non-native. Sementara alat AI dapat memiliki dampak positif pada pembelajaran siswa, detektor GPT harus ditingkatkan dan dievaluasi lebih lanjut sebelum digunakan. Kemajuan teknologi tentunya mempermudah banyak kalangan, termasuk siswa dalam mengakses informasi. Yang menjadi kekhawatiran adalah kegagalan AI mengetes originalitas sebuah esai hanya karena esai tersebut berbahasa sederhana maka dianggap sebagai bahasa AI. Sedangkan, kalimat yang lebih rumit bisa diloloskan meskipun menggunakan AI dalam proses pembuatan esai.