AI
Ida Bagus Made Andhi Wisesa
July 13, 2023

AI Failed to do this task!

AI
Ida Bagus Made Andhi Wisesa
July 13, 2023

Percayakah kalian jika Artificial Intelligence yang diagung-agungkan oleh banyak orang selama ini bisa menemui titik kegagalan dalam menjalankan tugasnya?
Dalam sebuah artikel pendapat yang ditinjau oleh sejawat yang diterbitkan pada 10 Juli di Jurnal Patterns, para peneliti menunjukkan bahwa ChatGPT gagal mendeteksi tulisan manusia asli dan menganggap tulisan tersebut sebagai tulisan duplikat. Riset ini dilakukan oleh Pihak Universitas Stanford dan menghasilkan data yang mengejutkan.

Seal Of Leland Stanford Junior University.svg

Table of Contents

“Rekomendasi kami saat ini adalah kita harus sangat hati-hati dan mungkin mencoba menghindari penggunaan detektor ini sebanyak mungkin,” kata penulis senior James Zou, dari Universitas Stanford. “Ini bisa memiliki konsekuensi signifikan jika detektor ini digunakan untuk meninjau hal-hal seperti lamaran kerja, esai masuk perguruan tinggi, atau tugas sekolah menengah.”

Artificial Intelligence

Source: indiatimes.com

Alat AI seperti chatbot ChatGPT dari OpenAI dapat menyusun esai, menyelesaikan masalah ilmu pengetahuan dan matematika, serta menghasilkan kode komputer. Pendidik di seluruh AS semakin khawatir tentang penggunaan AI dalam pekerjaan siswa dan banyak dari mereka telah mulai menggunakan detektor GPT untuk memeriksa tugas siswa. Detektor ini adalah platform yang mengklaim dapat mengidentifikasi apakah teks dihasilkan oleh AI, tetapi keandalan dan efektivitas mereka belum melalui tahap pengujian.

Apa riset yang dilakukan Zou?


James Zou LinkedinSource: linkedin.com

Zou dan timnya menguji tujuh detektor GPT populer. Mereka menjalankan 91 esai Bahasa Inggris yang ditulis oleh penutur Bahasa Inggris non-asli untuk tes kemampuan Bahasa Inggris yang diakui secara luas, yaitu Test of English as a Foreign Language, atau TOEFL, melalui detektor. Platform ini salah menandai lebih dari setengah esai sebagai yang dihasilkan oleh AI, dengan satu detektor hampir menandai 98% esai tersebut sebagai yang ditulis oleh AI. Sebaliknya, detektor berhasil mengklasifikasikan lebih dari 90% esai yang ditulis oleh siswa kelas delapan dari AS sebagai yang dihasilkan manusia. Zou menjelaskan bahwa algoritma detektor ini bekerja dengan mengevaluasi kebingungan teks, yaitu seberapa mengejutkan pilihan kata dalam sebuah esai.

Grammar Checker App 2023

Source: zapier.com

“Jika Anda menggunakan kata-kata Bahasa Inggris yang umum, detektor akan memberikan skor kebingungan yang rendah, yang berarti esai saya kemungkinan akan ditandai sebagai yang dihasilkan oleh AI. Jika Anda menggunakan kata-kata yang kompleks dan mewah, maka lebih mungkin diklasifikasikan sebagai yang ditulis oleh manusia oleh algoritma,” James Zou, 2023. 

Ini karena model bahasa besar seperti ChatGPT dilatih untuk menghasilkan teks dengan kebingungan rendah untuk lebih baik mensimulasikan bagaimana manusia biasa berbicara, tambah Zou.

Impactnya Bagaimana?

Akibatnya, pilihan kata yang lebih sederhana yang diadopsi oleh penulis Bahasa Inggris non-native membuat mereka lebih rentan ditandai sebagai menggunakan AI, mereka kemudian memasukkan esai TOEFL yang ditulis manusia ke dalam ChatGPT dan meminta untuk mengedit teks menggunakan bahasa yang lebih canggih, termasuk mengganti kata-kata sederhana dengan kosakata kompleks. Hasilnya? Detektor GPT justru menandai esai yang diedit AI ini sebagai yang ditulis manusia.

What’s the moral value?

“Kita harus sangat hati-hati tentang penggunaan detektor ini di lingkungan kelas, karena masih banyak bias, dan mudah untuk dikelabui dengan hanya dengan prompt yang mendetail,” kata Zou. Penggunaan detektor GPT juga bisa memiliki implikasi di luar sektor pendidikan. Misalnya, mesin pencari seperti Google menurunkan nilai konten yang dihasilkan AI, yang mungkin tidak sengaja menyilangkan penulis Bahasa Inggris non-native. Sementara alat AI dapat memiliki dampak positif pada pembelajaran siswa, detektor GPT harus ditingkatkan dan dievaluasi lebih lanjut sebelum digunakan. Kemajuan teknologi tentunya mempermudah banyak kalangan, termasuk siswa dalam mengakses informasi. Yang menjadi kekhawatiran adalah kegagalan AI mengetes originalitas sebuah esai hanya karena esai tersebut berbahasa sederhana maka dianggap sebagai bahasa AI. Sedangkan, kalimat yang lebih rumit bisa diloloskan meskipun menggunakan AI dalam proses pembuatan esai.

Skipjack Digital adalah perusahaan digital marketing agency berbasis di Jakarta dan Bali, Indonesia dengan keahlian di bidang pemasaran digital, analitik, dan pembuatan konten. Jadwalkan diskusi dengan kami untuk akselerasi bisnis Anda sekarang.

More Insights
Keep up with Skipjack Digital
News and Insights

Illustrate Interest
PARTNER WITH US
NOW!
PARTNER WITH US NOW!
Illustrate Interest
Cheklist Modal

Submit Successfully

Thank you for contacting us,
our team will get back to you as soon as possible

Thank you for registering your email.
Interested to partner with us?