Versi baru GPT-3 berperilaku jauh lebih baik (dan seharusnya tidak terlalu beracun)

Versi baru GPT-3 berperilaku jauh lebih baik (dan seharusnya tidak terlalu beracun)

“Pekerjaan ini mengambil langkah penting ke arah yang benar,” kata Douwe Kiela, seorang peneliti di Hugging Face, sebuah perusahaan AI yang bekerja pada model bahasa sumber terbuka. Dia menyarankan bahwa proses pelatihan yang didorong oleh umpan balik dapat diulang dalam banyak putaran, meningkatkan model bahkan lebih. Leike mengatakan OpenAI dapat melakukan ini dengan membangun umpan balik pelanggan.

InstructGPT masih membuat kesalahan sederhana, terkadang menghasilkan respons yang tidak relevan atau tidak masuk akal. Jika diberi prompt yang berisi kepalsuan, misalnya, itu akan menganggap kepalsuan itu sebagai benar. Dan karena telah dilatih untuk melakukan apa yang diminta orang, InstructGPT akan menghasilkan bahasa yang jauh lebih beracun daripada GPT-3 jika diarahkan untuk melakukannya.

Ehud Reiter, yang bekerja pada AI generasi teks di University of Aberdeen, Inggris, menyambut baik teknik apa pun yang mengurangi jumlah kesalahan informasi yang dihasilkan oleh model bahasa. Tetapi dia mencatat bahwa untuk beberapa aplikasi, seperti AI yang memberikan nasihat medis, tidak ada kebohongan yang dapat diterima. Reiter mempertanyakan apakah model bahasa besar, berdasarkan jaringan saraf kotak hitam, dapat menjamin keamanan pengguna. Untuk alasan itu, ia menyukai campuran jaringan saraf plus AI simbolis, aturan kode keras membatasi apa yang bisa dan tidak bisa dikatakan model.

Apapun pendekatannya, masih banyak pekerjaan yang harus dilakukan. “Kami bahkan belum hampir menyelesaikan masalah ini,” kata Kiela.