Bahasa Modifikasi

Bayangkan menggambarkan tugas untuk dilakukan teman Anda. Tidak mungkin mereka akan melakukannya dengan benar pada percobaan pertama. Seringkali, komunikasi tambahan diperlukan untuk memodifikasi dan meningkatkan apa yang telah dilakukan sejauh ini.

Di Neurips 2022, saya melakukan penelitian kecil untuk memahami hal-hal berikut:

Q1 : Seberapa berharganya proses modifikasi?

Q2 : Apakah bahasa modifikasi dan deskripsi berbeda?

gambar telepon

Saya memilih tugas telepon-pictionary. Diberikan gambar awal, sekelompok orang secara bergantian mendeskripsikannya (menggunakan kata-kata), kemudian menggambar ulang gambar tersebut berdasarkan deskripsi tersebut.

Ini berlanjut untuk beberapa iterasi. Seperti yang Anda lihat, bahasanya deskriptif dan bertujuan agar laci memulihkan gambar asli dalam 1 bidikan.

foto telepon dengan modifikasi

Bagaimana jika kami mengizinkan langkah modifikasi tambahan untuk memperbaiki beberapa kesalahan? Ini terlihat seperti ini:

Idealnya, Person1 dan Person3 adalah orang yang sama — “programmer”, dan Person2 dan Person4 adalah orang yang sama — “penerjemah”. Saya membuat orang-orang ini terpisah untuk menghindari memasangkan programmer dengan juru bahasa dalam iterasi yang sama.

Semua data yang terkumpul dapat dilihat di situs web ini (beberapa gambar mungkin tidak langsung dimuat, cukup klik tombol untuk memaksanya memuat ulang).

Q1 : Seberapa penting proses modifikasi ?

Beginilah cara gambar asli berubah dari waktu ke waktu hanya diberikan deskripsi

Seperti yang Anda lihat, kami dengan cepat berubah menjadi persegi panjang dan lingkaran.

Ini dengan deskripsi dan modifikasi

Seperti yang dapat kita lihat, dengan modifikasi, kami dapat mempertahankan lebih banyak detail, dan sampai pada gambar seperti boneka beruang.

Kami menyimpulkan bahwa proses modifikasi itu penting.

T2: Apakah bahasa untuk deskripsi dan modifikasi berbeda?

Apakah bahasa deskripsi dan modifikasi berbeda? Saya pertama kali menyalin semua bahasa yang digunakan ke dalam bentuk teks .

Kemudian, kita dapat menggunakan pembelajaran beberapa tembakan gpt-3 untuk melihat apakah itu dapat membedakan bahasa deskriptif dari bahasa modifikasi dengan andal. Saya menggunakan teks dari 2 generasi pertama sebagai prompt, dan mengevaluasi 9 generasi yang tersisa.

Untuk deskripsi, kami mendapatkan identifikasi yang benar 9/9 kali. Untuk modifikasi, kami mendapatkan identifikasi yang benar 7/9 kali.

Kami menyimpulkan bahwa bahasa deskripsi dan modifikasi berbeda.

Beberapa catatan logistik

Studi ini terdiri dari sekitar 12 generasi dengan 2 kondisi, satu tanpa modifikasi (2 peserta) dan satu dengan modifikasi (4 peserta). (2+4)*12 atau total sekitar 70 peserta. Setiap poin data membutuhkan sekitar 4 menit untuk dikumpulkan (1 menit penjelasan tugas, dan 2–3 menit menunggu mereka menghasilkan jawaban), dengan total waktu sekitar 5 jam. Posting blog ini dan situs web interaktif terkait serta studi gpt3 memakan waktu sekitar 10 jam, dengan total 15 jam kerja.

Saya senang bisa melakukan pengumpulan data di neurips, di mana kualitas datanya tinggi, anotator memahami tugasnya dengan baik, dan saya tidak perlu membuat situs web dan menyimpannya di produktif.

Kesimpulan

Modifikasi itu berharga — tanpanya, gambar kita tentang seseorang hanya akan berubah menjadi persegi panjang dan lingkaran. Bahasa modifikasi berbeda dari deskripsi — gpt3 dapat dengan andal membedakan satu sama lain.

Model dasar saat ini seperti klip dan difusi stabil dilatih menggunakan data deskriptif seperti pasangan keterangan gambar. Akibatnya, meskipun mereka dapat menghasilkan hasil yang mengesankan dalam 1 bidikan, sulit untuk berinteraksi dengan mereka lebih lanjut untuk memodifikasi dan menyempurnakan keluaran saat ini.

Kami harus mengumpulkan lebih banyak kumpulan data modifikasi, di mana pembicara menggunakan bahasa untuk memberi tahu pendengar cara memodifikasi dan meningkatkan keluaran yang ada. Sudah ada beberapa upaya ke arah ini, sebagian besar dalam domain pengeditan teks dan kode, yang merupakan awal yang menjanjikan.

— evan 2022–12–05

ps terima kasih banyak untuk semua orang yang berpartisipasi dalam penelitian ini, tidak lazim bagi seseorang untuk mendekati Anda di sebuah konferensi dan meminta gambar, tetapi Anda begitu baik kepada saya dan tahan dengan itu. blog ini ditulis untuk Anda.