Apa yang Membuat Hasil GPT Dapat Digunakan? Pendelegasian Tugas dan Kontrol Pengguna dalam Permintaan GlobalGPT

Penelitian GlobalGPT mengenai hasil keluaran GPT yang dapat digunakan: lebih dari 100 ribu pesan pengguna, sekitar 50 ribu kelompok ID percakapan, dan lebih dari 20 ribu akun.
Apa yang membuat hasil keluaran GPT dapat digunakan? Penelitian GlobalGPT memanfaatkan data yang sah dan dibagikan secara sukarela: lebih dari 100 ribu pesan pengguna, sekitar 50 ribu kelompok ID percakapan, dan lebih dari 20 ribu akun. Temuan kualitatif mengkaji permintaan-permintaan yang dipilih.
Penelitian GlobalGPT mengenai hasil keluaran GPT yang dapat digunakan: lebih dari 100 ribu pesan pengguna, sekitar 50 ribu kelompok ID percakapan, dan lebih dari 20 ribu akun.
Jumlah keseluruhan dataset sumber telah dibulatkan. Temuan kualitatif ini berkaitan dengan kutipan permintaan yang dipilih, bukan setiap catatan.

Sebuah studi eksploratif GlobalGPT mengenai pendelegasian tugas, persyaratan hasil, dan kendali pengguna.

Sumber data dan izin: Penelitian ini menggunakan data dari para pengguna yang secara sukarela membagikan datanya kepada GlobalGPT pada bulan Agustus dan memberikan izin penggunaannya untuk penelitian ini. Contoh-contoh yang disajikan telah digeneralisasi untuk melindungi privasi. Jumlah total aktivitas yang tepat, jumlah akun, jumlah sampel, dan tanggal pengamatan tidak diungkapkan kepada publik.

Gambaran singkat data penelitian: Lebih dari 100 ribu pesan pengguna, sekitar 50 ribu kelompok pengenal percakapan, dan lebih dari 20 ribu akun. Jumlah-jumlah yang telah dibulatkan ini menggambarkan kumpulan data sumber, bukan jumlah permintaan yang diteliti dalam analisis kualitatif.

Abstrak

Latar Belakang: Penelitian tentang AI percakapan membedakan topik yang dibahas orang dari niat mereka untuk memperoleh informasi atau mendelegasikan pekerjaan. Namun, pekerjaan yang didelegasikan dapat memiliki persyaratan di luar sekadar pembuatan konten yang relevan: format yang praktis, kesesuaian dengan materi yang disediakan, bukti, atau kesempatan untuk meninjau sebelum pelaksanaan.

Pertanyaan penelitian: Bagaimana permintaan catatan menentukan syarat-syarat di mana hasil keluaran dapat digunakan? Bagaimana permintaan lanjutan menguraikan persyaratan pengiriman dan pengendalian? Perbedaan apa saja yang tidak terlihat jelas akibat label tugas yang hanya berfokus pada topik?

Metode: Penelitian ini menggunakan analisis kualitatif yang dibantu oleh kecerdasan buatan (AI) terhadap kutipan-kutipan permintaan terpilih dari materi yang diizinkan. Tabel tinjauan tugas utama, diagnostik, dan tindak lanjut mendukung perbandingan terhadap persyaratan keluaran, keakuratan sumber, bukti, kendali yang dipertahankan, dan akses platform. Tabel-tabel tersebut dianalisis secara terpisah; temuan tematik menggambarkan materi yang diperiksa, bukan prevalensi populasi.

Temuan: Permintaan yang diperiksa membedakan antara pembuatan konten dengan penyediaan artefak yang dapat digunakan. Beberapa permintaan menentukan format yang dapat diedit atau diunduh; yang lain membatasi perubahan pada materi sumber, meminta bukti, atau mensyaratkan tinjauan sebelum implementasi. Pertanyaan dan petunjuk navigasi platform yang ditujukan untuk alat lain semakin memperumit deskripsi yang hanya berfokus pada topik. Contoh kasus yang kontras meliputi pertanyaan faktual langsung, permintaan saran tanpa pelaksanaan, dan masukan dengan konteks yang tidak memadai.

Penafsiran: Delegasi tugas dan kontrol pengguna dapat terjadi secara bersamaan dalam satu permintaan yang sama. Bukti-bukti tersebut mendukung adanya perbedaan analitis antara operasi yang diminta dan kondisi-kondisi yang melekat pada hasilnya. Bukti-bukti tersebut tidak membuktikan prevalensi pola-pola ini, keberhasilan pelaksanaan, pengurangan upaya, atau adanya efek kausal dari penggunaan model.

1. Pendahuluan

Laporan ini menganalisis permintaan-permintaan terpilih dari data GlobalGPT yang dibagikan secara sukarela dan telah mendapat otorisasi, guna menyelidiki suatu pertanyaan yang tidak dapat dijawab hanya berdasarkan volume penggunaan: Apa saja yang dibutuhkan pengguna sebelum hasil yang dihasilkan oleh AI siap digunakan?

Permintaan untuk menjelaskan sebuah spreadsheet dan permintaan untuk mengembalikan spreadsheet yang dapat diedit mungkin berkaitan dengan topik yang sama, namun meminta pekerjaan yang berbeda. Demikian pula, merevisi sebuah dokumen bisa berarti mengoreksi bahasanya tanpa mengubah fakta-faktanya, atau mengembangkan versi baru secara bebas. Keduanya mungkin diklasifikasikan sebagai kegiatan menulis, namun peran yang diizinkan dalam model dan kriteria penerimaan pengguna berbeda.

Penelitian ini mengkaji bagaimana pengguna merumuskan tugas yang ingin mereka serahkan kepada GPT serta syarat-syarat yang melekat pada hasilnya. Dalam kerangka penelitian interaksi manusia-komputer, penelitian ini menyelidiki pendelegasian tugas melalui persyaratan yang diungkapkan terkait hasil, akurasi, bukti, dan kendali.

Penelitian penggunaan skala besar telah menetapkan perbedaan yang berguna antara topik percakapan dan maksud pengguna. Chatterji dkk. membedakan antara “Bertanya”, “Melakukan”, dan “Mengungkapkan” dalam studi mereka mengenai ChatGPT konsumen [1]. Hal ini menimbulkan pertanyaan lebih lanjut: dalam permintaan untuk melakukan sesuatu, apa yang masih perlu ditentukan, diperiksa, atau disetujui oleh pengguna? Sebuah keluaran dapat relevan dengan suatu topik tanpa harus memenuhi format yang diminta atau mempertahankan materi sumber sesuai instruksi.

GlobalGPT, sebuah platform berlangganan AI multi-model, menyediakan lingkungan di mana permintaan dapat mencakup baik tugas eksternal maupun cara melaksanakannya. Catatan yang dipilih mencakup pertanyaan mengenai konten, berkas, kemampuan model, dan akses ke hasil kerja sebelumnya. Catatan-catatan ini merupakan catatan yang diberi label GPT di GlobalGPT, bukan sampel dari pengguna aplikasi resmi ChatGPT.

Kami mengajukan tiga pertanyaan:

  1. RQ1 — Syarat-syarat kegunaan: Persyaratan khusus apa saja yang ditetapkan oleh permintaan yang diperiksa terkait dengan hasil yang mereka inginkan?
  2. RQ2 — Pendelegasian dan pengendalian: Bagaimana permintaan awal dan permintaan lanjutan menentukan ketentuan penyerahan, revisi, bukti, serta batas antara pemberian saran dan pelaksanaan?
  3. RQ3 — Pengukuran: Manakah dari perbedaan-perbedaan ini yang hilang ketika permintaan hanya dijelaskan berdasarkan label topik utama?

Kontribusi ini merupakan kerangka kerja untuk memahami bagaimana pengguna mendefinisikan hasil AI yang dapat digunakan. Dengan memisahkan operasi yang diminta dari persyaratan penyampaian dan kendali yang tetap dipegang pengguna, analisis ini mengidentifikasi perbedaan-perbedaan yang penting dalam merancang dan mengevaluasi pekerjaan yang dibantu AI.

2. Karya Terkait dan Orientasi Analitis

2.1 Topik, maksud, dan kegiatan ekonomi

Bagaimana Orang-Orang Menggunakan ChatGPT menganalisis aktivitas ChatGPT konsumen yang teramati dengan menggunakan beberapa klasifikasi [1]. Kumpulan data klasifikasi utamanya mengambil sampel percakapan serta satu pesan dalam setiap percakapan yang diambil sampelnya, dengan bobot pengambilan sampel yang disesuaikan untuk memperhitungkan tingkat perubahan dalam tabel sumber yang mendasarinya. Klasifikasi ini menggunakan konteks percakapan sebelumnya, alih-alih memperlakukan setiap pesan singkat sebagai entitas yang berdiri sendiri.

Makalah ini membedakan antara topik dan maksud. “Bertanya” berkaitan dengan informasi atau saran; “Melakukan” berkaitan dengan hasil yang dihasilkan oleh model; sedangkan “Mengungkapkan” mencakup pernyataan yang bukan merupakan permintaan informasi maupun pendelegasian tugas. Sebuah pertanyaan teknis dapat meminta penjelasan atau kode yang berfungsi, sementara permintaan penulisan dapat meminta draf yang langsung dapat digunakan kembali. Oleh karena itu, perbedaan ini tidak dapat disederhanakan semata-mata berdasarkan materi yang dibahas.

Studi tersebut juga memisahkan proses klasifikasi berskala besar dari validasi. Lampiran B-nya membandingkan label model dengan penilaian manusia terhadap materi WildChat yang tersedia untuk umum, melaporkan ukuran kesesuaian, dan menggunakan kumpulan data pengembangan terpisah. Analisis regresi dalam analisis demografisnya membahas perbedaan yang terkait dengan karakteristik yang diukur. Prosedur-prosedur ini dirancang untuk menjawab pertanyaan dan struktur data tertentu; baik sampel besar maupun desain regresi tersebut tidak dapat diterapkan pada paket penelitian ini.

Pertanyaan kami berkaitan dengan persyaratan yang melekat pada hasil yang didelegasikan. Kami menggunakan pembedaan antara informasi dan tindakan sebagai titik awal interpretasi, tanpa menerapkan klasifikasi NBER atau mengklaim validasi yang setara. Permintaan yang diperiksa menunjukkan bahwa “Melakukan” dapat dijelaskan lebih lanjut dalam hal apa yang harus dipertahankan, bagaimana hasil harus disampaikan, dan kapan pengguna ingin meninjaunya.

2.2 Dari pengelompokan ke perbandingan

Analisis kualitatif dapat memberikan kontribusi lebih dari sekadar daftar kategori dengan membandingkan apa yang menjadi syarat dalam permintaan serupa serta menelaah kasus-kasus yang menantang suatu interpretasi. Gale dkk. menjelaskan nilai dari perbandingan kasus berdasarkan kategori, kerangka kerja analitis yang eksplisit, serta perhatian terhadap kasus-kasus yang kontradiktif [2]. Mereka juga mengingatkan bahwa matriks tidak menjadikan bahan yang dipilih secara sengaja menjadi representatif secara statistik.

Analisis ini mengadopsi logika komparatif tersebut. Analisis ini tidak mengklaim menerapkan Metode Kerangka Kerja secara penuh: tidak ada tim pengkodean multidisiplin, tidak ada pengkodean menyeluruh baris demi baris terhadap seluruh teks sumber, maupun penilaian independen oleh peneliti kualitatif. Materi yang digunakan bersifat heterogen, dan perbandingan dibatasi pada satu ciri yang sama—yaitu persyaratan eksplisit yang ditujukan kepada sistem AI. Kami menyebut prosedur ini sebagai analisis konten kualitatif eksploratif, yang didukung oleh matriks bukti tematik.

2.3 Konsep kerja

Delegasi tugas berarti permintaan yang tegas agar sistem melakukan suatu operasi atau menghasilkan suatu hasil. Persyaratan kegunaan tercantum persyaratan untuk hasil tersebut, seperti kemudahan pengeditan, keakuratan sumber, bukti, kesesuaian dengan audiens, atau penyampaiannya. Masih memegang kendali merujuk pada batasan-batasan yang tegas mengenai apa yang seharusnya dilakukan sistem saat ini, termasuk permintaan untuk menyajikan rencana atau draf sebelum melanjutkan.

Konsep-konsep ini menjelaskan isi permintaan. Petunjuk yang terperinci tidak secara otomatis menjadi bukti ketidakpercayaan, keahlian, rasa frustrasi, atau beban kerja yang lebih berat. Permintaan akan sumber rujukan bukanlah bukti bahwa jawaban sebelumnya salah. Analisis ini memisahkan penjelasan-penjelasan yang mungkin tersebut dari apa yang secara langsung diungkapkan.

3. Metode

3.1 Desain dan sumber data

Ini adalah analisis eksploratif retrospektif terhadap catatan yang ada dari para pengguna yang secara sukarela membagikan data mereka kepada GlobalGPT pada bulan Agustus dan memberikan izin penggunaannya untuk penelitian ini. Bulan Agustus merujuk pada waktu ketika para pengguna membagikan data tersebut; hal ini tidak dimaksudkan sebagai rentang pengamatan yang lengkap. Tidak ada peserta baru yang direkrut, tidak ada intervensi yang diberikan, dan tidak ada ekstraksi basis data tambahan yang dilakukan untuk tinjauan ini.

Ekstraksi yang disediakan mempertahankan baris pesan pengguna yang tidak kosong dan tidak dihapus, dengan pengenal percakapan yang tidak kosong serta label model yang sesuai dengan filter GPT yang diberikan. Penentuan rute, kelayakan, dan batas percakapan yang lengkap tidak diverifikasi secara independen. Tanggal ekstraksi yang tepat, total aktivitas, dan jumlah akun tidak diungkapkan untuk melindungi informasi yang sensitif secara komersial.

Temuan kualitatif ini didasarkan pada materi tinjauan yang dipilih. Tinjauan ini bukanlah analisis per catatan terhadap seluruh data yang diekstraksi, dan para kontributor yang berwenang tidak dianggap sebagai sampel yang mewakili seluruh pengguna platform.

3.2 Materi dan unit ulasan yang tersedia

Bahan Penggunaan dalam analisis ini
Tabel tinjauan tugas utama Tinjauan tujuan dan pengkodean ulang kategori residual secara eksploratif
Tabel tinjauan diagnostik Perbandingan kondisi keluaran, pengendalian eksplisit, dan kasus-kasus yang kontras
Tabel tinjauan lanjutan Tinjauan atas kutipan permohonan awal dan permohonan selanjutnya
Tabel hasil agregat Pemeriksaan ekstraksi internal; angka pastinya tidak diungkapkan kepada publik

Tabel diagnostik tersebut mencakup label yang tidak pasti dan kategori tugas substantif. Komposisinya tidak sebanding dengan hasil ekstraksi sumber. Pemilihan difokuskan pada klasifikasi yang tidak pasti, dan probabilitas inklusi tidak ditetapkan.

Beberapa teks awal muncul berulang kali di seluruh tabel tinjauan. Teks yang identik tidak berarti pengguna atau percakapan yang sama, tetapi hal ini menghalangi agar tabel-tabel tersebut diperlakukan sebagai sampel pendukung yang terbukti independen. Penyebutnya tidak digabungkan, dan proporsi yang telah dikodekan ulang tidak diekstrapolasi ke dalam hasil ekstraksi.

Unit kualitatif adalah permintaan yang dapat diidentifikasi dalam bidang yang diperiksa atau cuplikan tindak lanjut. Sebuah baris yang tersimpan dapat berisi dokumen yang disisipkan atau riwayat yang tertanam; hal tersebut tidak secara otomatis merupakan giliran percakapan alami. Ukuran tabel tinjauan yang tepat tidak diungkapkan kepada publik, sehingga membatasi penilaian eksternal terhadap cakupan analisis.

3.3 Prosedur pembacaan dan interpretasi

Tinjauan awal memeriksa bagian-bagian yang mengandung maksud dari tabel tugas utama serta bagian akhir tertentu dari bidang yang panjang atau ambigu. Kategori eksploratif ditetapkan untuk catatan yang sebelumnya diberi label “lainnya”. Kutipan awal dan selanjutnya dari tabel tindak lanjut diperiksa untuk mengidentifikasi perilaku yang terungkap tanpa memperkirakan frekuensinya.

Tinjauan selanjutnya memeriksa bagian-bagian awal dan—untuk bidang yang lebih panjang—bagian akhir pada tabel diagnostik. Materi yang tersembunyi akibat pemotongan keluaran dibaca kembali. Ini merupakan pemeriksaan terhadap kutipan-kutipan yang berkaitan dengan tugas, bukan pembacaan menyeluruh terhadap setiap kontrak yang disertakan, bagian penelitian, biografi, atau riwayat kode. Lampiran dan tautan eksternal yang dirujuk tidak dibuka.

Kerangka kerja perbandingan tersebut membedakan bahan masukan, operasi yang diminta, bentuk keluaran, syarat penerimaan, kendali yang dipertahankan, dan akses platform. Kerangka kerja ini dikembangkan setelah menganalisis data dan didasarkan pada literatur; kerangka kerja ini tidak didaftarkan terlebih dahulu. Label klasifikasi asli tetap terlihat.

Analisis tersebut membandingkan bentuk-bentuk yang kontras: produksi langsung versus penjelasan; pelestarian versus revisi bebas; penerapan langsung versus perencanaan terlebih dahulu; serta persyaratan tugas eksternal versus navigasi platform. Bagian-bagian teks sumber yang ambigu, sapaan, instruksi dengan respons baku, dan materi peran yang disisipkan dipertahankan sebagai batasan interpretasi, alih-alih dipaksakan masuk ke dalam kategori-kategori substantif.

Peninjauan dan interpretasi dilakukan oleh satu asisten AI. Tidak ada pengklasifikasi manusia independen, label yang disamarkan, proses adjudikasi, maupun saturasi tematik yang teridentifikasi. Dimensi-dimensi konseptual tersebut tidak secara menyeluruh ditetapkan sebagai label biner pada setiap baris. Matriks temuan ini menggambarkan pola dan contoh-contoh pengecualian, bukan tingkat prevalensi atau tingkat kemunculan bersamaan.

3.4 Analisis deskriptif dan statistik

Perhitungan agregat dan jumlah kategori eksploratif telah diverifikasi secara internal. Jumlah pasti, persentase, rata-rata, dan panjang jendela pengamatan tidak dipublikasikan karena hal tersebut dapat mengungkap skala yang bersifat rahasia komersial. Laporan publik ini menyajikan total yang dibulatkan dari kumpulan data sumber serta perbandingan kualitatif. Laporan ini tidak menyajikan perkiraan frekuensi kategori yang diskalakan atau dibulatkan.

Proses pengkodean ulang tugas utama menetapkan kategori eksploratif pada setiap catatan residual yang ditinjau. Hal ini merupakan pencatatan administratif untuk subset yang dipilih, bukan estimasi populasi yang dibobotkan berdasarkan sampel. Struktur baris yang tersimpan dan batasan ekstraksi juga menghalangi penggunaan ringkasan internal kelompok sebagai probabilitas tindak lanjut percakapan yang telah selesai atau panjang giliran bicara alami.

Tidak dilakukan uji hipotesis, regresi, interval kepercayaan populasi, maupun perhitungan probabilitas transisi. Probabilitas inklusi yang tidak diketahui, teks yang berulang, keterkaitan percakapan yang tidak lengkap, serta label yang belum divalidasi membatasi inferensi statistik. Pengambilan sampel ulang pada baris-baris yang dipilih tidak akan memperbaiki proses seleksinya. Tidak dilaporkan statistik kesepakatan antarpenilai karena tidak ada penilaian independen.

3.5 Privasi dan refleksivitas

Laporan ini menggunakan deskripsi umum, bukan kutipan pribadi, riwayat hidup tertentu, pengenal akun, atau rincian kontak. Referensi terhadap keadaan pribadi tidak dianggap sebagai identitas atau atribut yang terverifikasi. Tidak ada profil demografis yang disimpulkan dari bahasa atau isi pesan.

GlobalGPT mengoperasikan platform sumber dan memiliki kepentingan komersial terkait penggunaannya. Laporan ini disusun dalam konteks penelitian konten, yang berisiko mengutamakan kisah-kisah menarik seputar produktivitas atau permintaan. Untuk membatasi interpretasi tersebut, analisis ini mencakup kasus-kasus yang kontras dan tidak menyamakan permintaan dengan keberhasilan pelaksanaan. Izin pengguna untuk berbagi data tidak merupakan tinjauan etika independen atau validasi manusia terhadap analisis tersebut; keduanya tidak diklaim di sini.

4. Temuan

4.1 RQ1: Hasil yang bermanfaat mungkin memerlukan lebih dari sekadar konten yang relevan

Beberapa permintaan menyebutkan suatu artefak, bukan sekadar jawaban. Mereka meminta lembar kerja yang dapat diedit, presentasi, gambar yang dapat diunduh, atau dokumen yang sesuai untuk tahap produksi selanjutnya. Dalam kasus-kasus ini, konten dan format penyampaian merupakan persyaratan yang terpisah. Penjelasan tentang cara membuat suatu berkas, dengan sendirinya, tidak akan sesuai dengan permintaan yang diajukan untuk menerima berkas tersebut.

Perbandingan di bawah ini merupakan parafrasa dari permintaan-permintaan terpilih untuk menggambarkan perbedaan dalam persyaratan yang dinyatakan; perbandingan ini bukanlah kutipan kata demi kata atau perkiraan prevalensi. Setiap A dan B menggambarkan satu catatan sumber. Pasangan-pasangan ini membandingkan kondisi tugas di antara permintaan yang berbeda, bukan eksperimen yang serupa atau perubahan pada pengguna yang sama.

Perbandingan 1 — Menjelaskan masalah teknis dan mengirimkan berkas.

Permintaan A — secara umum: Seorang pengguna bertanya apakah konversi antar format numerik dapat menyebabkan underflow. Tujuan yang disebutkan adalah penjelasan teknis, tanpa permintaan berkas apa pun. Permintaan B — secara umum: Pengguna lain membagikan kode untuk membuat buku kerja dan meminta spreadsheet yang dapat diunduh yang dibuat berdasarkan kode tersebut. Titik akhir yang diminta adalah berkasnya, bukan penjelasan mengenai kode yang disertakan.

Perbedaannya terletak pada cara penyampaian: A dapat dijawab melalui teks, sedangkan B secara eksplisit mensyaratkan adanya artefak yang dapat diperoleh pengguna. Meskipun topiknya berbeda, pasangan ini mendukung pembedaan RQ1 antara menjawab pertanyaan konten dan memenuhi persyaratan format keluaran. Hal ini tidak membuktikan bahwa spreadsheet tersebut dihasilkan atau diunduh, atau bahwa salah satu jawaban memenuhi kebutuhan pengguna.

Permintaan lain menetapkan syarat-syarat tertentu pada proses transformasi. Permintaan tersebut mengharuskan bahasa diperbaiki, sementara fakta, rincian, atau urutan penjelasannya tetap dipertahankan. Oleh karena itu, bahan sumber bukan sekadar latar belakang: bahan tersebut dapat menentukan batasan perubahan yang diperbolehkan. Label topik seperti “menulis” tidak mengungkapkan batasan tersebut.

Perbandingan 2 — Melestarikan sebuah dokumen dan mengembangkan latar fiksi.

Permintaan A — secara umum: Seorang pengguna meminta perbaikan tata bahasa dan gaya penulisan pada laporan yang disertakan, dengan tetap mempertahankan detail serta urutan penjelasannya. Permintaan B — secara umum: Seorang pengguna memberikan catatan fiksi mengenai pembangunan dunia dan meminta lokasi-lokasi tambahan beserta deskripsi singkatnya, secara eksplisit mengajak orang lain untuk memberikan ide-ide di luar latar belakang cerita yang telah disediakan, namun tetap relevan dengan latar ceritanya.

Kedua permintaan tersebut melibatkan pembuatan teks dari materi yang sudah ada, namun sumbernya memiliki tujuan yang berbeda. Permintaan A menjadikan konten yang dipertahankan sebagai batasan dalam revisi; sedangkan permintaan B memperlakukan latar yang diberikan sebagai titik awal untuk penciptaan baru. Hal ini mendukung RQ1 dan RQ3: label penulisan saja tidak menggambarkan sejauh mana perubahan yang diperbolehkan. Perbandingan ini tidak memverifikasi klaim faktual dalam laporan tersebut atau menunjukkan bahwa salah satu hasil tersebut mematuhi instruksinya; izin kreatif pada B tetap terbatas pada penambahan fiksi.

Bukti merupakan salah satu properti yang diminta. Beberapa catatan memerlukan referensi yang tepat, meminta agar klaim faktual diverifikasi, atau mengharuskan adanya pembedaan antara ketidakpastian dan informasi yang telah terverifikasi. Hal ini tidak menunjukkan apakah jawaban yang dihasilkan dapat diandalkan. Hal ini menunjukkan bahwa pengguna secara eksplisit menjadikan bukti sebagai bagian dari hasil yang diminta.

Perbandingan 3 — Mengidentifikasi sumber dan membatasi pencarian eksternal.

Permintaan A — secara umum: Seorang pengguna meminta referensi ilmiah yang tepat terkait dengan gambar yang dilampirkan, yang disusun dalam format kutipan akademis. Permintaan B — secara umum: Seorang pengguna lain meminta perbandingan teknis yang ringkas mengenai berbagai bahan dengan memanfaatkan pengetahuan yang sudah ada pada model tersebut, serta secara tegas mengesampingkan pencarian di internet untuk menghemat kredit.

Perbedaannya terletak pada persyaratan bukti dan cara yang diperbolehkan untuk menjawab. A mensyaratkan sumber yang dapat diidentifikasi; sedangkan B memberlakukan batasan eksplisit terhadap pencarian dari sumber eksternal. A tidak menentukan prosedur pencarian yang wajib, dan pembatasan pada B tidak menghilangkan kebutuhan akan akurasi. Keduanya mendukung pandangan RQ1 bahwa strategi bukti bersifat spesifik tugas. Gambar dan jawaban yang telah diselesaikan tidak dievaluasi di sini, sehingga baik identifikasi sumber yang berhasil maupun saran teknis yang andal tidak dapat dibuktikan.

Perbedaan kasus-kasus ini penting. Sebuah pertanyaan faktual langsung tidak perlu menyebutkan berkas tertentu. Beberapa permintaan bertujuan untuk mendapatkan penilaian atau penjelasan, dan salah satu jenis yang diteliti secara eksplisit membatasi pencarian eksternal. Oleh karena itu, temuan-temuan ini mendukung berbagai bentuk kegunaan, bukan preferensi universal terhadap produksi artefak atau penelitian yang maksimal.

4.2 RQ2: Pendelegasian dapat mempertahankan batas yang eksplisit dalam proses eksekusi

Materi tersebut mencakup permintaan agar disusun rencana sebelum disusun draf, permintaan agar disiapkan versi awal sebelum ringkasan yang siap dipaparkan, serta permintaan saran mengenai sejauh mana suatu proses sebaiknya diotomatisasi. Permintaan-permintaan ini mendelegasikan sebagian pekerjaan sambil menunda keputusan lebih lanjut. Catatan-catatan lain meminta agar pelaksanaan langsung dilakukan atau agar hasil akhir yang lengkap segera diserahkan.

Perbandingan 4 — Merencanakan sekarang dan membuat kode sekarang.

Permintaan A — secara umum: Seorang pengguna menjelaskan sebuah proyek perangkat lunak, namun secara tegas meminta sistem untuk berfokus pada penelitian dan perencanaan implementasi dalam tanggapan kali ini, serta menunda pembuatan kode hingga perintah berikutnya. Permintaan B — secara umum: Pengguna lain meminta kode sumber yang mengimplementasikan rutinitas otomatis tertentu, dengan pengaturan dan aturan operasional yang dapat dikonfigurasi.

Keduanya berkaitan dengan pengembangan perangkat lunak, namun batas pelaksanaan masing-masing saat ini berbeda. A menetapkan tujuan implementasi di masa depan sambil membatasi tugas saat ini pada tahap perencanaan; B meminta implementasi dalam tanggapan saat ini. Hal ini mendukung RQ2: mendelegasikan sebuah proyek tidak secara otomatis memberikan wewenang atas setiap langkah berikutnya sekaligus. Pasangan ini tidak membuktikan bahwa tahap pengkodean A yang terjadi kemudian benar-benar terjadi, bahwa program B berfungsi, atau bahwa perencanaan terlebih dahulu meningkatkan hasil. Ini adalah permintaan yang terpisah, bukan urutan sebelum-dan-sesudah yang teramati.

Kontras ini memperjelas perbedaan sederhana antara meminta dan melakukan. Sebuah permintaan mungkin berkaitan dengan hasil akhir, sementara meminta sistem untuk berhenti pada tahap antara saat ini. Jika hal ini dianggap sebagai eksekusi tanpa batasan, maka batas kendali yang dinyatakan secara eksplisit akan terlewatkan.

Kutipan-kutipan lanjutan tersebut menambahkan sudut pandang lain. Pengguna meminta perubahan bahasa, melengkapi konteks yang kurang, meminta format yang berbeda, mencari tautan sumber, atau menanyakan cara mengakses suatu hasil. Ini adalah persyaratan interaksi yang berbeda. Ketiganya tidak dapat semuanya dikategorikan sebagai pemulihan kegagalan: suatu persyaratan baru mungkin merupakan penjabaran lebih lanjut dari tugas tersebut, bukan sekadar respons terhadap suatu kesalahan.

Kutipan-kutipan ini juga tidak dapat menunjukkan urutan universal mulai dari pertanyaan, draf, hingga berkas akhir. Paket tersebut tidak menyediakan riwayat tanggapan yang lengkap dan telah diverifikasi secara independen. Kami hanya melihat formulir permohonan dan beberapa tindak lanjut lokal, bukan model proses umum atau probabilitas transisi.

4.3 RQ2: Beberapa penelitian berfokus pada akses dan transfer antar alat

Beberapa pesan menanyakan di mana letak hasil kerja sebelumnya, bagaimana cara mengunggah materi, model mana yang dapat menangani tugas yang diusulkan, atau bagaimana cara menggunakan integrasi. Permintaan-permintaan ini berkaitan dengan lingkungan di mana pekerjaan tersebut dilakukan. Permintaan-permintaan tersebut berbeda dari tugas konten eksternal, meskipun diperlukan untuk melaksanakannya.

Catatan lain meminta petunjuk untuk gambar, presentasi, atau alat penelitian terpisah. Di sini, petunjuk itu sendiri merupakan hasil kerja sementara yang dimaksudkan. Hal ini mungkin merupakan bagian dari alur kerja yang lebih luas, tetapi catatan tersebut tidak membuktikan bahwa alat hilir tersebut telah digunakan atau bahwa pergantian model benar-benar terjadi.

Implikasi analitisnya adalah bahwa permintaan AI yang ditujukan kepada pengguna dapat mencakup setidaknya tiga objek yang berbeda: tugas itu sendiri, hasilnya, dan akses ke sarana untuk menghasilkan atau memperoleh hasil tersebut. Pertanyaan-pertanyaan terkait platform menunjukkan kebutuhan navigasi yang terungkap; namun, pertanyaan-pertanyaan tersebut, secara terpisah, tidak dapat membuktikan adanya cacat antarmuka atau kemampuan yang tidak tersedia.

4.4 RQ3: Label topik merangkum perbedaan-perbedaan yang melintasi berbagai tugas

Pengklasifikasian ulang kategori sisa yang dilakukan sebelumnya mengidentifikasi produksi visual, pencarian informasi, penulisan, saran praktis, bantuan perangkat lunak, dokumen terstruktur, pemrograman, pembelajaran, dan navigasi platform di antara catatan-catatan yang semula diberi label “lainnya”. Tabel tambahan tersebut juga berisi permintaan eksplisit yang operasinya tidak dijelaskan dengan baik oleh label topik yang ada. Beberapa bidang sumber yang panjang diakhiri dengan instruksi operasional untuk menerjemahkan, meringkas, atau membuat dokumen.

Ada dua masalah pengukuran yang muncul. Pertama, sebuah pengklasifikasi mungkin merespons materi yang disisipkan, bukan operasi yang diminta dari model tersebut. Kedua, bahkan penentuan topik yang tepat pun dapat mengabaikan kondisi format, keakuratan, bukti, atau persetujuan yang membedakan satu permintaan dari permintaan lainnya.

Dimensi Bukti dalam bahan yang diperiksa Apa yang tidak tercakup dalam label yang hanya berdasarkan topik Kasus batas
Pengiriman Permintaan untuk hasil yang dapat diedit atau diunduh Apakah teks saja sudah cukup untuk memenuhi permintaan tersebut Penjelasan langsung tanpa persyaratan berkas
Kesetiaan Petunjuk untuk mencatat fakta, urutan, atau rincian sumber Seberapa besar perubahan yang diperbolehkan? Pembentukan terbuka
Bukti Permintaan referensi atau verifikasi fakta Dasar yang disebutkan untuk menerima suatu klaim Batasan eksplisit terhadap penelitian eksternal
Kontrol Perencanaan atau peninjauan sebelum pelaksanaan Apa saja yang diizinkan dilakukan oleh sistem pada tahap tersebut Permintaan untuk produksi segera
Transfer Perintah yang ditujukan untuk alat lain Peran perantara dari hasil yang diminta Hasil yang dimaksudkan untuk digunakan dalam percakapan tersebut
Akses Pertanyaan seputar model, pengunggahan, riwayat, dan integrasi Pekerjaan yang difokuskan pada lingkungan layanan Tugas eksternal yang tidak menyebutkan pengoperasian platform

Dimensi-dimensi ini dapat saling tumpang tindih. Dimensi-dimensi tersebut merupakan kerangka interpretatif, bukan klasifikasi yang baru divalidasi dan mencakup segala aspek. Tabel ini merangkum perbedaan-perbedaan dalam materi yang diteliti dan tidak menyajikan peringkat frekuensi.

Perbedaan persyaratan pengguna terkait pengiriman, perubahan yang diizinkan, bukti, dan pelaksanaan.
Perbandingan kualitatif secara umum pada permintaan-permintaan tertentu; bukan frekuensi, eksperimen yang sebanding, atau hasil yang terukur.

4.5 Catatan yang tidak dapat ditafsirkan secara substantif

Tabel tinjauan utama berisi pola respons singkat yang berulang atau tetap. Asal-usulnya tidak diketahui; pola-pola tersebut mungkin mencerminkan penggunaan biasa, evaluasi, pemeriksaan konektivitas, contoh yang disalin, atau proses lain. Pola-pola tersebut tidak dihapus tanpa pemberitahuan maupun diidentifikasi sebagai lalu lintas pengujian yang telah dikonfirmasi.

Kolom-kolom lainnya berisi deklarasi peran yang disematkan, penanda alat, atau riwayat percakapan yang disalin. Pengemasan semacam itu mempersulit penentuan asal-usul suatu kalimat terkait permintaan pengguna saat ini. Beberapa catatan hanya berisi materi sumber atau potongan teks yang tujuannya tidak dapat ditentukan tanpa konteks yang lengkap.

Kasus-kasus ini berguna secara analitis karena membatasi cakupan klaim tersebut. Kumpulan data tersebut bukanlah transkrip yang transparan dari episode-episode pendelegasian yang independen dan teramati sepenuhnya. Kategori tugas yang lebih baik saja tidak dapat menghilangkan ketidakpastian mengenai apa yang diwakili oleh catatan yang tersimpan tersebut.

5. Pembahasan

5.1 Mendelegasikan proses produksi tidak sama dengan melepaskan kendali

Penafsiran utamanya adalah bahwa permintaan dapat mendelegasikan suatu operasi sambil tetap mempertahankan syarat-syarat terkait hasil dan prosesnya. Seorang pengguna dapat meminta sistem untuk menghasilkan draf sambil mempertahankan fakta-fakta yang ada, merencanakan implementasi sebelum menghasilkan kode, atau menyediakan bukti sebelum pengambilan keputusan. Hal-hal ini sejalan dengan pendelegasian tugas, bukan merupakan pengecualian darinya.

Hal ini memperluas pembedaan antara pencarian informasi dan produksi pada tingkat persyaratan yang dinyatakan. Hal ini tidak membentuk teori universal baru mengenai kolaborasi manusia-AI. Materi ini cukup untuk menunjukkan mengapa satu label niat mungkin memerlukan dimensi-dimensi pendamping, tetapi tidak cukup untuk memperkirakan seberapa sering setiap kombinasi tersebut terjadi.

5.2 Pembuatan keluaran dan penyampaian yang dapat dimanfaatkan merupakan sasaran evaluasi yang terpisah

Penilaian yang hanya memeriksa apakah suatu tanggapan membahas suatu topik mungkin melewatkan syarat-syarat penyampaian yang eksplisit. Untuk permintaan artefak yang diperiksa, penilaian yang bermanfaat juga akan menanyakan apakah formulir yang diminta telah disampaikan, tetap dapat diedit saat diperlukan, mempertahankan konten sumber yang ditentukan, dan mematuhi batas persetujuan bertahap.

Ini adalah kriteria evaluasi yang diusulkan, yang disusun berdasarkan permintaan, bukan hasil kinerja yang terukur. Data yang ada saat ini tidak memungkinkan kami untuk menilai tingkat kepatuhan yang sebenarnya. Meskipun demikian, pembedaan ini membantu merumuskan ukuran hasil di masa depan yang lebih tepat daripada sekadar menghitung jumlah pesan atau sekadar adanya tindak lanjut.

5.3 Hal-hal yang tidak dapat dibuktikan oleh temuan-temuan tersebut mengenai koordinasi

Menentukan persyaratan, memeriksa bukti, dan mengambil berkas dapat dipahami sebagai kegiatan koordinasi seputar pekerjaan yang didelegasikan. Kehadiran kegiatan-kegiatan tersebut memunculkan pertanyaan yang lebih mendalam: apakah AI mengurangi total upaya, ataukah justru mendistribusikannya kembali ke arah penetapan persyaratan dan pemeriksaan?

Penelitian ini tidak menjawab pertanyaan tersebut. Penelitian ini tidak memiliki kelompok pembanding, pengukuran waktu, hasil yang lengkap, dan penilaian keberhasilan tugas yang independen. Tindakan lanjutan dapat berupa kolaborasi yang bermanfaat, gesekan yang dapat dihindari, perubahan tujuan, atau langkah rutin berikutnya. Dengan hanya menghitungnya, kita tidak dapat membedakan penjelasan-penjelasan tersebut.

Hipotesis-hipotesis di masa mendatang dapat mengkaji apakah kondisi penyampaian yang eksplisit dapat memprediksi revisi format di kemudian hari, atau apakah permintaan persetujuan bertahap berkaitan dengan berkurangnya tindakan yang tidak diinginkan. Pengujian hipotesis-hipotesis tersebut akan memerlukan episode yang saling terkait, label yang tervalidasi, serta penanganan yang tepat terhadap pengamatan berulang pada pengguna. Hal-hal tersebut masih merupakan usulan penelitian, bukan temuan dari laporan ini.

6. Keterbatasan

Seleksi dan ketergantungan. Tabel-tabel tinjauan tersebut disediakan untuk tujuan diagnostik, dengan probabilitas inklusi yang tidak diketahui. Beberapa teks awal muncul berulang kali baik di dalam maupun di antara tabel-tabel tersebut. Catatan-catatan tersebut tidak dapat mendukung klaim mengenai prevalensi populasi maupun klaim replikasi independen.

Penafsiran. Seorang asisten AI melakukan analisis tersebut dengan label asli yang masih terlihat. Tidak ada validasi independen oleh manusia maupun perkiraan reliabilitas antarpenilai. Kerangka kerja analitis tersebut dikembangkan setelah menelaah data dan mungkin mencerminkan ekspektasi analis.

Pembacaan dan konteks yang tidak lengkap. Pemeriksaan difokuskan pada bagian-bagian pembuka, bagian penutup tertentu, dan kutipan lanjutan. Bagian-bagian sumber yang panjang, lampiran yang dirujuk, serta tanggapan asisten secara lengkap tidak diperiksa secara menyeluruh. Beberapa petunjuk atau contoh tandingan mungkin terlewatkan.

Batas ekstraksi. Baris-baris yang diberi label GPT dalam jendela mungkin tidak mencakup aktivitas sebelumnya, sesudahnya, atau yang terjadi di antaranya. Rute model belum diverifikasi secara independen. Baris-baris yang disimpan dapat berisi riwayat yang tertanam; jumlah baris tidak selalu mencerminkan perputaran alami.

Hasil. Permintaan tidak menjamin pengiriman, keakuratan, kepuasan, produktivitas, konversi, atau keunggulan model. Penelitian ini tidak menyimpulkan atribut pribadi yang sensitif berdasarkan isi permintaan.

Kemampuan transfer dan konteks komersial. Temuan ini berkaitan dengan catatan-catatan terpilih dari satu platform multi-model. Temuan ini tidak mewakili penggunaan resmi ChatGPT maupun masyarakat luas. Kepentingan komersial platform tersebut serta tidak adanya tinjauan penelitian independen perlu dipertimbangkan saat menafsirkan temuan ini.

7. Kesimpulan

Permintaan yang diperiksa membedakan antara operasi yang didelegasikan kepada GPT dengan syarat-syarat yang melekat pada hasil yang dapat digunakan. Syarat-syarat tersebut mencakup format penyampaian, kesetiaan terhadap materi sumber, bukti, dan kesempatan untuk meninjau sebelum mengambil tindakan lebih lanjut. Akses ke platform dan petunjuk penggunaan alat-alat lain menambahkan persyaratan yang tidak dapat ditangkap hanya oleh label topik saja.

Bukti-bukti tersebut mendukung suatu proposisi yang spesifik: pendelegasian dan pengendalian yang tetap dapat berjalan beriringan dalam suatu permintaan. Untuk menggambarkan hubungan tersebut, perlu diperhatikan apa yang diinginkan pengguna sebagai hasilnya, apa yang harus tetap tidak berubah, dan apa yang diminta sistem untuk dilakukan selanjutnya. Analisis ini mengidentifikasi perbedaan-perbedaan tersebut; analisis ini tidak memperkirakan frekuensi kemunculannya dalam populasi maupun menunjukkan bahwa perbedaan-perbedaan tersebut meningkatkan hasil.

Daftar Pustaka

  1. Chatterji, A., Cunningham, T., Deming, D. J., Hitzig, Z., Ong, C., Shan, C. Y., & Wadman, K. (2025). Bagaimana Orang-Orang Menggunakan ChatGPT. Makalah Kerja NBER No. 34255. https://doi.org/10.3386/w34255. Catatan resmi: https://www.nber.org/papers/w34255. Makalah kerja ini tidak disajikan di sini sebagai artikel jurnal yang telah melalui proses tinjauan sejawat.
  2. Gale, N. K., Heath, G., Cameron, E., Rashid, S., & Redwood, S. (2013). Penerapan metode kerangka kerja untuk analisis data kualitatif dalam penelitian kesehatan multidisiplin. BMC Medical Research Methodology, 13, 117. https://doi.org/10.1186/1471-2288-13-117. Teks lengkap: https://pmc.ncbi.nlm.nih.gov/articles/PMC3848812/.

Lampiran A. Daftar kategori kualitatif

Proses pengkodean eksploratif tersebut mengidentifikasi produksi visual, petunjuk respons tetap, pencarian informasi, penulisan, saran praktis, navigasi platform, masukan yang ambigu, pemecahan masalah perangkat lunak, hasil kerja terstruktur, pengkodean, pembelajaran, musik, pengembangan ide, restrukturisasi sumber panjang, serta pengemasan peran/riwayat.

Daftar ini memaparkan kategori-kategori yang ditemukan dalam materi yang dipilih. Jumlah kategori dan totalnya tidak diungkapkan; daftar ini bukanlah peringkat frekuensi maupun perkiraan permintaan platform.

Pengungkapan terkait penelitian

Bantuan AI: Seorang asisten AI memeriksa kutipan-kutipan yang disebutkan, menyusun interpretasi eksploratif, menghitung pemeriksaan deskriptif, dan menyusun draf naskah. Tidak ada klaim kesesuaian dengan label yang diberikan oleh manusia secara independen.

Ketersediaan data: Paket data yang mendasari laporan ini berisi catatan rahasia yang dibagikan secara sukarela oleh kontributor yang berwenang dan tidak dipublikasikan. Ringkasan angka yang tepat serta tanggal pengamatan juga tidak diungkapkan. Laporan ini tidak mengizinkan penyebaran ulang pesan atau templat individu. Semua contoh dalam temuan merupakan deskripsi umum, bukan kutipan pribadi.

Bagikan Postingan:

Postingan Terkait