o1 Bukan Model Chat Biasa: Perubahan Perspektif Altman dan Brockman

o1: Bukan Model Chat Biasa

Artikel ini membahas kehebohan seputar model o1, mengklarifikasi bahwa model ini tidak dirancang sebagai model obrolan, meskipun banyak pengguna awalnya memperlakukannya seperti itu. Pengungkapan ini muncul setelah posting blog berjudul 'o1 isn’t a chat model (and that’s the point)' mendapatkan perhatian, bahkan menarik perhatian CEO OpenAI Sam Altman dan Presiden Greg Brockman.

Kesalahpahaman dan Frustrasi

Ben Hylak, mantan insinyur perangkat lunak di SpaceX dan perancang interaksi untuk Apple VisionOS, berbagi pengalamannya yang membuat frustrasi dengan o1. Ia menemukan responsnya lambat, seringkali kontradiktif, dan dipenuhi dengan diagram arsitektur dan daftar pro dan kontra yang tidak diminta. Reaksi awal Hylak adalah bahwa o1 hanyalah 'sampah'.

Hylak mengalami waktu tunggu 5 menit untuk respons.
Respons seringkali bertentangan dan tidak masuk akal.
Model memberikan diagram dan daftar yang tidak diminta.

Frustrasinya menyebabkan posting media sosial yang menyatakan kekecewaannya, menyatakan bahwa o1 pro 'sangat buruk,' dan outputnya 'hampir tidak masuk akal.' Dia memberikan contoh meminta saran refactoring, hanya agar model menyarankan penggabungan file, memberikan kode yang tidak menggabungkan file, dan kemudian melompat ke kesimpulan yang tidak relevan.

Perubahan Perspektif

Pengalaman Hylak tidak universal. Beberapa pengguna menemukan o1 sangat efektif, yang mengarah pada diskusi lebih lanjut. Melalui interaksi ini, Hylak menyadari kesalahannya: dia menggunakan o1 sebagai model obrolan padahal tidak dimaksudkan untuk berfungsi sebagai itu.

Perubahan perspektif ini disambut baik oleh Altman, yang mencatat bahwa 'menarik untuk melihat perubahan sikap orang saat mereka belajar cara menggunakan o1 (termasuk versi pro).' Greg Brockman menggemakan ini dengan menunjukkan bahwa o1 adalah jenis model yang berbeda dan membutuhkan pendekatan yang berbeda untuk kinerja optimal.

o1: Generator Laporan

Artikel ini menyarankan bahwa alih-alih model obrolan, o1 harus dipandang sebagai 'generator laporan.' Dengan konteks yang cukup dan persyaratan output yang jelas, o1 dapat memberikan solusi secara efektif. Kuncinya adalah bagaimana model digunakan.

Dari Prompt ke Brief

Saat menggunakan model obrolan biasa, pengguna sering memulai dengan pertanyaan sederhana dan menambahkan konteks seperlunya, terlibat dalam interaksi bolak-balik iteratif. Namun, o1 tidak mencari konteks tambahan. Sebaliknya, pengguna perlu memberikan banyak konteks di awal, yang digambarkan sebagai 'banyak' informasi, atau sekitar sepuluh kali lipat konteks yang Anda gunakan untuk prompt standar.

Berikan semua detail solusi yang dicoba.
Sertakan dump skema database lengkap.
Jelaskan bisnis, skala, dan terminologi khusus perusahaan.

Disarankan untuk memperlakukan o1 seperti karyawan baru, memberikan semua informasi yang diperlukan sejak awal.

Fokus pada Output yang Diinginkan

Setelah memberikan konteks yang luas, pengguna harus dengan jelas mendefinisikan output yang diinginkan. Tidak seperti model lain di mana pengguna mungkin menentukan persona atau proses berpikir, dengan o1, Anda harus fokus hanya pada 'apa' yang Anda inginkan, bukan 'bagaimana' model harus melakukannya. Ini memungkinkan o1 untuk secara mandiri merencanakan dan melaksanakan langkah-langkah yang diperlukan, menghasilkan hasil yang lebih cepat dan efisien.

Kekuatan dan Kelemahan o1

o1 unggul dalam beberapa area:

Memproses seluruh file: Dapat menangani blok kode besar dan konteks yang luas, seringkali menyelesaikan seluruh file dengan kesalahan minimal.
Mengurangi halusinasi: o1 akurat dalam bidang seperti bahasa kueri khusus (misalnya, ClickHouse dan New Relic), sementara model lain mungkin mencampur sintaks.
Diagnosis medis: o1 dapat menawarkan diagnosis awal yang sangat akurat berdasarkan gambar dan deskripsi.
Menjelaskan konsep: Terampil dalam menjelaskan konsep teknik yang kompleks melalui contoh.
Menghasilkan rencana arsitektur: o1 dapat membuat beberapa rencana, membandingkannya, dan membuat daftar pro dan kontra.
Evaluasi: Menunjukkan potensi sebagai alat yang efektif untuk mengevaluasi hasil.

Namun, o1 juga memiliki keterbatasan:

Menulis dalam gaya tertentu: Cenderung menghasilkan laporan dalam gaya akademik atau korporat dan kesulitan beradaptasi dengan nada tertentu.
Membangun seluruh aplikasi: Meskipun mahir dalam menghasilkan seluruh file, tidak dapat membangun aplikasi SaaS penuh melalui iterasi. Namun, dapat menyelesaikan seluruh fitur, terutama fungsionalitas front-end atau back-end sederhana.

Pentingnya Penundaan

Artikel ini mencatat bahwa penundaan secara fundamental mengubah persepsi kita tentang produk, mengutip contoh seperti email vs pesan teks, dan pesan suara vs panggilan telepon. Hylak menyamakan o1 dengan email daripada model obrolan, karena penundaan dalam responsnya. Penundaan ini memungkinkan jenis produk baru yang mendapat manfaat dari kecerdasan latar belakang latensi tinggi dan berjalan lama. Pertanyaannya kemudian menjadi: tugas apa yang orang bersedia menunggu selama 5 menit, satu jam, satu hari, atau bahkan 3-5 hari kerja?

Penting untuk dicatat bahwa o1-preview dan o1-mini mendukung streaming tetapi tidak mendukung generasi terstruktur atau prompt sistem, sementara o1 mendukung generasi terstruktur dan prompt sistem tetapi tidak streaming. Memahami perbedaan ini akan sangat penting bagi pengembang saat merancang produk pada tahun 2025.