Hukum Penskalaan AI Masih Berterusan: Pandangan CEO Anthropic tentang Model Besar

Pengenalan

Dalam dunia kecerdasan buatan (AI) yang sentiasa berkembang, perdebatan mengenai had penskalaan model besar terus menjadi topik hangat. Dario Amodei, CEO Anthropic, sebuah syarikat terkemuka dalam bidang AI, berpendapat bahawa hukum penskalaan untuk model AI masih belum mencapai hadnya. Ini bermakna, dengan meningkatkan saiz model, data, dan masa latihan, kita masih boleh melihat peningkatan yang signifikan dalam keupayaan AI. Pandangan ini bertentangan dengan kebimbangan yang semakin meningkat tentang batasan data dan sumber pengkomputeran.

Hukum Penskalaan dan Batasannya

Amodei menjelaskan bahawa hukum penskalaan, yang telah disahkan melalui pemerhatian dalam beberapa tahun kebelakangan ini, terus menjadi panduan yang relevan dalam pembangunan AI. Beliau percaya bahawa walaupun terdapat kebimbangan tentang kekurangan data, penyelesaian seperti data sintetik dan model penaakulan dapat membantu mengatasi batasan ini.

Data Sintetik dan Model Penaakulan

Data sintetik, yang dihasilkan oleh AI sendiri, menawarkan cara untuk melatih model tanpa bergantung sepenuhnya pada data dunia nyata. Model penaakulan pula, membolehkan AI untuk memproses dan memahami maklumat dengan lebih baik, yang seterusnya meningkatkan keupayaan pembelajaran mereka.

Peningkatan Model

Peningkatan dalam keupayaan model AI sangat ketara. Sebagai contoh, prestasi pada penanda aras seperti SWE-bench telah meningkat daripada 3-4% kepada 50% dalam masa sepuluh bulan. Ini menunjukkan bahawa kita masih jauh daripada mencapai had potensi AI.

Pentingnya Pasca-Latihan

Amodei juga menekankan bahawa kos pasca-latihan, yang melibatkan penambahbaikan model selepas pra-latihan, mungkin akan melebihi kos pra-latihan di masa hadapan. Ini kerana kaedah yang bergantung sepenuhnya pada manusia untuk meningkatkan kualiti model tidak dapat diskalakan. Oleh itu, kaedah penyeliaan yang lebih berskala diperlukan.

Peranan RLHF

Pengukuhan Pembelajaran daripada Maklum Balas Manusia (RLHF) memainkan peranan penting dalam menjembatani jurang komunikasi antara manusia dan model. Walau bagaimanapun, RLHF tidak membuat model menjadi lebih bijak secara inheren, sebaliknya membantu mereka berkomunikasi dengan lebih baik.

Persepsi Pengguna

Persepsi pengguna bahawa model menjadi "lebih bodoh" mungkin tidak sepenuhnya salah. Ini mungkin disebabkan oleh kerumitan model dan pelbagai faktor yang mempengaruhi prestasi mereka. Penting untuk memahami bahawa model direka untuk berfungsi dan menyelesaikan tugas, bukan untuk difahami dengan mudah oleh manusia.

Ciri-Ciri Model dan Perbezaan

Perbezaan antara model tidak selalu ditangkap oleh penanda aras. Faktor seperti kesopanan, ketegasan, responsif, dan proaktif juga memainkan peranan penting. Ini menunjukkan bahawa penilaian yang komprehensif terhadap model AI memerlukan lebih daripada sekadar metrik kuantitatif.

Pengalaman Praktikal

Interaksi langsung dengan model adalah penting untuk memahaminya, bukan hanya membaca kertas penyelidikan. Pengalaman praktikal memberi kita pandangan yang lebih mendalam tentang keupayaan dan batasan model.

AI Perlembagaan

Pendekatan AI Perlembagaan adalah alat untuk meningkatkan model, mengurangkan pergantungan pada RLHF, dan meningkatkan penggunaan setiap titik data RLHF. Ia melibatkan penggunaan satu set prinsip untuk membimbing latihan model, membolehkan model melatih diri mereka sendiri.

Latar Belakang dan Konteks

Pengalaman Amodei dalam bidang AI selama 10 tahun, bermula dengan sistem pengecaman pertuturan, telah memberinya wawasan yang berharga tentang perkembangan AI. Beliau memerhatikan bahawa peningkatan saiz model, data, dan masa latihan meningkatkan prestasi.

Pengesahan Hukum Penskalaan

Peralihan dari 2014 hingga 2017 adalah penting, mengesahkan bahawa penskalaan saiz model dapat mencapai tugas kognitif yang kompleks. Penskalaan melibatkan pengembangan linear saiz rangkaian, masa latihan, dan data. Ketiga-tiga komponen ini mesti ditingkatkan secara berkadar.

Penskalaan Melangkaui Bahasa

Hukum penskalaan juga berlaku untuk modaliti lain seperti imej, video, dan matematik. Ia juga berlaku untuk pasca-latihan dan model yang direka semula. Konsep ini berkaitan dengan "1/f noise" dan "1/x distribution" dalam fizik, di mana proses semula jadi mempunyai skala yang berbeza, dan model yang lebih besar menangkap corak yang lebih kompleks.

Batasan Penskalaan

Walaupun had sebenar tidak diketahui, Amodei percaya bahawa penskalaan dapat mencapai kecerdasan peringkat manusia. Beberapa bidang mungkin mempunyai had yang hampir dengan keupayaan manusia, sementara yang lain mempunyai lebih banyak ruang untuk peningkatan.

Batasan Data dan Pengkomputeran

Kekurangan data adalah batasan yang berpotensi, tetapi data sintetik dan model penaakulan dapat membantu. Skala pengkomputeran semasa berada dalam bilion, dijangka mencapai puluhan bilion tahun depan, dan berpotensi ratusan bilion menjelang 2027.

Pembangunan dan Ciri-Ciri Model

Anthropic telah mengeluarkan siri model Claude 3 dengan pelbagai saiz dan keupayaan: Opus (paling berkuasa), Sonnet (pertengahan), dan Haiku (cepat dan kos efektif). Nama-nama ini diilhamkan oleh puisi, dengan Haiku menjadi yang paling pendek dan Opus yang paling luas. Setiap generasi model baharu bertujuan untuk meningkatkan keseimbangan antara prestasi dan kos. Proses latihan model termasuk pra-latihan, pasca-latihan, dan ujian keselamatan.

Penggunaan Semula Data RLHF

Data keutamaan daripada model yang lebih lama boleh digunakan untuk melatih model baharu. AI Perlembagaan pula menggunakan satu set prinsip untuk membimbing latihan model, membolehkan model melatih diri mereka sendiri. Model mempunyai ciri unik yang tidak selalu ditangkap oleh penanda aras, seperti kesopanan dan responsif.

Pengekodan dan IDE

Sonnet 3.5 menunjukkan peningkatan yang signifikan dalam pengekodan, menjimatkan masa jurutera dalam tugas yang sebelum ini mengambil masa berjam-jam. Kadar kejayaan model pada penanda aras SWE-bench telah meningkat daripada 3% kepada 50% dalam 10 bulan.

Kesan AI pada Pengaturcaraan

Pengaturcaraan dijangka berubah dengan pesat kerana hubungannya yang rapat dengan pembangunan AI. AI boleh menulis, menjalankan, dan menganalisis kod, mewujudkan sistem gelung tertutup untuk kemajuan pesat. AI dijangka mengendalikan kebanyakan tugas pengekodan rutin menjelang 2026 atau 2027, membolehkan manusia memberi tumpuan kepada reka bentuk dan seni bina sistem peringkat tinggi.

IDE Masa Depan

IDE mempunyai potensi besar untuk peningkatan, tetapi Anthropic tidak merancang untuk membangunkan IDE sendiri. Mereka lebih suka menyediakan API untuk orang lain membina alat.

Penggunaan dan Keselamatan Komputer

Fungsi Penggunaan Komputer membolehkan model menganalisis tangkapan skrin dan melakukan tindakan dengan mengklik atau menekan kekunci. Keupayaan untuk menggunakan tangkapan skrin adalah contoh yang baik tentang generalisasi, di mana model pra-latihan yang berkuasa dapat menyesuaikan diri dengan mudah kepada tugas baharu. Penggunaan Komputer pada mulanya dikeluarkan sebagai API kerana kebimbangan keselamatan.

Langkah-Langkah Keselamatan

Penting untuk menggunakan model yang berkuasa ini dengan selamat dan mencegah penyalahgunaan. Dasar Penskalaan Bertanggungjawab (RSP) digunakan untuk menguji model untuk potensi risiko. Model dikategorikan ke dalam tahap ASL yang berbeza berdasarkan keupayaan dan potensi risiko mereka. Sandboxing digunakan semasa latihan untuk menghalang model daripada berinteraksi dengan dunia nyata.

Interpretasi Mekanisme

Interpretasi mekanisme adalah penting untuk memahami dan mengawal model, terutamanya pada tahap ASL yang lebih tinggi.

RLHF dan Tingkah Laku Model

Tujuan RLHF adalah untuk membantu model berkomunikasi dengan lebih baik dengan manusia, bukan membuat mereka lebih bijak secara inheren. RLHF boleh "membuka" model, membuang beberapa batasan tetapi tidak semua. Kos pasca-latihan dijangka melebihi kos pra-latihan di masa hadapan. Kaedah yang bergantung sepenuhnya pada manusia untuk meningkatkan kualiti model tidak dapat diskalakan, memerlukan kaedah penyeliaan yang lebih berskala.

Kebodohan Model

Persepsi pengguna tentang model yang menjadi "lebih bodoh" mungkin disebabkan oleh kerumitan model dan kepekaan mereka terhadap gesaan. Mengawal tingkah laku model adalah sukar, dan terdapat pertukaran antara ciri-ciri yang berbeza. Maklum balas pengguna adalah penting untuk memahami tingkah laku model, tetapi sukar untuk dikumpul dan ditafsirkan.

Persaingan dan Hala Tuju Masa Depan

Anthropic bertujuan untuk memberi contoh kepada syarikat lain untuk diikuti, mempromosikan pembangunan AI yang bertanggungjawab. Interpretasi mekanisme adalah bidang penyelidikan utama untuk Anthropic, yang bertujuan untuk memahami bagaimana model berfungsi secara dalaman. Model direka untuk berfungsi dan menyelesaikan tugas, bukan untuk difahami dengan mudah oleh manusia.

Bakat AI

Kepadatan bakat terkemuka adalah penting untuk kejayaan, bukan hanya pasukan yang besar. Mindset terbuka dan kesediaan untuk bereksperimen adalah kualiti penting untuk penyelidik dan jurutera AI. Interaksi langsung dengan model adalah penting untuk memahaminya. AI Perlembagaan membolehkan model melatih diri mereka sendiri berdasarkan satu set prinsip. Konsep Spesifikasi Model, serupa dengan AI Perlembagaan, mentakrifkan matlamat dan tingkah laku model.

Penyalahgunaan Bencana

Penyalahgunaan bencana adalah kebimbangan utama, melibatkan penyalahgunaan model dalam bidang seperti keselamatan siber dan senjata biologi. Apabila model mendapat lebih banyak autonomi, adalah penting untuk memastikan ia selaras dengan niat manusia. Tahap ASL mengkategorikan model berdasarkan keupayaan dan potensi risiko mereka.

Garis Masa AGI

Garis masa untuk mencapai AGI tidak pasti, tetapi ia boleh berlaku dalam beberapa tahun akan datang. AGI dalam biologi dan perubatan berpotensi untuk merevolusikan bidang ini dengan mempercepatkan penyelidikan dan pembangunan. Pada peringkat awal, AI akan bertindak sebagai pembantu penyelidikan, membantu saintis dengan eksperimen dan analisis data. Walaupun AI berpotensi untuk meningkatkan produktiviti dengan ketara, terdapat juga cabaran yang berkaitan dengan struktur organisasi dan penerimaan teknologi baharu yang perlahan.