Published on

Alec Radford: Arkitek GPT Tanpa Ijazah Doktor Falsafah Merevolusikan Era AI

Pengarang
  • avatar
    Nama
    Ajax
    Twitter

Alec Radford: Arkitek GPT yang Tidak Didendang

Majalah Wired pernah membandingkan kedudukan Alec Radford di OpenAI dengan inovasi Larry Page dalam carian internet melalui PageRank. Kerja Radford, terutamanya dalam kajian Transformer dan GPT, telah mengubah cara model bahasa kecerdasan buatan beroperasi secara asas.

OpenAI baru-baru ini mengumumkan penstrukturan semula organisasi, dibahagikan kepada syarikat untung dan organisasi bukan untung. Pada masa yang sama, Ketua Pegawai Eksekutif OpenAI, Sam Altman, telah menghantar mesej di platform X, mengucapkan terima kasih kepada beberapa tokoh veteran OpenAI, dan secara khusus memuji Alec Radford, menggelarnya "genius bertaraf Einstein," dan menyatakan bahawa banyak kemajuan dalam bidang kecerdasan buatan hari ini boleh dikesan kembali kepada hasil penyelidikan beliau.

Dilaporkan bahawa Radford telah meninggalkan OpenAI bulan lepas untuk menjalankan penyelidikan bebas.

Pencapaian Akademik:

  • Kertas kerja Radford telah dipetik lebih daripada 190,000 kali.
  • Beliau mempunyai beberapa kertas kerja yang dipetik lebih daripada 10,000 kali.

Latar Belakang yang Mengejutkan:

  • Radford tidak mempunyai ijazah doktor falsafah, malah tidak mempunyai ijazah sarjana.
  • Banyak hasil penyelidikan perintisnya pada mulanya diselesaikan dalam Jupyter Notebook.
  • Kisah Alec Radford sekali lagi menarik perhatian yang meluas dalam bidang kecerdasan buatan, dan orang ramai memujinya.

Kerjaya Alec Radford

Alec Radford adalah seorang penyelidik yang cemerlang dalam bidang pemprosesan bahasa semula jadi dan visi komputer. Beliau pernah berkhidmat sebagai pembangun pembelajaran mesin dan penyelidik di OpenAI, dan sebelum ini berkhidmat sebagai pengarah penyelidikan di syarikat indico.

Semasa di OpenAI, Radford terlibat dalam penulisan beberapa kertas kerja mengenai model bahasa pra-latihan generatif (GPT), dan menerbitkan beberapa kertas kerja di persidangan dan jurnal terkemuka seperti NeurIPS, ICLR, ICML dan Nature.

Beliau juga pernah berkongsi pandangannya tentang kecerdasan buatan di X/Twitter, tetapi tidak lagi aktif sejak Mei 2021. Tweet terakhirnya menjelaskan sebab lebar lapisan GPT-1 ditetapkan kepada 768. Menurut maklumat di LinkedIn, Alec Radford belajar di Franklin W. Olin College of Engineering dari 2011 hingga 2016 dan memperoleh ijazah sarjana muda. Kolej kejuruteraan swasta di Needham, Massachusetts ini terkenal dengan kadar penerimaan yang rendah dan pendidikan elit.

Sistem akademik Olin College of Engineering dipanggil "Segitiga Olin," yang merangkumi asas sains dan kejuruteraan, keusahawanan dan kesusasteraan. Sekolah ini hanya menawarkan empat ijazah: kejuruteraan mekanikal, kejuruteraan elektrik dan komputer, sains komputer, dan kejuruteraan bioperubatan.

Sekolah ini memberi penekanan kepada pendidikan praktikal, menggalakkan pelajar untuk menggabungkan pengetahuan dengan cabaran sebenar dan mengejar minat mereka sendiri.

Semasa pengajian sarjana mudanya, Radford sangat berminat dalam pembelajaran mesin. Beliau dan rakan-rakannya menyertai pertandingan Kaggle dan berjaya, yang akhirnya membawa kepada pelaburan modal teroka. Pada tahun 2013, Radford dan rakan kongsi menubuhkan indico di asrama, menyediakan penyelesaian pembelajaran mesin untuk perniagaan.

Semasa di indico, Radford bertanggungjawab terutamanya untuk mengenal pasti, membangunkan dan menambah baik teknologi pembelajaran mesin imej dan teks yang menjanjikan, dan memajukannya daripada peringkat penyelidikan kepada aplikasi industri.

Beliau menjalankan penyelidikan tentang rangkaian generatif adversarial (GAN) dan mencadangkan DCGAN untuk meningkatkan kebolehpercayaan GAN, yang dianggap sebagai kejayaan penting dalam bidang GAN.

Oleh kerana pengaruh wilayah Boston dalam bidang kecerdasan buatan tidak sehebat gergasi teknologi di Pantai Barat, dan dengan sumber yang terhad, Radford menyertai OpenAI pada tahun 2016.

Beliau menggambarkan pekerjaan barunya "seperti menyertai program siswazah," dengan persekitaran penyelidikan AI yang terbuka dan rendah tekanan.

Radford bersifat rendah diri dan tidak mahu berurusan dengan media. Beliau membalas pertanyaan daripada Wired melalui e-mel tentang kerja awalnya di OpenAI, menyatakan bahawa beliau paling berminat untuk membolehkan rangkaian saraf berkomunikasi dengan jelas dengan manusia.

Beliau percaya bahawa robot sembang pada masa itu (dari ELIZA hingga Siri dan Alexa) mempunyai batasan, jadi beliau menumpukan perhatian untuk meneroka aplikasi model bahasa dalam pelbagai tugas, tetapan, domain dan senario.

Eksperimen pertamanya adalah menggunakan 2 bilion komen Reddit untuk melatih model bahasa. Walaupun gagal, OpenAI memberinya ruang yang cukup untuk mencuba dan melakukan kesilapan. Ini meletakkan asas bagi satu siri kejayaan revolusioner yang kemudiannya, seperti GPT generasi pertama yang terkenal, dan pembangunan GPT-2 yang diketuai oleh beliau.

Kerja-kerja ini meletakkan asas bagi model bahasa besar moden. Majalah Wired oleh itu membandingkan peranan Alec Radford di OpenAI dengan Larry Page yang mencipta PageRank. Perlu diingatkan bahawa walaupun PageRank adalah hasil kerja Larry Page semasa beliau melanjutkan pengajian doktor falsafah di Stanford, beliau kemudiannya tidak menamatkan ijazah doktor falsafahnya.

Alec Radford juga terlibat dalam penulisan kertas kerja GPT-3, serta kerja penyelidikan data dan seni bina pra-latihan GPT-4.

Pada penghujung tahun 2024, sebelum hari terakhir OpenAI mengeluarkan 12 mesej berturut-turut, berita keluar bahawa Alec Radford akan meninggalkan OpenAI, tetapi buat masa ini tidak jelas sama ada ini berkaitan dengan penstrukturan semula organisasi OpenAI.

Buat masa ini, kita hanya tahu bahawa beliau akan menjadi seorang penyelidik bebas. Beliau mungkin memilih untuk memasuki universiti untuk melanjutkan pengajian doktor falsafah, atau muncul semula dengan hasil penyelidikan baharu selepas tempoh sunyi. Walau apa pun, masa depan yang dicipta oleh Alec Radford sedang tiba. Sama ada kecerdasan buatan umum (AGI) yang diramalkan oleh Altman akan direalisasikan tahun ini, 2025 akan menjadi tahun yang penting dalam bidang kecerdasan buatan.