Published on

Alec Radford: Arsitek Tak Terkenal di Balik Revolusi GPT

Penulis
  • avatar
    Nama
    Ajax
    Twitter

Alec Radford: Arsitek Tak Terkenal di Balik GPT

Majalah Wired pernah membandingkan peran Alec Radford di OpenAI dengan inovasi Larry Page dengan PageRank pada pencarian internet. Karya Radford, terutama dalam penelitian tentang Transformer dan GPT, telah mengubah cara kerja model bahasa kecerdasan buatan secara fundamental.

OpenAI baru-baru ini mengumumkan restrukturisasi organisasi, membagi diri menjadi perusahaan nirlaba dan perusahaan yang berorientasi pada laba. Bersamaan dengan itu, CEO OpenAI, Sam Altman, memposting di platform X, berterima kasih kepada beberapa tokoh senior OpenAI, dan secara khusus memuji Alec Radford, menyebutnya "jenius setingkat Einstein," dan menunjukkan bahwa banyak kemajuan di bidang kecerdasan buatan saat ini dapat ditelusuri kembali ke hasil penelitiannya.

Dilaporkan bahwa Radford telah meninggalkan OpenAI bulan lalu untuk melakukan penelitian independen.

Pencapaian Akademis

  • Kutipan makalah Radford telah melampaui 190.000 kali.
  • Beberapa makalahnya telah dikutip lebih dari 10.000 kali.

Latar Belakang yang Mengejutkan

  • Radford tidak memiliki gelar PhD, bahkan tidak memiliki gelar master.
  • Banyak dari hasil penelitian inovatifnya awalnya diselesaikan di Jupyter Notebook.

Kisah Alec Radford kembali menarik perhatian luas di bidang kecerdasan buatan, dan orang-orang memberikan pujian kepadanya.

Perjalanan Karir Alec Radford

Alec Radford adalah seorang peneliti terkemuka di bidang pemrosesan bahasa alami dan visi komputer. Dia pernah bekerja sebagai pengembang pembelajaran mesin dan peneliti di OpenAI, dan sebelumnya juga menjabat sebagai direktur penelitian di perusahaan indico.

Selama di OpenAI, Radford ikut menulis beberapa makalah tentang model bahasa generative pre-training (GPT), dan menerbitkan beberapa makalah di konferensi dan jurnal terkemuka seperti NeurIPS, ICLR, ICML, dan Nature.

Dia juga pernah berbagi pandangannya tentang kecerdasan buatan di X/Twitter, tetapi tidak aktif lagi sejak Mei 2021, dengan postingan terakhirnya menjelaskan alasan lebar lapisan GPT-1 diatur ke 768. Menurut informasi di LinkedIn, Alec Radford belajar di Franklin W. Olin College of Engineering dari tahun 2011 hingga 2016, dan memperoleh gelar sarjana. Perguruan tinggi teknik swasta di Needham, Massachusetts ini dikenal karena tingkat penerimaan yang rendah dan pendidikan elit.

Sistem akademik Olin College of Engineering disebut "Olin Triangle," yang meliputi dasar-dasar sains dan teknik, kewirausahaan, dan seni liberal. Sekolah ini hanya menawarkan empat gelar: teknik mesin, teknik elektro dan komputer, ilmu komputer, dan teknik biomedis.

Sekolah ini menghargai pendidikan praktis, mendorong siswa untuk menggabungkan pengetahuan dengan tantangan nyata, dan mengejar minat mereka sendiri.

Selama masa sarjana, Radford sangat antusias dengan pembelajaran mesin. Dia dan teman-temannya berpartisipasi dalam kompetisi Kaggle dan berhasil, yang akhirnya mendapatkan investasi modal ventura. Pada tahun 2013, Radford dan rekannya mendirikan indico di asrama, menyediakan solusi pembelajaran mesin untuk perusahaan.

Selama di indico, Radford terutama bertanggung jawab untuk mengidentifikasi, mengembangkan, dan meningkatkan teknologi pembelajaran mesin gambar dan teks yang menjanjikan, dan mendorongnya untuk bertransformasi dari tahap penelitian menjadi aplikasi industri.

Dia melakukan penelitian tentang generative adversarial networks (GAN), mengusulkan DCGAN untuk meningkatkan kemampuan pelatihan GAN, yang dianggap sebagai terobosan penting di bidang GAN.

Karena pengaruh wilayah Boston di bidang kecerdasan buatan tidak sekuat raksasa teknologi di Pantai Barat, ditambah dengan sumber daya yang terbatas, Radford bergabung dengan OpenAI pada tahun 2016.

Dia menggambarkan pekerjaan barunya "mirip dengan bergabung dengan program pascasarjana," dengan lingkungan penelitian AI yang terbuka dan bertekanan rendah.

Radford memiliki kepribadian yang rendah hati dan enggan berhubungan dengan media. Dia menanggapi pertanyaan dari Wired tentang karyanya di awal OpenAI melalui email, menyatakan bahwa dia paling tertarik untuk membuat jaringan saraf berkomunikasi dengan jelas dengan manusia.

Dia percaya bahwa chatbot saat itu (dari ELIZA hingga Siri dan Alexa) memiliki keterbatasan, jadi dia bertekad untuk mengeksplorasi aplikasi model bahasa dalam berbagai tugas, pengaturan, bidang, dan skenario.

Eksperimen pertamanya adalah menggunakan 2 miliar komentar Reddit untuk melatih model bahasa. Meskipun gagal, OpenAI memberinya cukup ruang untuk mencoba dan melakukan kesalahan. Ini meletakkan dasar bagi serangkaian terobosan revolusioner berikutnya, seperti GPT generasi pertama yang terkenal, dan pengembangan GPT-2 yang dipimpinnya.

Karya-karya ini meletakkan dasar bagi model bahasa besar modern. Majalah Wired kemudian membandingkan peran Alec Radford di OpenAI dengan Larry Page yang menemukan PageRank. Perlu dicatat bahwa meskipun PageRank adalah hasil karya Larry Page selama studi PhD-nya di Stanford, dia kemudian tidak menyelesaikan gelar PhD-nya.

Alec Radford juga berpartisipasi dalam penulisan makalah GPT-3, serta penelitian data dan arsitektur pra-pelatihan GPT-4.

Pada akhir tahun 2024, sebelum hari terakhir dari 12 hari pengumuman berturut-turut OpenAI, muncul berita bahwa Alec Radford akan meninggalkan OpenAI, tetapi saat ini tidak jelas apakah ini terkait dengan restrukturisasi organisasi OpenAI.

Saat ini, yang kita tahu hanyalah bahwa dia akan menjadi peneliti independen. Dia mungkin memilih untuk masuk universitas untuk mengejar gelar PhD, atau muncul kembali dengan hasil penelitian baru setelah beberapa waktu berdiam diri. Bagaimanapun, masa depan yang diciptakan oleh Alec Radford sedang datang. Terlepas dari apakah kecerdasan buatan umum (AGI) yang diprediksi oleh Altman akan terwujud tahun ini, tahun 2025 akan menjadi tahun yang sangat penting di bidang kecerdasan buatan.