Published on

Doktora Derecesi Olmadan GPT Çağını Devrimleştiren OpenAI Öncüsü Alec Radford

Yazarlar
  • avatar
    Ad
    Ajax
    Twitter

Alec Radford: GPT'nin Gizli Mimarı

Wired dergisi, Alec Radford'ın OpenAI'deki konumunu, Larry Page'in PageRank'i icat ederek internet aramalarında yaptığı devrime benzetmiştir. Radford'ın özellikle Transformer ve GPT üzerine yaptığı çalışmalar, yapay zeka dil modellerinin çalışma şeklini temelden değiştirmiştir.

OpenAI yakın zamanda, kâr amaçlı bir şirket ve kâr amacı gütmeyen bir kuruluş olarak ikiye ayrıldığını duyurdu. Aynı zamanda, OpenAI CEO'su Sam Altman, X platformunda yaptığı bir paylaşımda, OpenAI'nin birçok eski üyesine teşekkür etti ve özellikle Alec Radford'ı "Einstein düzeyinde bir dahi" olarak övdü ve yapay zeka alanındaki birçok ilerlemenin onun araştırma sonuçlarına dayandığını belirtti.

Raporlara göre, Radford geçen ay OpenAI'den ayrılarak bağımsız araştırmalar yapmaya başlamıştır.

Akademik Başarılar

  • Radford'ın makalelerine yapılan atıf sayısı 190.000'i aşmıştır.
  • Birçok makalesi 10.000'den fazla atıf almıştır.

Şaşırtıcı Arka Plan

  • Radford'ın doktora derecesi yoktur, hatta yüksek lisans derecesi bile yoktur.
  • Birçok çığır açan araştırma sonucu başlangıçta Jupyter Notebook'ta tamamlanmıştır.

Alec Radford'ın hikayesi, yapay zeka alanında bir kez daha geniş ilgi görmüş ve kendisi övgüyle karşılanmıştır.

Alec Radford'ın Kariyeri

Alec Radford, doğal dil işleme ve bilgisayarlı görü alanlarında önde gelen bir araştırmacıdır. Daha önce indico şirketinde araştırma direktörü olarak görev yapmış olup, OpenAI'de makine öğrenimi geliştiricisi ve araştırmacısı olarak çalışmıştır.

OpenAI'de geçirdiği süre boyunca, Radford, üretken ön eğitim (GPT) dil modelleri üzerine birçok makale yazmış ve NeurIPS, ICLR, ICML ve Nature gibi üst düzey konferans ve dergilerde yayınlamıştır.

Ayrıca, X/Twitter'da yapay zeka hakkındaki görüşlerini paylaşmıştır, ancak Mayıs 2021'den beri aktif değildir. Son tweet'i, GPT-1 katman genişliğinin neden 768 olarak ayarlandığını açıklamaktadır. LinkedIn'deki bilgilere göre, Alec Radford, 2011-2016 yılları arasında Franklin W. Olin Mühendislik Koleji'nde okumuş ve lisans derecesi almıştır. Massachusetts, Needham'da bulunan bu özel mühendislik koleji, düşük kabul oranı ve elit eğitimiyle tanınmaktadır.

Olin Mühendislik Koleji'nin akademik sistemi "Olin Üçgeni" olarak adlandırılır ve bilim ve mühendislik temellerini, girişimciliği ve edebiyatı içerir. Okul yalnızca makine mühendisliği, elektronik ve bilgisayar mühendisliği, bilgisayar bilimi ve biyomedikal mühendisliği olmak üzere dört derece sunmaktadır.

Okul, uygulamalı eğitime önem verir, öğrencileri bilgiyi pratik zorluklarla birleştirmeye ve kendi ilgi alanlarını takip etmeye teşvik eder.

Lisans eğitimi sırasında Radford, makine öğrenimine büyük ilgi duymuştur. Öğrencilerle birlikte Kaggle yarışmalarına katılmış ve başarılı sonuçlar elde ederek risk sermayesi almıştır. 2013 yılında Radford ve ortakları, yurtlarında kurdukları indico şirketiyle işletmelere makine öğrenimi çözümleri sunmuşlardır.

Indico'da Radford, umut vaat eden görüntü ve metin makine öğrenimi teknolojilerini belirlemek, geliştirmek ve iyileştirmekten ve araştırma aşamasından endüstri uygulamalarına dönüştürmekten sorumlu olmuştur.

Üretken çekişmeli ağlar (GAN'lar) üzerine araştırmalar yapmış ve GAN'ların eğitilebilirliğini iyileştirmek için DCGAN'ı önermiştir, bu da GAN alanında önemli bir atılım olarak kabul edilmektedir.

Boston bölgesinin yapay zeka alanındaki etkisi, Batı Kıyısı'ndaki teknoloji devleri kadar güçlü olmadığı ve kaynakların sınırlı olması nedeniyle Radford, 2016 yılında OpenAI'ye katılmıştır.

Bu yeni işi "yüksek lisans programına katılmaya benzer" olarak tanımlamış, açık ve düşük stresli bir yapay zeka araştırma ortamına sahip olduğunu belirtmiştir.

Radford, kişiliği gereği düşük profilli ve medyayla iletişim kurmaktan kaçınıyor. Wired'e OpenAI'deki ilk çalışmalarıyla ilgili sorulara e-posta yoluyla yanıt verdi ve en çok ilgilendiği şeyin sinir ağlarının insanlarla net bir şekilde iletişim kurmasını sağlamak olduğunu belirtti.

O dönemdeki sohbet robotlarının (ELIZA'dan Siri ve Alexa'ya kadar) sınırlamaları olduğunu ve bu nedenle dil modellerinin çeşitli görevler, ortamlar, alanlar ve senaryolardaki uygulamalarını keşfetmeye odaklandığını düşünüyordu.

İlk deneyi, 2 milyar Reddit yorumunu kullanarak bir dil modeli eğitmekti. Bu deney başarısız olsa da OpenAI ona yeterli deneme yanılma alanı tanımıştır. Bu, herkesin bildiği ilk GPT ve onun önderliğinde geliştirilen GPT-2 gibi bir dizi devrimci atılımın temelini oluşturmuştur.

Bu çalışmalar, modern büyük dil modellerinin temelini atmıştır. Wired dergisi bu nedenle, Alec Radford'ın OpenAI'deki rolünü, Larry Page'in PageRank'i icat etmesine benzetmiştir. Belirtmek gerekir ki, PageRank Larry Page'in Stanford'da doktora yaparken elde ettiği bir sonuç olsa da, daha sonra doktorasını tamamlamamıştır.

Alec Radford ayrıca GPT-3 makalesinin yazılmasına ve GPT-4'ün ön eğitim verileri ve mimari araştırma çalışmalarına da katılmıştır.

2024'ün sonlarında, OpenAI'nin arka arkaya 12 gün boyunca yaptığı duyuruların son gününden önce, Alec Radford'ın OpenAI'den ayrılacağı haberi yayılmıştır, ancak bunun OpenAI'nin organizasyonel yapısındaki değişikliklerle ilgili olup olmadığı henüz belli değildir.

Şu anda, sadece bağımsız bir araştırmacı olacağını biliyoruz. Üniversiteye girip doktora yapmayı seçebilir veya bir süre ortadan kaybolduktan sonra yeni araştırma sonuçlarıyla tekrar ortaya çıkabilir. Her ne olursa olsun, Alec Radford'ın yaratılmasına katkıda bulunduğu gelecek geliyor. Altman'ın öngördüğü genel yapay zeka (AGI) bu yıl gerçekleşsin ya da gerçekleşmesin, 2025 yapay zeka alanında çok önemli bir yıl olacaktır.