Alec Radford: Niezauważony architekt GPT, który zrewolucjonizował erę AI bez doktoratu

Alec Radford: Niezauważony Architekt GPT

Magazyn "Wired" porównał pozycję Aleca Radforda w OpenAI do roli Larry'ego Page'a w rewolucji wyszukiwania internetowego dzięki wynalezieniu PageRank. Praca Radforda, zwłaszcza w obszarze transformatorów i GPT, fundamentalnie zmieniła sposób działania modeli językowych sztucznej inteligencji.

Niedawno OpenAI ogłosiło reorganizację, dzieląc się na spółkę zorientowaną na zysk i organizację non-profit. W tym samym czasie, CEO OpenAI, Sam Altman, podziękował na platformie X wielu weteranom OpenAI, szczególnie chwaląc Aleca Radforda jako "geniusza na poziomie Einsteina", podkreślając, że wiele postępów w dzisiejszej sztucznej inteligencji można przypisać jego badaniom.

Według doniesień, Radford opuścił OpenAI w zeszłym miesiącu, aby prowadzić niezależne badania.

Osiągnięcia Naukowe

• Liczba cytowań prac Radforda przekroczyła 190 tysięcy.
• Kilka jego prac ma ponad 10 tysięcy cytowań.

Zaskakujące Tło

• Radford nie ma doktoratu, a nawet tytułu magistra.
• Wiele jego przełomowych badań powstało początkowo w Jupyter Notebook.

Historia Aleca Radforda ponownie wzbudziła szerokie zainteresowanie w dziedzinie sztucznej inteligencji, a on sam jest powszechnie chwalony.

Kariera Aleca Radforda

Alec Radford jest wybitnym badaczem w dziedzinie przetwarzania języka naturalnego i widzenia komputerowego. Pracował w OpenAI jako programista i badacz uczenia maszynowego, a wcześniej był dyrektorem ds. badań w firmie indico.

W OpenAI Radford współtworzył wiele prac na temat generatywnych, wstępnie trenowanych modeli językowych (GPT), publikując swoje prace na prestiżowych konferencjach i w czasopismach, takich jak NeurIPS, ICLR, ICML i Nature.

Dzielił się również swoimi spostrzeżeniami na temat sztucznej inteligencji na X/Twitterze, ale od maja 2021 roku nie jest aktywny. Jego ostatni tweet wyjaśniał powód ustawienia szerokości warstwy GPT-1 na 768. Zgodnie z informacjami na LinkedIn, Alec Radford studiował w latach 2011-2016 w Franklin W. Olin College of Engineering, gdzie uzyskał tytuł licencjata. Ta prywatna uczelnia inżynierska w Needham w Massachusetts jest znana z niskiego wskaźnika przyjęć i elitarnego nauczania.

System akademicki Olin College of Engineering jest określany jako "Trójkąt Olina", obejmujący podstawy naukowe i inżynieryjne, przedsiębiorczość i literaturę. Uczelnia oferuje tylko cztery kierunki studiów: inżynierię mechaniczną, inżynierię elektryczną i komputerową, informatykę i inżynierię biomedyczną.

Uczelnia kładzie nacisk na edukację praktyczną, zachęcając studentów do łączenia wiedzy z realnymi wyzwaniami i realizowania własnych zainteresowań.

Już podczas studiów licencjackich Radford pasjonował się uczeniem maszynowym. Wraz z kolegami brał udział w konkursach Kaggle, odnosząc sukcesy i ostatecznie zdobywając finansowanie venture capital. W 2013 roku Radford wraz ze wspólnikami założył w akademiku indico, firmę oferującą rozwiązania uczenia maszynowego dla przedsiębiorstw.

W indico Radford był odpowiedzialny za identyfikację, rozwój i ulepszanie obiecujących technik uczenia maszynowego dla obrazów i tekstu, a także za ich transformację z fazy badawczej do zastosowań przemysłowych.

Prowadził badania nad generatywnymi sieciami przeciwstawnymi (GAN), proponując DCGAN w celu poprawy trenowalności GAN, co uznano za ważny przełom w dziedzinie GAN.

Ponieważ region Bostonu nie miał takiego wpływu na dziedzinę sztucznej inteligencji jak giganci technologiczni z Zachodniego Wybrzeża, a także z powodu ograniczonych zasobów, Radford dołączył do OpenAI w 2016 roku.

Opisał swoją nową pracę jako "podobną do rozpoczęcia studiów podyplomowych", z otwartym i bezstresowym środowiskiem badań nad sztuczną inteligencją.

Radford jest osobą skromną i niechętną kontaktom z mediami. W e-mailu odpowiedział na pytania "Wired" dotyczące jego wczesnej pracy w OpenAI, mówiąc, że najbardziej interesuje go umożliwienie sieciom neuronowym prowadzenia jasnych dialogów z ludźmi.

Uważał, że ówczesne chatboty (od ELIZY po Siri i Alexę) miały ograniczenia, dlatego poświęcił się badaniu zastosowań modeli językowych w różnych zadaniach, ustawieniach, dziedzinach i scenariuszach.

Jego pierwszym eksperymentem było wykorzystanie 2 miliardów komentarzy z Reddita do trenowania modelu językowego. Chociaż eksperyment ten nie powiódł się, OpenAI dało mu wystarczająco dużo przestrzeni na popełnianie błędów. To utorowało drogę dla serii przełomowych osiągnięć, takich jak dobrze znany pierwszy GPT i opracowanie GPT-2, które prowadził.

Te prace stanowiły fundament dla współczesnych dużych modeli językowych. Magazyn "Wired" porównał rolę Aleca Radforda w OpenAI do wynalezienia PageRank przez Larry'ego Page'a. Warto zauważyć, że chociaż PageRank był wynikiem pracy Larry'ego Page'a podczas studiów doktoranckich na Stanfordzie, to nigdy nie ukończył on doktoratu.

Alec Radford był również zaangażowany w pisanie artykułu o GPT-3 oraz w badania nad danymi i architekturą przed treningiem GPT-4.

Pod koniec 2024 roku, na dzień przed ostatnim z 12 dni ogłoszeń OpenAI, pojawiła się informacja, że Alec Radford wkrótce opuści OpenAI, ale nie jest jasne, czy ma to związek z reorganizacją OpenAI.

Obecnie wiadomo tylko, że zostanie niezależnym badaczem. Może zdecydować się na studia doktoranckie na uniwersytecie lub pojawić się ponownie po pewnym czasie milczenia z nowymi wynikami badań. W każdym razie przyszłość, którą pomógł stworzyć Alec Radford, nadchodzi. Niezależnie od tego, czy w tym roku zostanie zrealizowana prognoza Altmana dotycząca ogólnej sztucznej inteligencji (AGI), rok 2025 będzie rokiem o kluczowym znaczeniu dla dziedziny sztucznej inteligencji.