Published on

Алек Радфорд: Неизпеченият архитект на GPT, революционизирал ерата на изкуствения интелект

Автори
  • avatar
    Име
    Ajax
    Twitter

Алека Радфорд: Неизпеченият архитект на GPT

Списание Wired сравни позицията на Алек Радфорд в OpenAI с революцията, която Лари Пейдж направи с търсенето в интернет чрез PageRank. Работата на Радфорд, особено в областта на трансформаторите и GPT, коренно промени начина, по който работят моделите за изкуствен интелект.

Наскоро OpenAI обяви организационна реструктуризация, разделяйки се на компания с цел печалба и организация с нестопанска цел. Едновременно с това, изпълнителният директор на OpenAI, Сам Алтман, публикува в социалната платформа X, изразявайки благодарност към няколко ветерани на OpenAI, като специално похвали Алек Радфорд, наричайки го "гений от ранга на Айнщайн" и подчертавайки, че много от съвременните постижения в областта на изкуствения интелект могат да бъдат проследени до неговите изследователски резултати.

Според доклади, Радфорд е напуснал OpenAI миналия месец, за да се занимава с независими изследвания.

Академични Постижения

  • Цитиранията на статиите на Радфорд надхвърлят 190 000.
  • Има няколко статии с над 10 000 цитирания.

Изненадващ Произход

  • Радфорд няма докторска степен, дори и магистърска.
  • Много от неговите пионерски изследвания първоначално са били извършени в Jupyter Notebook.

Историята на Алек Радфорд отново привлече широко внимание в областта на изкуствения интелект, като хората го хвалят.

Кариерният Път на Алек Радфорд

Алек Радфорд е виден изследовател в областта на обработката на естествен език и компютърното зрение. Той е работил като разработчик на машинно обучение и изследовател в OpenAI, а преди това е бил ръководител на изследванията в компанията indico.

По време на работата си в OpenAI, Радфорд е участвал в написването на няколко статии за генеративни предварително обучени (GPT) езикови модели и е публикувал много статии на водещи конференции и списания като NeurIPS, ICLR, ICML и Nature. Той също така е споделял своите виждания за изкуствения интелект в X/Twitter, но не е активен от май 2021 г., като последният му туит е обяснение защо ширината на слоя GPT-1 е настроена на 768. Според информация от LinkedIn, Алек Радфорд е учил във Франклин У. Олин Колеж по инженерство от 2011 г. до 2016 г. и е получил бакалавърска степен. Този частен инженерен колеж в Нийдъм, Масачузетс, е известен с ниския си процент на прием и елитното си образование.

Академичната система на Олин Колеж по инженерство е известна като "Олинския триъгълник", която включва основи на науката и инженерството, предприемачество и литература. Училището предлага само четири вида степени: механично инженерство, електротехника и компютърно инженерство, компютърни науки и биомедицинско инженерство. Колежът набляга на практическото образование, насърчавайки студентите да комбинират знанията си с реални предизвикателства и да преследват собствените си интереси.

Още като студент, Радфорд е бил запален по машинното обучение. Той участва със свои състуденти в състезания на Kaggle и постига успехи, като в крайна сметка получава рисков капитал. През 2013 г. Радфорд и негови партньори създават indico в общежитието, предоставяйки решения за машинно обучение за бизнеса.

В indico, Радфорд е отговарял основно за идентифицирането, разработването и подобряването на обещаващи техники за машинно обучение за изображения и текст, както и за прехвърлянето им от изследователска фаза към индустриално приложение. Той е провел изследвания, свързани с генеративни състезателни мрежи (GAN), предлагайки DCGAN за подобряване на обучаемостта на GAN, което се счита за голям пробив в областта на GAN.

Тъй като влиянието на района на Бостън в областта на изкуствения интелект не е толкова силно, колкото на технологичните гиганти от Западния бряг, и поради ограничените ресурси, Радфорд се присъединява към OpenAI през 2016 г. Той описва новата работа като "подобна на присъединяване към програма за докторантура", с отворена и нестресираща среда за изследвания в областта на изкуствения интелект.

Радфорд е скромен и не желае да контактува с медиите. Той отговаря по имейл на Wired относно ранната си работа в OpenAI, заявявайки, че най-много се интересува от това да накара невронните мрежи да водят ясни разговори с хората. Според него тогавашните чатботове (от ELIZA до Siri и Alexa) са имали ограничения, затова той се е посветил на изследване на приложението на езиковите модели в различни задачи, настройки, области и сценарии.

Първият му експеримент е да използва 2 милиарда коментара от Reddit за обучение на езиков модел. Въпреки че се проваля, OpenAI му дава достатъчно пространство за опити. Това полага основите за поредица от революционни пробиви, като добре познатия оригинален GPT и разработката на GPT-2, която той ръководи. Тези работи поставят основите на съвременните големи езикови модели. Списание Wired сравнява ролята на Алек Радфорд в OpenAI с изобретението на PageRank от Лари Пейдж. Заслужава да се отбележи, че въпреки че PageRank е резултат от работата на Лари Пейдж по време на докторантурата му в Станфорд, той по-късно не завършва докторската си степен.

Алек Радфорд също е участвал в написването на статията за GPT-3 и в изследванията на данните за предварително обучение и архитектурата на GPT-4. В края на 2024 г., преди последния ден от поредицата от 12 съобщения на OpenAI, се появи новината за предстоящото напускане на Алек Радфорд от OpenAI, но към момента не е ясно дали това е свързано с организационната реструктуризация на OpenAI.

В момента знаем само, че той ще стане независим изследовател. Той може да избере да влезе в университет, за да получи докторска степен, или да се появи отново след период на затишие с нови изследователски резултати. Какъвто и да е случаят, бъдещето, създадено от Алек Радфорд, идва. Независимо дали тази година ще се реализира прогнозираният от Алтман общ изкуствен интелект (AGI), 2025 г. ще бъде изключително важна година за областта на изкуствения интелект.