Published on

Алек Радфорд: Невоспетый архитектор GPT, изменивший эру ИИ

Авторы
  • avatar
    Имя
    Ajax
    Twitter

Алек Радфорд: Невоспетый архитектор GPT

Журнал «Wired» сравнил положение Алека Радфорда в OpenAI с тем, как Ларри Пейдж изобрел PageRank, совершив революцию в поиске в интернете. Работа Радфорда, особенно в области Transformer и GPT, коренным образом изменила принцип работы моделей искусственного интеллекта.

Недавно OpenAI объявила о реорганизации, разделившись на коммерческую и некоммерческую организации. В то же время генеральный директор OpenAI Сэм Альтман опубликовал в социальной сети X сообщение, в котором поблагодарил нескольких ветеранов OpenAI и особо отметил Алека Радфорда, назвав его «гением уровня Эйнштейна» и подчеркнув, что многие достижения в области искусственного интеллекта сегодня восходят к его исследованиям.

Сообщается, что Радфорд покинул OpenAI в прошлом месяце для проведения независимых исследований.

Академические достижения:

  • Работы Радфорда цитировались более 190 000 раз.
  • Несколько его работ цитировались более 10 000 раз.

Удивительный бэкграунд:

  • У Радфорда нет докторской степени, даже магистерской.
  • Многие его новаторские исследования изначально проводились в Jupyter Notebook.

История Алека Радфорда вновь привлекла широкое внимание в области искусственного интеллекта, и его хвалят со всех сторон.

Карьера Алека Радфорда

Алек Радфорд — выдающийся исследователь в области обработки естественного языка и компьютерного зрения. Он работал в OpenAI в качестве разработчика и исследователя машинного обучения, а ранее занимал должность директора по исследованиям в компании indico.

В OpenAI Радфорд участвовал в написании нескольких работ о генеративных предварительно обученных (GPT) языковых моделях и опубликовал несколько статей на ведущих конференциях и в журналах, таких как NeurIPS, ICLR, ICML и Nature.

Он также делился своими взглядами на искусственный интеллект в X/Twitter, но перестал быть активным с мая 2021 года. Его последний твит объяснял, почему ширина слоя GPT-1 была установлена на 768. Согласно информации в LinkedIn, Алек Радфорд учился в Инженерном колледже Франклина В. Олина с 2011 по 2016 год и получил степень бакалавра. Этот частный инженерный колледж в Нидхэме, штат Массачусетс, известен своим низким уровнем приема и элитным образованием.

Академическая система Инженерного колледжа Олина называется «Треугольник Олина» и включает в себя основы науки и техники, предпринимательство и гуманитарные науки. Колледж предлагает только четыре степени: машиностроение, электротехника и вычислительная техника, информатика и биомедицинская инженерия.

Колледж делает упор на практическое образование, поощряя студентов сочетать знания с реальными задачами и следовать своим интересам.

Еще будучи студентом бакалавриата, Радфорд был увлечен машинным обучением. Он участвовал в соревнованиях Kaggle со своими однокурсниками и добился успеха, что в конечном итоге привело к получению венчурного капитала. В 2013 году Радфорд и его партнеры основали indico в общежитии, чтобы предоставлять предприятиям решения для машинного обучения.

В indico Радфорд отвечал за выявление, разработку и совершенствование перспективных методов машинного обучения для изображений и текста, а также за их перевод из исследовательской фазы в отраслевые приложения.

Он проводил исследования по генеративным состязательным сетям (GAN) и предложил DCGAN для улучшения обучаемости GAN, что считается важным прорывом в области GAN.

Поскольку влияние Бостонского региона в области искусственного интеллекта было не таким сильным, как у технологических гигантов на Западном побережье, а ресурсы были ограничены, Радфорд присоединился к OpenAI в 2016 году.

Он описал эту новую работу как «похожую на поступление в аспирантуру» с открытой и непринужденной средой для исследований в области ИИ.

Радфорд — человек со сдержанным характером, который не любит общаться со СМИ. Он ответил по электронной почте на вопросы «Wired» о своей ранней работе в OpenAI, заявив, что больше всего его интересует возможность четкого диалога нейронных сетей с людьми.

Он считал, что у тогдашних чат-ботов (от ELIZA до Siri и Alexa) были ограничения, поэтому он стремился изучить применение языковых моделей в различных задачах, условиях, областях и сценариях.

Его первый эксперимент заключался в использовании 2 миллиардов комментариев Reddit для обучения языковой модели, и хотя он потерпел неудачу, OpenAI предоставила ему достаточно места для проб и ошибок. Это заложило основу для серии революционных прорывов, таких как хорошо известный первый GPT, а также разработка GPT-2, которую он возглавил.

Эта работа заложила основу для современных больших языковых моделей. Журнал «Wired» сравнил роль Алека Радфорда в OpenAI с изобретением PageRank Ларри Пейджем. Стоит отметить, что, хотя PageRank был результатом работы Ларри Пейджа во время его обучения в докторантуре в Стэнфорде, он так и не получил докторскую степень.

Алек Радфорд также участвовал в написании статьи GPT-3, а также в исследованиях данных предварительного обучения и архитектуры GPT-4.

В конце 2024 года, за день до окончания 12-дневной серии сообщений OpenAI, появились новости о том, что Алек Радфорд собирается покинуть OpenAI, но пока неясно, связано ли это с реорганизацией OpenAI.

На данный момент известно только, что он станет независимым исследователем. Возможно, он решит поступить в университет для получения докторской степени или вновь появится с новыми результатами исследований после некоторого молчания. В любом случае, будущее, которое создал Алек Радфорд, уже наступает. Независимо от того, будет ли достигнут общий искусственный интеллект (AGI), предсказанный Альтманом в этом году, 2025 год станет критически важным для области искусственного интеллекта.