박사 학위 없이 GPT 시대를 혁신한 OpenAI 개척자 알렉 래드포드

알렉 래드포드: GPT의 숨겨진 설계자

《와이어드》 매거진은 알렉 래드포드의 OpenAI에서의 위상을 래리 페이지가 페이지랭크를 발명하여 인터넷 검색을 혁신한 것에 비유했습니다. 래드포드의 연구, 특히 트랜스포머와 GPT 분야에서의 연구는 인공지능 언어 모델의 작동 방식을 근본적으로 변화시켰습니다.

최근 OpenAI는 영리 기업과 비영리 조직으로 분할되는 조직 구조 조정을 발표했습니다. 이와 함께 OpenAI CEO 샘 알트먼은 소셜 플랫폼 X에 여러 OpenAI 원로급 인물들에게 감사를 표하며, 특히 알렉 래드포드를 "아인슈타인 수준의 천재"라고 칭찬하고, 오늘날 인공지능 분야의 많은 발전이 그의 연구 성과에서 비롯되었다고 강조했습니다. 보도에 따르면 래드포드는 지난달 OpenAI를 떠나 독립 연구를 진행하고 있습니다.

학문적 성과와 놀라운 배경

래드포드의 논문 인용 횟수는 19만 회를 넘어섰습니다.
그의 여러 논문은 1만 회 이상의 인용 횟수를 기록했습니다.
놀랍게도 래드포드는 박사 학위는 물론 석사 학위조차 없습니다.
그의 많은 획기적인 연구 성과는 초기에는 주피터 노트북에서 이루어졌습니다.
알렉 래드포드의 이야기는 인공지능 분야에서 다시 한번 큰 주목을 받고 있으며, 그에 대한 찬사가 이어지고 있습니다.

알렉 래드포드의 경력

알렉 래드포드는 자연어 처리와 컴퓨터 비전 분야에서 뛰어난 연구자입니다. 그는 OpenAI에서 머신러닝 개발자 및 연구원으로 근무했으며, 이전에는 indico 회사의 연구 책임자로 일했습니다. OpenAI에서 래드포드는 생성적 사전 훈련(GPT) 언어 모델에 관한 여러 논문을 공동 작성했으며, NeurIPS, ICLR, ICML 및 Nature와 같은 최고 수준의 회의 및 저널에 여러 논문을 발표했습니다. 그는 또한 X/Twitter에서 인공지능에 대한 자신의 견해를 공유했지만, 2021년 5월 이후로는 활동하지 않고 있습니다. 마지막 트윗은 GPT-1 레이어 너비가 768로 설정된 이유를 설명하는 내용이었습니다.

LinkedIn 정보에 따르면 알렉 래드포드는 2011년부터 2016년까지 프랭클린 W. 올린 공과대학에서 학사 학위를 취득했습니다. 매사추세츠주 니덤에 위치한 이 사립 공과대학은 낮은 합격률과 엘리트 교육으로 유명합니다. 올린 공과대학의 학술 시스템은 "올린 삼각"이라고 불리며, 과학 및 공학 기초, 기업가 정신, 문학을 포함합니다. 학교는 기계 공학, 전자 및 컴퓨터 공학, 컴퓨터 과학 및 생물 의학 공학의 네 가지 학위만 제공합니다.

이 학교는 실습 교육을 중시하며, 학생들에게 지식을 실제 문제와 결합하고 자신의 관심사를 추구하도록 장려합니다. 학부 시절부터 래드포드는 머신러닝에 대한 열정이 넘쳤습니다. 그는 동료들과 함께 Kaggle 대회에 참가하여 성공을 거두었고, 결국 벤처 투자를 받았습니다. 2013년, 래드포드는 파트너와 함께 기숙사에서 indico를 설립하여 기업에 머신러닝 솔루션을 제공했습니다.

indico에서 래드포드는 주로 유망한 이미지 및 텍스트 머신러닝 기술을 식별, 개발 및 개선하고, 연구 단계에서 산업 응용으로 전환하는 데 주력했습니다. 그는 생성적 적대 네트워크(GAN) 관련 연구를 진행했으며, GAN의 훈련 가능성을 개선하기 위해 DCGAN을 제안했습니다. 이는 GAN 분야의 중요한 돌파구로 여겨집니다.

보스턴 지역은 인공지능 분야에서 서부 해안의 기술 대기업만큼 영향력이 크지 않고 자원도 제한적이어서 래드포드는 2016년에 OpenAI에 합류했습니다. 그는 이 새로운 직업을 "대학원 과정에 합류하는 것과 유사하다"고 묘사하며, 개방적이고 압박감이 적은 인공지능 연구 환경을 갖추고 있다고 말했습니다.

래드포드는 성격이 내성적이고 언론과의 접촉을 꺼립니다. 그는 《와이어드》의 OpenAI 초기 업무 관련 질문에 이메일을 통해 답하면서, 신경망이 인간과 명확하게 대화하도록 만드는 데 가장 관심이 있다고 밝혔습니다. 그는 당시의 챗봇(ELIZA에서 Siri와 Alexa까지)에는 한계가 있었기 때문에 다양한 작업, 설정, 영역 및 시나리오에서 언어 모델의 응용을 탐구하는 데 주력했다고 말했습니다.

그의 첫 번째 실험은 20억 개의 Reddit 댓글을 사용하여 언어 모델을 훈련하는 것이었지만, 실패했습니다. 그러나 OpenAI는 그에게 충분한 시행착오 공간을 제공했습니다. 이것은 널리 알려진 초기 GPT와 그가 주도한 GPT-2 개발과 같은 일련의 혁명적인 돌파구를 위한 기반을 마련했습니다. 이러한 작업은 현대 대규모 언어 모델의 기초가 되었습니다. 《와이어드》 매거진은 알렉 래드포드의 OpenAI에서의 역할을 래리 페이지가 페이지랭크를 발명한 것에 비유한 것입니다. 주목할 만한 점은 페이지랭크가 래리 페이지가 스탠퍼드에서 박사 학위를 받는 동안의 결과였지만, 그는 나중에 박사 학위를 완료하지 않았다는 것입니다.

알렉 래드포드는 GPT-3 논문 작성과 GPT-4의 사전 훈련 데이터 및 아키텍처 연구 작업에도 참여했습니다. 2024년 말, OpenAI가 12일 연속으로 소식을 발표한 마지막 날 직전에 알렉 래드포드가 OpenAI를 떠날 것이라는 소식이 전해졌지만, 이것이 OpenAI의 조직 구조 조정과 관련이 있는지는 아직 불분명합니다. 현재로서는 그가 독립 연구자가 될 것이라는 것만 알려져 있습니다. 그는 대학에 들어가 박사 학위를 취득하거나, 한동안 침묵을 지킨 후 새로운 연구 성과를 가지고 다시 나타날 수도 있습니다. 어떻든 알렉 래드포드가 창조에 참여한 미래가 다가오고 있습니다. 올해 알트먼이 예측한 범용 인공지능(AGI)이 실현될지는 모르지만, 2025년은 인공지능 분야에서 매우 중요한 해가 될 것입니다.