Alec Radford: L'architecte méconnu de GPT qui a révolutionné l'IA sans doctorat

Alec Radford : L'Architecte Méconnu de GPT

Le magazine Wired a comparé l'influence d'Alec Radford chez OpenAI à celle de Larry Page avec l'invention de PageRank pour la recherche sur internet. Le travail de Radford, en particulier sur les Transformers et les modèles GPT, a fondamentalement modifié le fonctionnement des modèles de langage en intelligence artificielle.

Récemment, OpenAI a annoncé une restructuration, se divisant en une entité à but lucratif et une organisation à but non lucratif. Parallèlement, le PDG d'OpenAI, Sam Altman, a exprimé sa gratitude envers plusieurs figures clés d'OpenAI sur la plateforme X, en particulier en louant Alec Radford comme un "génie de la trempe d'Einstein", soulignant que de nombreuses avancées actuelles en IA sont directement liées à ses travaux de recherche.

Il est rapporté que Radford a quitté OpenAI le mois dernier pour poursuivre des recherches indépendantes.

Accomplissements Académiques

• Les travaux de Radford ont été cités plus de 190 000 fois.
• Plusieurs de ses articles ont été cités plus de 10 000 fois.

Un Parcours Étonnant

• Radford n'a pas de doctorat, ni même de maîtrise.
• Nombre de ses recherches pionnières ont été initialement réalisées dans des Jupyter Notebooks.

L'histoire d'Alec Radford continue de susciter un grand intérêt dans le domaine de l'IA, où il est largement acclamé.

Le Parcours Professionnel d'Alec Radford

Alec Radford est un chercheur éminent dans les domaines du traitement du langage naturel et de la vision par ordinateur. Il a travaillé chez OpenAI en tant que développeur et chercheur en apprentissage automatique, après avoir été directeur de recherche chez indico.

Durant son passage chez OpenAI, Radford a co-écrit plusieurs articles sur les modèles de langage génératifs pré-entraînés (GPT), publiés dans des conférences et revues de premier plan telles que NeurIPS, ICLR, ICML et Nature.

Il a également partagé ses réflexions sur l'IA sur X/Twitter, mais n'est plus actif depuis mai 2021, son dernier tweet expliquant la raison de la largeur de couche de 768 pour GPT-1. Selon LinkedIn, Alec Radford a étudié à la Franklin W. Olin College of Engineering de 2011 à 2016, obtenant un baccalauréat. Cette école d'ingénierie privée, située à Needham, dans le Massachusetts, est réputée pour son faible taux d'admission et son enseignement d'élite.

Le système académique de l'Olin College est connu sous le nom de "Triangle Olin", comprenant des bases en sciences et ingénierie, l'entrepreneuriat et les arts libéraux. L'école ne propose que quatre diplômes : génie mécanique, génie électrique et informatique, informatique et génie biomédical.

L'école met l'accent sur l'apprentissage pratique, encourageant les étudiants à combiner les connaissances avec les défis du monde réel et à poursuivre leurs propres intérêts.

Dès ses études de premier cycle, Radford était passionné par l'apprentissage automatique. Il a participé avec succès à des compétitions Kaggle avec ses camarades, ce qui lui a permis d'obtenir des financements en capital-risque. En 2013, Radford et ses associés ont fondé indico dans leur dortoir, fournissant des solutions d'apprentissage automatique aux entreprises.

Chez indico, Radford était principalement responsable de l'identification, du développement et de l'amélioration des technologies prometteuses d'apprentissage automatique pour l'image et le texte, en les faisant passer du stade de la recherche à des applications industrielles.

Il a mené des recherches sur les réseaux antagonistes génératifs (GAN), proposant DCGAN pour améliorer la capacité d'entraînement des GAN, ce qui est considéré comme une avancée majeure dans ce domaine.

En raison de l'influence moindre de la région de Boston dans le domaine de l'IA par rapport aux géants technologiques de la côte ouest, et des ressources limitées, Radford a rejoint OpenAI en 2016.

Il a décrit ce nouveau travail comme "similaire à l'entrée dans un programme d'études supérieures", avec un environnement de recherche en IA ouvert et sans pression.

Radford est discret et réticent à communiquer avec les médias. Il a répondu par e-mail à Wired concernant son travail chez OpenAI au début, en indiquant que ce qui l'intéressait le plus était de permettre aux réseaux neuronaux d'avoir des conversations claires avec les humains.

Il estimait que les robots conversationnels de l'époque (d'ELIZA à Siri et Alexa) avaient des limites, et il s'est donc efforcé d'explorer les applications des modèles de langage dans diverses tâches, configurations, domaines et scénarios.

Sa première expérience consistait à entraîner un modèle de langage en utilisant 2 milliards de commentaires Reddit. Bien que cela ait échoué, OpenAI lui a accordé suffisamment de marge de manœuvre pour expérimenter. Cela a jeté les bases d'une série de percées révolutionnaires, telles que le premier GPT bien connu, ainsi que le développement de GPT-2 qu'il a dirigé.

Ces travaux ont jeté les bases des grands modèles de langage modernes. Wired a donc comparé le rôle d'Alec Radford chez OpenAI à l'invention de PageRank par Larry Page. Il est intéressant de noter que, bien que PageRank soit le résultat du travail de Larry Page pendant son doctorat à Stanford, il n'a pas terminé son doctorat par la suite.

Alec Radford a également participé à la rédaction de l'article sur GPT-3, ainsi qu'aux travaux de recherche sur les données de pré-entraînement et l'architecture de GPT-4.

Fin 2024, avant le dernier jour d'une série de 12 annonces consécutives d'OpenAI, la nouvelle du départ imminent d'Alec Radford d'OpenAI a été annoncée, mais on ne sait pas encore si cela est lié à la restructuration d'OpenAI.

Pour l'instant, on sait seulement qu'il deviendra chercheur indépendant. Il pourrait choisir d'entrer à l'université pour obtenir un doctorat ou réapparaître après une période de silence avec de nouveaux résultats de recherche. Quoi qu'il en soit, l'avenir qu'Alec Radford a contribué à créer est en train d'arriver. Que l'intelligence artificielle générale (AGI) prédite par Altman se réalise ou non cette année, 2025 sera une année cruciale pour le domaine de l'intelligence artificielle.