Alec Radford: Der unbesungene Architekt der GPT-Ära

Das Magazin Wired verglich Alec Radfords Stellung bei OpenAI mit der von Larry Page bei der Erfindung von PageRank für die Revolutionierung der Internetsuche. Radfords Arbeit, insbesondere in Bezug auf Transformer und GPT, hat die Funktionsweise von KI-Sprachmodellen grundlegend verändert.

OpenAI hat kürzlich eine Umstrukturierung angekündigt, bei der das Unternehmen in eine gewinnorientierte und eine gemeinnützige Organisation aufgeteilt wird. Gleichzeitig bedankte sich OpenAI-CEO Sam Altman auf der Social-Media-Plattform X bei mehreren Veteranen von OpenAI und lobte insbesondere Alec Radford als "Genie auf Einstein-Niveau". Er wies darauf hin, dass viele Fortschritte im Bereich der künstlichen Intelligenz auf seine Forschungsergebnisse zurückzuführen seien.

Berichten zufolge hat Radford OpenAI im letzten Monat verlassen, um unabhängige Forschung zu betreiben.

Akademische Leistungen

Radfords Arbeiten wurden über 190.000 Mal zitiert.
Mehrere seiner Arbeiten wurden über 10.000 Mal zitiert.

Überraschender Hintergrund

Radford hat keinen Doktortitel und nicht einmal einen Master-Abschluss.
Viele seiner bahnbrechenden Forschungsergebnisse wurden ursprünglich in Jupyter Notebooks erstellt.

Alec Radfords Geschichte hat im Bereich der künstlichen Intelligenz erneut große Aufmerksamkeit erregt, und er wird weithin gelobt.

Alec Radfords Karriere

Alec Radford ist ein herausragender Forscher auf dem Gebiet der natürlichen Sprachverarbeitung und der Computer Vision. Er war bei OpenAI als Machine-Learning-Entwickler und -Forscher tätig und zuvor als Forschungsleiter bei indico.

Während seiner Zeit bei OpenAI war Radford an der Verfassung mehrerer Arbeiten über generative vortrainierte (GPT) Sprachmodelle beteiligt und veröffentlichte mehrere Arbeiten auf Top-Konferenzen und in Top-Fachzeitschriften wie NeurIPS, ICLR, ICML und Nature.

Er hat auch seine Erkenntnisse über künstliche Intelligenz auf X/Twitter geteilt, ist aber seit Mai 2021 nicht mehr aktiv. Sein letzter Tweet erklärte, warum die Schichtbreite von GPT-1 auf 768 festgelegt wurde. Laut LinkedIn studierte Alec Radford von 2011 bis 2016 am Franklin W. Olin College of Engineering und erwarb einen Bachelor-Abschluss. Das private Ingenieurcollege in Needham, Massachusetts, ist bekannt für seine niedrige Zulassungsquote und seine Eliteausbildung.

Das akademische System des Olin College wird als "Olin-Dreieck" bezeichnet und umfasst wissenschaftliche und ingenieurwissenschaftliche Grundlagen, Unternehmertum und Geisteswissenschaften. Die Hochschule bietet nur vier Studiengänge an: Maschinenbau, Elektro- und Computertechnik, Informatik und Biomedizintechnik.

Die Hochschule legt Wert auf praxisorientierte Ausbildung und ermutigt die Studierenden, ihr Wissen mit realen Herausforderungen zu verbinden und ihren eigenen Interessen nachzugehen.

Schon während seines Studiums war Radford von maschinellem Lernen begeistert. Er nahm mit Kommilitonen an Kaggle-Wettbewerben teil und war erfolgreich, was schließlich zu einer Risikokapitalfinanzierung führte. Im Jahr 2013 gründete Radford mit Partnern indico in seinem Studentenwohnheim, um Unternehmen Lösungen für maschinelles Lernen anzubieten.

Bei indico war Radford hauptsächlich für die Identifizierung, Entwicklung und Verbesserung vielversprechender Technologien für maschinelles Lernen mit Bildern und Texten zuständig und trieb deren Umsetzung von der Forschung in die industrielle Anwendung voran.

Er forschte zu generativen adversarialen Netzwerken (GANs) und schlug DCGAN vor, um die Trainierbarkeit von GANs zu verbessern, was als wichtiger Durchbruch im Bereich der GANs gilt.

Da die Region Boston im Bereich der künstlichen Intelligenz nicht so einflussreich ist wie die Technologiegiganten an der Westküste und die Ressourcen begrenzt waren, trat Radford 2016 OpenAI bei.

Er beschrieb seine neue Tätigkeit als "ähnlich wie der Einstieg in ein Graduiertenprogramm" mit einem offenen, stressfreien KI-Forschungsumfeld.

Radford ist zurückhaltend und scheut den Kontakt zu den Medien. Er antwortete Wired per E-Mail auf Fragen zu seiner frühen Arbeit bei OpenAI und erklärte, dass sein Hauptinteresse darin bestand, neuronale Netze in einen klaren Dialog mit Menschen zu bringen.

Er war der Meinung, dass die damaligen Chatbots (von ELIZA über Siri bis Alexa) Einschränkungen hatten, weshalb er sich der Erforschung der Anwendung von Sprachmodellen in verschiedenen Aufgaben, Umgebungen, Bereichen und Szenarien widmete.

Sein erstes Experiment war die Verwendung von 2 Milliarden Reddit-Kommentaren zum Trainieren eines Sprachmodells. Obwohl dies fehlschlug, gab ihm OpenAI genügend Raum zum Experimentieren. Dies legte den Grundstein für eine Reihe von revolutionären Durchbrüchen, wie z. B. das bekannte ursprüngliche GPT und die von ihm geleitete Entwicklung von GPT-2.

Diese Arbeiten legten den Grundstein für moderne große Sprachmodelle. Das Magazin Wired verglich daher Alec Radfords Rolle bei OpenAI mit der von Larry Page bei der Erfindung von PageRank. Es ist erwähnenswert, dass PageRank zwar das Ergebnis von Larry Pages Doktorarbeit in Stanford war, er seinen Doktortitel aber nicht abschloss.

Alec Radford war auch an der Verfassung des GPT-3-Papiers sowie an der Forschung zu den Vortrainingsdaten und der Architektur von GPT-4 beteiligt.

Ende 2024, am Tag vor dem Ende einer 12-tägigen Nachrichtenflut von OpenAI, wurde bekannt, dass Alec Radford OpenAI verlassen würde, aber es ist noch unklar, ob dies mit der Umstrukturierung von OpenAI zusammenhängt.

Derzeit ist nur bekannt, dass er ein unabhängiger Forscher sein wird. Er könnte sich entscheiden, an einer Universität zu promovieren, oder nach einer Auszeit mit neuen Forschungsergebnissen wieder aufzutauchen. In jedem Fall kommt die Zukunft, die Alec Radford mitgestaltet hat. Unabhängig davon, ob Altmans Vorhersage einer allgemeinen künstlichen Intelligenz (AGI) in diesem Jahr eintreffen wird, wird 2025 ein entscheidendes Jahr für den Bereich der künstlichen Intelligenz sein.