Alec Radford: De Onbezongen Architect van GPT

Het tijdschrift Wired vergeleek de positie van Alec Radford bij OpenAI met die van Larry Page bij de uitvinding van PageRank voor de revolutie in het zoeken op internet. Het werk van Radford, met name op het gebied van Transformers en GPT, heeft de manier waarop kunstmatige intelligentie taalmodellen werken, fundamenteel veranderd.

OpenAI kondigde onlangs een organisatiestructuurwijziging aan, waarbij het werd opgesplitst in een winstgevend bedrijf en een non-profitorganisatie. Tegelijkertijd publiceerde OpenAI CEO Sam Altman op het sociale mediaplatform X een bericht waarin hij een aantal veteranen van OpenAI bedankte en Alec Radford in het bijzonder prees als een 'genie van Einstein-niveau', en erop wees dat veel van de vooruitgang in het huidige kunstmatige intelligentieveld terug te voeren is op zijn onderzoeksresultaten.

Naar verluidt heeft Radford OpenAI vorige maand verlaten om onafhankelijk onderzoek te doen.

Academische Prestaties

Het aantal citaten van Radford's papers is meer dan 190.000.
Hij heeft verschillende papers met meer dan 10.000 citaties.

Verrassende Achtergrond

Radford heeft geen doctoraat en zelfs geen masterdiploma.
Veel van zijn baanbrekende onderzoeksresultaten werden oorspronkelijk in Jupyter Notebooks voltooid.

Het verhaal van Alec Radford heeft opnieuw brede aandacht getrokken in de kunstmatige intelligentie, waarbij mensen hem prezen.

De Carrière van Alec Radford

Alec Radford is een vooraanstaand onderzoeker op het gebied van natuurlijke taalverwerking en computer vision. Hij werkte bij OpenAI als ontwikkelaar en onderzoeker op het gebied van machinaal leren, en was eerder onderzoeksleider bij indico.

Tijdens zijn tijd bij OpenAI was Radford betrokken bij het schrijven van verschillende papers over Generative Pre-trained Transformer (GPT) taalmodellen en publiceerde hij papers op topconferenties en -tijdschriften zoals NeurIPS, ICLR, ICML en Nature.

Hij deelde ook zijn inzichten over kunstmatige intelligentie op X/Twitter, maar is sinds mei 2021 niet meer actief. Zijn laatste tweet was een uitleg over waarom de laagbreedte van GPT-1 op 768 was ingesteld. Volgens LinkedIn studeerde Alec Radford van 2011 tot 2016 aan het Franklin W. Olin College of Engineering en behaalde hij een bachelordiploma. Dit particuliere technische college in Needham, Massachusetts staat bekend om zijn lage toelatingspercentage en eliteonderwijs.

Het academische systeem van het Olin College of Engineering wordt het 'Olin Triangle' genoemd, dat bestaat uit wetenschappelijke en technische basis, ondernemerschap en literatuur. De school biedt slechts vier graden aan: werktuigbouwkunde, elektrotechniek en computertechniek, informatica en biomedische techniek.

De school hecht veel waarde aan praktisch onderwijs en moedigt studenten aan om kennis te combineren met praktische uitdagingen en hun eigen interesses na te streven.

Tijdens zijn bachelorstudie was Radford gepassioneerd door machine learning. Hij nam met succes deel aan Kaggle-wedstrijden met zijn klasgenoten en behaalde uiteindelijk durfkapitaal. In 2013 richtte Radford samen met partners indico op in zijn slaapzaal, om machine learning-oplossingen aan bedrijven te leveren.

Bij indico was Radford voornamelijk verantwoordelijk voor het identificeren, ontwikkelen en verbeteren van veelbelovende machine learning-technologieën voor beeld en tekst, en het bevorderen van de omzetting ervan van onderzoeksfase naar industriële toepassingen.

Hij deed onderzoek naar Generative Adversarial Networks (GAN's) en stelde DCGAN voor om de trainbaarheid van GAN's te verbeteren, wat wordt beschouwd als een belangrijke doorbraak op het gebied van GAN's.

Omdat de invloed van de regio Boston op het gebied van kunstmatige intelligentie niet zo groot is als die van de techgiganten aan de westkust, en de middelen beperkt waren, trad Radford in 2016 toe tot OpenAI.

Hij beschreef deze nieuwe baan als 'vergelijkbaar met het volgen van een postdoctorale opleiding', met een open, stressvrije AI-onderzoeksomgeving.

Radford is een ingetogen persoonlijkheid en wil niet met de media in contact komen. Hij reageerde via e-mail op vragen van Wired over zijn vroege werk bij OpenAI en zei dat hij het meest geïnteresseerd was in het laten voeren van duidelijke gesprekken tussen neurale netwerken en mensen.

Hij geloofde dat de destijds beschikbare chatbots (van ELIZA tot Siri en Alexa) beperkingen hadden en daarom streefde hij ernaar om de toepassing van taalmodellen in verschillende taken, instellingen, domeinen en scenario's te onderzoeken.

Zijn eerste experiment was het trainen van een taalmodel met 2 miljard Reddit-opmerkingen. Hoewel dit mislukte, gaf OpenAI hem voldoende ruimte om te experimenteren. Dit legde de basis voor een reeks revolutionaire doorbraken, zoals de bekende eerste generatie GPT en de ontwikkeling van GPT-2, die hij leidde.

Dit werk legde de basis voor moderne grote taalmodellen. Het tijdschrift Wired vergeleek de rol van Alec Radford bij OpenAI met de uitvinding van PageRank door Larry Page. Het is de moeite waard om op te merken dat hoewel PageRank het resultaat was van het werk van Larry Page tijdens zijn doctoraat aan Stanford, hij zijn doctoraat later niet voltooide.

Alec Radford was ook betrokken bij het schrijven van de GPT-3 paper en het onderzoek naar de pre-training data en architectuur van GPT-4.

Eind 2024, op de laatste dag van een 12-daagse reeks aankondigingen van OpenAI, werd bekend dat Alec Radford OpenAI zou verlaten, maar het is nog onduidelijk of dit verband houdt met de organisatiestructuurwijziging van OpenAI.

Op dit moment weten we alleen dat hij een onafhankelijk onderzoeker wordt. Hij kan ervoor kiezen om naar de universiteit te gaan om een doctoraat te behalen, of om na een periode van stilte terug te keren met nieuwe onderzoeksresultaten. Hoe dan ook, de toekomst die Alec Radford hielp creëren, komt eraan. Of de algemene kunstmatige intelligentie (AGI), voorspeld door Altman, dit jaar zal worden gerealiseerd of niet, 2025 zal een cruciaal jaar zijn voor het gebied van kunstmatige intelligentie.