Schaalwetten AI modellen bereiken geen limiet volgens Anthropic CEO

De ontwikkeling van grote AI-modellen blijft een fascinerend en snel evoluerend gebied. De recente discussies rond de schaalwetten, die de relatie beschrijven tussen de modelgrootte, trainingsdata en prestaties, hebben veel aandacht getrokken. Dario Amodei, de CEO van Anthropic, een toonaangevend AI-bedrijf, heeft recentelijk zijn visie gedeeld. Hij is van mening dat de schaalwetten voor AI-modellen nog niet hun limiet bereiken. Dit in tegenstelling tot sommige experts die vrezen dat de huidige modellen op een datamuur aanlopen.

De Voortzetting van Schaalwetten

Amodei benadrukt dat ondanks de bezorgdheid over datalimieten, de schaalwetten nog steeds van kracht zijn. Hij suggereert dat de ontwikkeling van synthetische data en verbeterde redeneermodellen een oplossing kan bieden voor de beperkingen die worden ervaren bij het verkrijgen van voldoende trainingsdata. Deze benadering zou de vooruitgang in de AI-ontwikkeling kunnen versnellen, zelfs als de beschikbaarheid van natuurlijke data afneemt.

Opmerkelijke Verbeteringen in Modellen

De mogelijkheden van AI-modellen zijn de laatste tijd aanzienlijk verbeterd. Een goed voorbeeld hiervan is de prestatie op benchmarks zoals SWE-bench, waar de score van 3-4% naar 50% is gestegen in slechts tien maanden. Deze verbeteringen tonen aan dat er nog steeds aanzienlijke vooruitgang mogelijk is. De verwachting is dat deze trend zich zal voortzetten, met nog betere prestaties in de toekomst.

Het Belang van Post-Training

Een ander belangrijk punt dat Amodei aanhaalt, is het toenemende belang van post-training. Hij stelt dat de kosten van post-training in de toekomst waarschijnlijk hoger zullen zijn dan die van pre-training. Dit komt doordat de methoden die momenteel worden gebruikt om de kwaliteit van modellen te verbeteren, zoals menselijke supervisie, niet schaalbaar zijn. Er is behoefte aan meer schaalbare supervisiemethoden om de kwaliteit van AI-modellen te blijven verbeteren.

Modelverschillen en Benchmarks

Het is belangrijk op te merken dat benchmarks niet altijd de volledige reikwijdte van modelkenmerken en verschillen kunnen vastleggen. Factoren zoals beleefdheid, directheid, responsiviteit en proactiviteit spelen ook een belangrijke rol bij de prestaties en bruikbaarheid van een model. Deze aspecten worden vaak over het hoofd gezien in de standaard benchmarks.

De Rol van RLHF

Reinforcement Learning from Human Feedback (RLHF) is een cruciaal onderdeel van de ontwikkeling van moderne AI-modellen. Amodei legt uit dat RLHF voornamelijk bedoeld is om de communicatie tussen mensen en modellen te verbeteren, in plaats van modellen intrinsiek slimmer te maken. Het helpt modellen de nuances van menselijke taal en interactie te begrijpen.

Gebruikerspercepties en Modelcomplexiteit

Gebruikers die het gevoel hebben dat modellen "dommer" worden, hebben mogelijk niet helemaal ongelijk. Deze perceptie kan voortkomen uit de complexiteit van de modellen en de vele factoren die hun prestaties beïnvloeden. Het is belangrijk te begrijpen dat modellen niet zijn ontworpen om gemakkelijk door mensen te worden begrepen, maar om specifieke taken uit te voeren.

Het Belang van Hands-on Ervaring

Amodei benadrukt dat directe interactie met modellen cruciaal is om ze te begrijpen. Het lezen van onderzoekspapers alleen is niet voldoende. De praktijkervaring biedt een dieper inzicht in de werking en mogelijkheden van de modellen.

Constitutional AI als Hulpmiddel

Constitutional AI is een benadering die wordt ingezet om modellen te verbeteren. Het vermindert de afhankelijkheid van RLHF en verbetert de efficiëntie van elk RLHF-datapunt. Deze methode gebruikt een reeks principes om de training van modellen te begeleiden, waardoor modellen zichzelf kunnen trainen.

De Achtergrond en Context van Amodei’s Ervaring

Dario Amodei heeft al tien jaar ervaring in het AI-veld, te beginnen met spraakherkenningssystemen. Hij heeft van dichtbij meegemaakt hoe het vergroten van de modelgrootte, trainingsdata en trainingstijd de prestaties heeft verbeterd. De periode van 2014 tot 2017 was cruciaal, omdat het bevestigde dat het opschalen van de modelgrootte complexe cognitieve taken mogelijk maakte.

Schaalcomponenten en Toepassingen

Schaalwetten omvatten de lineaire uitbreiding van de netwerkgrootte, trainingstijd en data. Alle drie de componenten moeten proportioneel worden vergroot. Schaalwetten zijn niet alleen van toepassing op taal, maar ook op andere modaliteiten zoals afbeeldingen, video's en wiskunde. Ze zijn ook van toepassing op post-training en nieuwe modellen.

De Fysica Achter Schaalwetten

Het concept van schaalwetten is gerelateerd aan "1/f ruis" en "1/x distributie" in de natuurkunde. Natuurlijke processen hebben verschillende schalen en grotere modellen kunnen complexere patronen vastleggen. Dit illustreert de fundamentele aard van schaalwetten in diverse domeinen.

Potentiële Limieten en Oplossingen

Hoewel de exacte limieten van schaalwetten onbekend zijn, gelooft Amodei dat het opschalen kan leiden tot menselijke intelligentie. Sommige gebieden kunnen limieten hebben die dicht bij menselijke mogelijkheden liggen, terwijl andere nog veel ruimte voor verbetering hebben. Data schaarste is een potentieel limiet, maar synthetische data en redeneermodellen kunnen helpen dit te overwinnen.

Computationele Limieten

De huidige computationele schalen zitten in de miljarden, maar dit zal naar verwachting oplopen tot tientallen miljarden volgend jaar, en mogelijk honderden miljarden in 2027. Deze toename in rekenkracht zal de verdere ontwikkeling van grotere en complexere modellen ondersteunen.

De Claude 3 Serie van Anthropic

Anthropic heeft de Claude 3 modellen uitgebracht met verschillende groottes en mogelijkheden: Opus (meest krachtig), Sonnet (middenklasse) en Haiku (snel en kosteneffectief). De namen zijn geïnspireerd door poëzie, waarbij Haiku het kortste en Opus het meest uitgebreide model is. Elke nieuwe modelgeneratie streeft ernaar de balans tussen prestaties en kosten te verbeteren.

Het Trainingproces

Het trainingproces omvat pre-training (lang en rekenintensief), post-training (RLHF en andere RL-methoden) en veiligheidstesten. Voorkeursdata van oudere modellen kunnen worden gebruikt om nieuwe modellen te trainen. Constitutional AI gebruikt een reeks principes om modeltraining te begeleiden.

Modelpersoonlijkheden

Modellen hebben unieke kenmerken die niet altijd worden vastgelegd door benchmarks, zoals beleefdheid en responsiviteit. Deze persoonlijke eigenschappen kunnen een belangrijk verschil maken in de gebruikerservaring.

Sonnet 3.5's Codeervaardigheden

Het Sonnet 3.5 model heeft aanzienlijke verbeteringen laten zien in codeervaardigheden. Dit bespaart ingenieurs tijd bij taken die voorheen uren duurden. De succesrate op de SWE-bench benchmark is in 10 maanden gestegen van 3% naar 50%.

De Impact van AI op Programmeren

Programmeren zal naar verwachting snel veranderen vanwege de nauwe relatie met AI-ontwikkeling. AI kan code schrijven, uitvoeren en analyseren, waardoor een gesloten systeem ontstaat voor snelle vooruitgang. AI zal naar verwachting de meeste routine codeertaken in 2026 of 2027 overnemen. Dit stelt mensen in staat zich te concentreren op hoog niveau systeemontwerp en architectuur.

Toekomstige IDE's

IDE's hebben een aanzienlijk potentieel voor verbetering, maar Anthropic is niet van plan zijn eigen IDE te ontwikkelen. Ze geven er de voorkeur aan API's te leveren waarmee anderen tools kunnen bouwen.

Computergebruik en Veiligheid

De functionaliteit voor computergebruik stelt modellen in staat screenshots te analyseren en acties uit te voeren door te klikken of op toetsen te drukken. Het vermogen om screenshots te gebruiken is een goed voorbeeld van generalisatie. Krachtige pre-trained modellen kunnen zich gemakkelijk aanpassen aan nieuwe taken. Computergebruik wordt in eerste instantie als API uitgebracht vanwege veiligheidsproblemen.

Veiligheidsmaatregelen

Het is belangrijk deze krachtige modellen veilig te gebruiken en misbruik te voorkomen. De Responsible Scaling Policy (RSP) wordt gebruikt om modellen te testen op potentiële risico's. Modellen zijn gecategoriseerd in verschillende AI Safety Levels (ASL) op basis van hun mogelijkheden en potentiële risico's. Sandboxing wordt gebruikt tijdens training om te voorkomen dat modellen met de echte wereld interageren.

Mechanisme Interpretatie

Mechanisme interpretatie is cruciaal voor het begrijpen en controleren van modellen, vooral op hogere ASL niveaus. Dit stelt onderzoekers in staat om de interne werking van de modellen te doorgronden en beter te beheersen.

RLHF en Modelgedrag

RLHF helpt modellen beter met mensen te communiceren. Het verwijdert enkele beperkingen maar niet alle. De kosten van post-training zullen naar verwachting de kosten van pre-training overschrijden. Methoden voor het verbeteren van modelkwaliteit die alleen op mensen zijn gebaseerd, zijn niet schaalbaar. Meer schaalbare supervisiemethoden zijn dus noodzakelijk.

Model 'Domheid' en Persoonlijkheden

De percepties van gebruikers dat modellen 'dommer' worden, kunnen te wijten zijn aan de complexiteit van modellen en hun gevoeligheid voor prompts. Het beheersen van modelgedrag is moeilijk en er zijn compromissen tussen verschillende kenmerken. Gebruikersfeedback is cruciaal voor het begrijpen van modelgedrag, maar het is moeilijk te verzamelen en te interpreteren.

Concurrentie en Toekomstige Richtingen

Anthropic wil een voorbeeld stellen voor andere bedrijven om verantwoordelijke AI-ontwikkeling te bevorderen. Mechanisme interpretatie is een belangrijk onderzoeksgebied voor Anthropic, gericht op het begrijpen van hoe modellen intern werken. Modellen zijn ontworpen om taken uit te voeren, niet om gemakkelijk te worden begrepen door mensen.

Talent en Experimenteren

Een hoge dichtheid van toptalent is cruciaal voor succes, in plaats van alleen een groot team. Een open mindset en bereidheid tot experimenteren zijn belangrijke kwaliteiten voor AI-onderzoekers en -ingenieurs. Directe interactie met modellen is cruciaal voor het begrijpen ervan. Constitutional AI stelt modellen in staat zichzelf te trainen op basis van een reeks principes.

Model Spec en Risico's

Model Spec, vergelijkbaar met Constitutional AI, definieert modeldoelen en -gedrag. Catastrofaal misbruik is een grote zorg, waarbij modellen worden misbruikt op gebieden zoals cyberveiligheid en biowapens. Naarmate modellen meer autonomie krijgen, is het belangrijk ervoor te zorgen dat ze zijn afgestemd op menselijke intenties.

ASL Niveaus en AGI

ASL niveaus categoriseren modellen op basis van hun mogelijkheden en potentiële risico's. De tijdlijn voor het bereiken van AGI (Artificial General Intelligence) is onzeker, maar het zou binnen enkele jaren kunnen zijn. AGI heeft het potentieel om de biologie en geneeskunde te revolutioneren door onderzoek en ontwikkeling te versnellen.

AI als Onderzoeksassistent

In de vroege stadia zal AI fungeren als onderzoeksassistent, die wetenschappers helpt met experimenten en data-analyse. Hoewel AI het potentieel heeft om de productiviteit aanzienlijk te verhogen, zijn er ook uitdagingen met betrekking tot organisatiestructuren en de trage adoptie van nieuwe technologieën.