GPT சகாப்தத்தை புரட்சிகரமாக்கிய PhD இல்லாத OpenAI முன்னோடி அலெக் ராட்ஃபோர்ட்

அலெக் ராட்ஃபோர்ட்: GPT இன் அங்கீகரிக்கப்படாத ஆர்கிடெக்ட்

'வயர்டு' பத்திரிகை, லாரி பேஜ் பேஜ்ரேங்கை கண்டுபிடித்ததன் மூலம் இணைய தேடலை புரட்சிகரமாக்கியது போல், OpenAI இல் அலெக் ராட்ஃபோர்டின் பங்கை ஒப்பிட்டுள்ளது. ராட்ஃபோர்டின் பணிகள், குறிப்பாக டிரான்ஸ்ஃபார்மர் மற்றும் GPT தொடர்பானவை, செயற்கை நுண்ணறிவு மொழி மாதிரிகள் செயல்படும் விதத்தை அடிப்படையாக மாற்றியுள்ளன.

OpenAI சமீபத்தில் லாப நோக்கமுள்ள நிறுவனம் மற்றும் லாப நோக்கற்ற அமைப்பு என இரண்டாகப் பிரிக்கப்பட்டு, ஒரு நிறுவன கட்டமைப்பை மாற்றியமைத்துள்ளது. அதே நேரத்தில், OpenAI CEO சாம் ஆல்ட்மேன், X சமூக ஊடக தளத்தில், பல OpenAI மூத்த ஊழியர்களுக்கு நன்றி தெரிவித்து, அலெக் ராட்ஃபோர்டை "ஐன்ஸ்டீன் அளவிலான மேதை" என்று குறிப்பிட்டுள்ளார். மேலும், இன்றைய செயற்கை நுண்ணறிவு துறையின் பல முன்னேற்றங்கள் அவரது ஆராய்ச்சி முடிவுகளுடன் இணைக்கப்பட்டுள்ளன என்றும் குறிப்பிட்டுள்ளார்.

ராட்ஃபோர்ட் கடந்த மாதம் OpenAI இலிருந்து வெளியேறி சுயாதீன ஆராய்ச்சியில் ஈடுபட இருப்பதாக தகவல்கள் தெரிவிக்கின்றன.

கல்வி சாதனைகள்

• ராட்ஃபோர்டின் ஆய்வுக் கட்டுரைகள் 190,000 முறைக்கு மேல் மேற்கோள் காட்டப்பட்டுள்ளன.
• அவரது பல ஆய்வுக் கட்டுரைகள் 10,000 முறைக்கு மேல் மேற்கோள் காட்டப்பட்டுள்ளன.

ஆச்சரியமான பின்னணி

• ராட்ஃபோர்டுக்கு முனைவர் பட்டம் இல்லை, முதுகலைப் பட்டம் கூட இல்லை.
• அவரது பல முன்னோடி ஆராய்ச்சி முடிவுகள் முதலில் ஜூபிடர் நோட்புக்கில் செய்யப்பட்டன.

அலெக் ராட்ஃபோர்டின் கதை செயற்கை நுண்ணறிவு துறையில் மீண்டும் பரவலான கவனத்தை ஈர்த்துள்ளது, மக்கள் அவரைப் புகழ்ந்து வருகின்றனர்.

அலெக் ராட்ஃபோர்டின் தொழில் வாழ்க்கை

அலெக் ராட்ஃபோர்ட், இயற்கை மொழி செயலாக்கம் மற்றும் கணினி பார்வை துறையில் ஒரு சிறந்த ஆராய்ச்சியாளர். அவர் OpenAI இல் இயந்திர கற்றல் டெவலப்பராகவும் ஆராய்ச்சியாளராகவும் இருந்தார். இதற்கு முன்பு இண்டிகோ நிறுவனத்தில் ஆராய்ச்சி இயக்குனராக பணியாற்றினார்.

OpenAI இல் இருந்தபோது, ராட்ஃபோர்ட் ஜெனரேட்டிவ் ப்ரீ-ட்ரெய்னிங் (GPT) மொழி மாதிரிகள் குறித்த பல ஆய்வுக் கட்டுரைகளை எழுதியுள்ளார். மேலும், நியூரல் இன்பர்மேஷன் ப்ராசஸிங் சிஸ்டம்ஸ் (NeurIPS), இன்டர்நேஷனல் கான்ஃபரன்ஸ் ஆன் லேர்னிங் ரெப்ரெசன்டேஷன்ஸ் (ICLR), இன்டர்நேஷனல் கான்ஃபரன்ஸ் ஆன் மெஷின் லேர்னிங் (ICML) மற்றும் நேச்சர் போன்ற உயர்மட்ட மாநாடுகள் மற்றும் இதழ்களில் பல ஆய்வுக் கட்டுரைகளை வெளியிட்டுள்ளார்.

அவர் X/Twitter இல் செயற்கை நுண்ணறிவு பற்றிய தனது கருத்துக்களைப் பகிர்ந்து கொண்டார், ஆனால் மே 2021 முதல் அவர் அதில் செயல்படவில்லை. அவரது கடைசி ட்வீட் GPT-1 இன் லேயர் அகலம் 768 ஆக அமைக்கப்பட்டதற்கான காரணத்தை விளக்குகிறது. LinkedIn தகவலின்படி, அலெக் ராட்ஃபோர்ட் 2011 முதல் 2016 வரை ஃபிராங்க்ளின் டபிள்யூ. ஓலின் பொறியியல் கல்லூரியில் பயின்று இளங்கலைப் பட்டம் பெற்றார். மசாசூசெட்ஸின் நீட்ஹாமில் அமைந்துள்ள இந்த தனியார் பொறியியல் கல்லூரி குறைந்த சேர்க்கை விகிதம் மற்றும் சிறந்த கல்விக்காக அறியப்படுகிறது.

ஓலின் பொறியியல் கல்லூரியின் கல்வி முறை "ஓலின் ட்ரையாங்கிள்" என்று அழைக்கப்படுகிறது, இதில் அறிவியல் மற்றும் பொறியியல் அடிப்படைகள், தொழில் முனைவு மற்றும் இலக்கியம் ஆகியவை அடங்கும். இந்த கல்லூரி இயந்திரவியல் பொறியியல், மின்னணு மற்றும் கணினி பொறியியல், கணினி அறிவியல் மற்றும் உயிர் மருத்துவ பொறியியல் ஆகிய நான்கு பட்டங்களை மட்டுமே வழங்குகிறது.

இந்த கல்லூரி நடைமுறை கல்வியை வலியுறுத்துகிறது, மாணவர்கள் தங்கள் அறிவை உண்மையான சவால்களுடன் இணைக்க ஊக்குவிக்கிறது மற்றும் அவர்களின் ஆர்வங்களை பின்தொடர ஊக்குவிக்கிறது.

இளங்கலை பட்டப்படிப்பின் போது, ராட்ஃபோர்ட் இயந்திர கற்றலில் மிகுந்த ஆர்வம் கொண்டிருந்தார். அவர் தனது நண்பர்களுடன் காகில் போட்டியில் கலந்து கொண்டு வெற்றி பெற்றார், இறுதியில் ஒரு வென்ச்சர் கேபிடல் நிறுவனத்தில் முதலீடு செய்தார். 2013 இல், ராட்ஃபோர்ட் தனது கூட்டாளிகளுடன் இணைந்து இண்டிகோவை நிறுவினார், இது நிறுவனங்களுக்கு இயந்திர கற்றல் தீர்வுகளை வழங்கியது.

இண்டிகோவில் இருந்தபோது, ராட்ஃபோர்ட் முக்கியமாக நம்பிக்கைக்குரிய பட மற்றும் உரை இயந்திர கற்றல் தொழில்நுட்பங்களை அடையாளம் காண்பது, உருவாக்குவது மற்றும் மேம்படுத்துவது ஆகியவற்றிற்கு பொறுப்பாக இருந்தார். மேலும், அவற்றை ஆராய்ச்சி கட்டத்திலிருந்து தொழில்துறை பயன்பாட்டிற்கு கொண்டு செல்வதில் முக்கிய பங்கு வகித்தார்.

அவர் ஜெனரேட்டிவ் அட்வர்சரியல் நெட்வொர்க்ஸ் (GAN) தொடர்பான ஆராய்ச்சியை மேற்கொண்டார், மேலும் GAN இன் பயிற்சித்திறனை மேம்படுத்த DCGAN ஐ முன்மொழிந்தார், இது GAN துறையில் ஒரு முக்கியமான முன்னேற்றமாகக் கருதப்படுகிறது.

பாஸ்டன் பிராந்தியத்தில் செயற்கை நுண்ணறிவுத் துறையில் மேற்கு கடற்கரை தொழில்நுட்ப நிறுவனங்களைப் போல அதிக செல்வாக்கு இல்லாததால், மற்றும் வரையறுக்கப்பட்ட வளங்கள் காரணமாக, ராட்ஃபோர்ட் 2016 இல் OpenAI இல் சேர்ந்தார்.

அவர் தனது புதிய வேலையை "ஆராய்ச்சி மாணவர் படிப்பில் சேருவது போன்றது" என்று விவரித்தார், அங்கு ஒரு திறந்த மற்றும் குறைந்த அழுத்தமான AI ஆராய்ச்சி சூழல் இருந்தது.

ராட்ஃபோர்ட் ஒரு அடக்கமானவர், ஊடகங்களுடன் தொடர்பு கொள்ள விரும்பவில்லை. OpenAI இல் அவர் செய்த ஆரம்பகால பணிகள் குறித்து 'வயர்டு' பத்திரிகைக்கு மின்னஞ்சல் மூலம் பதிலளித்தார். அதில், நரம்பியல் நெட்வொர்க்குகள் மனிதர்களுடன் தெளிவாக உரையாடுவதில் தனக்கு அதிக ஆர்வம் இருப்பதாகக் கூறினார்.

அக்காலத்திய சாட் பாட்கள் (ELIZA முதல் Siri மற்றும் Alexa வரை) வரம்புகளைக் கொண்டிருந்தன என்று அவர் நம்பினார், எனவே பல்வேறு பணிகள், அமைப்புகள், களங்கள் மற்றும் சூழ்நிலைகளில் மொழி மாதிரிகளின் பயன்பாட்டை ஆராய்வதில் அவர் கவனம் செலுத்தினார்.

அவரது முதல் சோதனை 2 பில்லியன் ரெடிட் கருத்துகளைப் பயன்படுத்தி ஒரு மொழி மாதிரியைப் பயிற்றுவிப்பதாகும். அது தோல்வியடைந்தாலும், OpenAI அவருக்கு போதுமான சோதனை இடத்தை வழங்கியது. இது பின்னர் GPT-1 மற்றும் அவர் தலைமையிலான GPT-2 போன்ற பல புரட்சிகரமான முன்னேற்றங்களுக்கு அடித்தளமிட்டது.

இந்த பணிகள் நவீன பெரிய மொழி மாதிரிகளுக்கு அடித்தளமாக அமைந்தன. 'வயர்டு' பத்திரிகை, அலெக் ராட்ஃபோர்டின் OpenAI இன் பங்கை லாரி பேஜ் பேஜ்ரேங்கை கண்டுபிடித்ததுடன் ஒப்பிட்டது. குறிப்பிடத்தக்க வகையில், பேஜ்ரேங்க் லாரி பேஜ் ஸ்டான்போர்டில் முனைவர் பட்டம் படித்துக்கொண்டிருந்தபோது கண்டுபிடிக்கப்பட்டது, ஆனால் அவர் பின்னர் முனைவர் பட்டத்தை முடிக்கவில்லை.

அலெக் ராட்ஃபோர்ட் GPT-3 ஆய்வுக் கட்டுரை எழுதுவதிலும், GPT-4 இன் முன் பயிற்சி தரவு மற்றும் கட்டமைப்பை ஆய்வு செய்வதிலும் பங்கு கொண்டார்.

2024 ஆம் ஆண்டின் இறுதியில், OpenAI 12 நாட்கள் தொடர்ச்சியாக செய்திகளை வெளியிட்ட கடைசி நாளுக்கு முன்பு, அலெக் ராட்ஃபோர்ட் OpenAI ஐ விட்டு வெளியேற இருப்பதாக தகவல் வெளியானது, ஆனால் இது OpenAI இன் நிறுவன கட்டமைப்பில் ஏற்பட்ட மாற்றத்துடன் தொடர்புடையதா என்பது தற்போது தெளிவாகத் தெரியவில்லை.

தற்போது, அவர் ஒரு சுயாதீன ஆராய்ச்சியாளராக இருப்பார் என்பது மட்டுமே எங்களுக்குத் தெரியும். அவர் ஒரு பல்கலைக்கழகத்தில் முனைவர் பட்டம் பெற தேர்வு செய்யலாம் அல்லது சிறிது காலம் அமைதியாக இருந்து புதிய ஆராய்ச்சி முடிவுகளுடன் மீண்டும் தோன்றலாம். எப்படியிருந்தாலும், அலெக் ராட்ஃபோர்ட் உருவாக்கிய எதிர்காலம் வந்து கொண்டிருக்கிறது. ஆல்ட்மேன் கணித்த பொது செயற்கை நுண்ணறிவு (AGI) இந்த ஆண்டு சாத்தியமாகுமா இல்லையா என்பது முக்கியமல்ல, 2025 ஆம் ஆண்டு செயற்கை நுண்ணறிவுத் துறையில் ஒரு முக்கியமான ஆண்டாக இருக்கும்.