பெரிய மொழி மாதிரிகளை உருவாக்குதல்: அளவிடுதல் விதி ஒரு தடையை சந்திப்பதாக தலைமை நிர்வாக அதிகாரி நினைக்கவில்லை

பெரிய மொழி மாதிரிகளை உருவாக்குதல்: அளவிடுதல் விதி ஒரு தடையை சந்திப்பதாக தலைமை நிர்வாக அதிகாரி நினைக்கவில்லை.

அறிமுகம்

செயற்கை நுண்ணறிவு (AI) துறையில், பெரிய மொழி மாதிரிகள் (LLMs) குறிப்பிடத்தக்க முன்னேற்றங்களைக் கண்டுள்ளன. ஆந்த்ரோபோபிக் நிறுவனத்தின் தலைமை நிர்வாக அதிகாரி டேரியோ அமாடியோ, இந்த மாதிரிகளின் அளவிடுதல் விதிகள் இன்னும் முழுத் திறனை அடையவில்லை என்று கூறுகிறார். தரவு பற்றாக்குறை ஒரு தடையாக இருந்தாலும், செயற்கை தரவு மற்றும் மேம்பட்ட பகுத்தறிவு மாதிரிகள் மூலம் இந்த வரம்புகளை கடக்க முடியும் என்று அவர் நம்புகிறார். இந்த கட்டுரை, டேரியோ அமாடியோவின் கருத்துக்கள் மற்றும் பெரிய மொழி மாதிரிகளின் எதிர்காலம் குறித்த அவரது பார்வையை ஆராய்கிறது.

அளவிடுதல் விதி தொடர்கிறது

அமாடியோவின் கூற்றுப்படி, செயற்கை நுண்ணறிவு மாதிரிகளின் அளவிடுதல் விதிகள் இன்னும் முடிவை எட்டவில்லை. தரவு வரம்புகள் ஒரு கவலையாக இருந்தாலும், செயற்கை தரவு மற்றும் பகுத்தறிவு மாதிரிகளைப் பயன்படுத்தி இந்த வரம்புகளை சமாளிக்க முடியும் என்று அவர் தெரிவிக்கிறார். பெரிய மாதிரிகளை உருவாக்குவதற்கான முக்கியமான காரணிகளில் அளவிடுதல் ஒன்றாகும். இது நெட்வொர்க் அளவு, பயிற்சி நேரம் மற்றும் தரவு ஆகியவற்றை நேரியல் முறையில் விரிவுபடுத்துவதை உள்ளடக்குகிறது. இந்த மூன்று கூறுகளும் விகிதாசாரமாக அதிகரிக்கப்பட வேண்டும்.

• தரவு பற்றாக்குறை ஒரு சாத்தியமான வரம்பாக இருந்தாலும், செயற்கை தரவு மற்றும் பகுத்தறிவு மாதிரிகள் இதற்கு உதவும்.
• இயற்பியலில் உள்ள "1/f சத்தம்" மற்றும் "1/x விநியோகம்" போன்ற கருத்துகளுடன் அளவிடுதல் விதி தொடர்புடையது.
• பெரிய மாதிரிகள் மிகவும் சிக்கலான வடிவங்களை கைப்பற்றுகின்றன.

மாதிரி மேம்பாடுகள்

செயற்கை நுண்ணறிவு மாதிரிகளின் திறன்கள் வியத்தகு அளவில் மேம்பட்டுள்ளன. ஸ்வீ-பெஞ்ச் போன்ற அளவுகோல்களில் செயல்திறன் பத்து மாதங்களில் 3-4% லிருந்து 50% ஆக அதிகரித்துள்ளது. மேலும் மேம்பாடுகள் எதிர்பார்க்கப்படுகின்றன. பயிற்சிக்குப் பிறகு மாதிரிகளின் தரத்தை மேம்படுத்துவது முக்கியமானது. மனிதர்களை மட்டுமே பயன்படுத்தி மாதிரிகளின் தரத்தை மேம்படுத்துவது கடினம் என்பதால், அளவிடக்கூடிய மேற்பார்வை முறைகள் அவசியமாகின்றன.

• பெஞ்ச்மார்க் சோதனைகளில் மாதிரி செயல்திறன் கணிசமாக அதிகரித்துள்ளது.
• பயிற்சிக்குப் பிறகு மேம்படுத்துவது, பயிற்சிக்கு முந்தையதை விட முக்கியமானதாக இருக்கும்.
• அளவிடக்கூடிய மேற்பார்வை முறைகள் அவசியம்.

மாதிரி வேறுபாடுகள்

மாதிரிகளின் பண்புகள் மற்றும் வேறுபாடுகள் எப்போதும் அளவுகோல்களால் பிடிக்கப்படுவதில்லை. எடுத்துக்காட்டாக, பணிவு, நேரடித்தன்மை, பதிலளிக்கும் தன்மை மற்றும் முன்முயற்சி போன்ற காரணிகளும் முக்கிய பங்கு வகிக்கின்றன. மாதிரிகள் மனிதர்களுடன் எவ்வாறு தொடர்பு கொள்கின்றன என்பதைப் புரிந்துகொள்வது முக்கியம்.

• மாதிரி பண்புகள் அளவுகோல்களால் முழுமையாக அளவிடப்படுவதில்லை.
• பணிவு மற்றும் பதிலளிக்கும் தன்மை போன்ற பண்புகள் முக்கியம்.

RLHF இன் பங்கு

மனித கருத்துகளிலிருந்து வலுவூட்டல் கற்றல் (RLHF), மனிதர்களுக்கும் மாதிரிகளுக்கும் இடையிலான தொடர்பு இடைவெளியை நிரப்புகிறது. இது மாதிரிகளை இயல்பாகவே புத்திசாலித்தனமாக்குவதற்குப் பதிலாக, தொடர்புகளை மேம்படுத்துகிறது. RLHF மாதிரிகளை "தடைநீக்கம்" செய்து சில வரம்புகளை நீக்க முடியும்.

• RLHF மாதிரிகளை புத்திசாலித்தனமாக்குவதற்கு பதிலாக, தொடர்புகளை மேம்படுத்துகிறது.
• RLHF சில வரம்புகளை நீக்க உதவுகிறது.

பயனர் கருத்துக்கள்

மாதிரிகள் "மந்தமாக" இருப்பதாக பயனர்கள் உணர்வது தவறில்லை. இது மாதிரிகளின் சிக்கலான தன்மை மற்றும் அவற்றின் செயல்திறனை பாதிக்கும் பல காரணிகளால் இருக்கலாம். மாதிரிகள் செயல்பாடுகளைச் செய்ய வடிவமைக்கப்பட்டுள்ளன, மனிதர்களால் எளிதில் புரிந்துகொள்ளும் வகையில் அல்ல.

• மாதிரிகள் "மந்தமாக" இருப்பதாக பயனர்கள் உணர்வது தவறில்லை.
• மாதிரிகள் செயல்பாடுகளைச் செய்ய வடிவமைக்கப்பட்டுள்ளன.

அனுபவத்தின் முக்கியத்துவம்

மாதிரிகளைப் பற்றி அறிந்துகொள்ள ஆராய்ச்சி கட்டுரைகளை மட்டும் படிப்பதோடு நிறுத்தாமல், நேரடி தொடர்பு கொள்வது அவசியம். இது மாதிரிகளைப் பற்றி ஆழமாகப் புரிந்துகொள்ள உதவும்.

• மாதிரிகளைப் பற்றி அறிந்துகொள்ள நேரடி தொடர்பு அவசியம்.

அரசியலமைப்பு AI

அரசியலமைப்பு AI என்பது மாதிரிகளை மேம்படுத்துவதற்கான ஒரு கருவியாகும். இது RLHF ஐ சார்ந்திருப்பதைக் குறைக்கிறது மற்றும் ஒவ்வொரு RLHF தரவு புள்ளியையும் சிறப்பாகப் பயன்படுத்த உதவுகிறது. இது மாதிரிகளைத் தாங்களே பயிற்றுவிக்க உதவுகிறது.

• அரசியலமைப்பு AI என்பது மாதிரிகளை மேம்படுத்துவதற்கான ஒரு கருவி.
• இது RLHF ஐ சார்ந்திருப்பதைக் குறைக்கிறது.

பின்னணி மற்றும் சூழல்

டேரியோ அமாடியோ 10 ஆண்டுகளாக செயற்கை நுண்ணறிவு துறையில் உள்ளார். அவர் பேச்சு அங்கீகார அமைப்புகளில் தனது வாழ்க்கையைத் தொடங்கினார். மாதிரி அளவு, தரவு மற்றும் பயிற்சி நேரம் ஆகியவற்றை அதிகரிப்பது செயல்திறனை மேம்படுத்தும் என்று அவர் கண்டறிந்தார். 2014 முதல் 2017 வரை, மாதிரி அளவை அதிகரிப்பது சிக்கலான அறிவாற்றல் பணிகளை அடைய முடியும் என்பதை உறுதிப்படுத்தியது.

• அமாடியோ 10 ஆண்டுகளாக செயற்கை நுண்ணறிவு துறையில் உள்ளார்.
• மாதிரி அளவு, தரவு மற்றும் பயிற்சி நேரம் ஆகியவற்றை அதிகரிப்பது செயல்திறனை மேம்படுத்தும்.

அளவிடுதல் வரம்புகள்

அளவிடுதலின் சரியான வரம்புகள் தெரியவில்லை என்றாலும், மனித அளவிலான நுண்ணறிவை அளவிடுதல் அடைய முடியும் என்று அமாடியோ நம்புகிறார். சில பகுதிகளில் மனித திறன்களுக்கு அருகில் வரம்புகள் இருக்கலாம், மற்றவர்களுக்கு மேம்படுத்த அதிக இடம் உள்ளது. தற்போதைய கணக்கீட்டு அளவுகள் பில்லியன்களில் உள்ளன. அடுத்த ஆண்டு பல்லாயிரக்கணக்கான பில்லியன்களை எட்டவும், 2027க்குள் நூற்றுக்கணக்கான பில்லியன்களை எட்டவும் வாய்ப்புள்ளது.

• அளவிடுதல் மனித அளவிலான நுண்ணறிவை அடைய முடியும்.
• கணக்கீட்டு அளவுகள் பில்லியன்களில் இருந்து பல்லாயிரக்கணக்கான பில்லியன்களுக்கு அதிகரிக்கும்.

மாதிரி மேம்பாடு மற்றும் பண்புகள்

ஆந்த்ரோபோபிக், கிளவுட் 3 தொடர் மாதிரிகளை பலவிதமான அளவுகள் மற்றும் திறன்களுடன் வெளியிட்டது. ஓபஸ் (மிகவும் சக்திவாய்ந்த), சோனெட் (நடுத்தர வரம்பு) மற்றும் ஹைகு (வேகமான மற்றும் செலவு குறைந்தவை) ஆகியவை இதில் அடங்கும். இந்த மாதிரிகளின் பெயர்கள் கவிதைகளால் ஈர்க்கப்பட்டவை. ஹைகு என்பது மிகக் குறுகியதாகவும், ஓபஸ் மிக விரிவானதாகவும் உள்ளது.

• கிளவுட் 3 தொடர் மாதிரிகள் பலவிதமான அளவுகள் மற்றும் திறன்களுடன் வெளியிடப்பட்டன.
• மாதிரி பெயர்கள் கவிதைகளால் ஈர்க்கப்பட்டவை.

ஒவ்வொரு புதிய மாதிரி தலைமுறையும் செயல்திறன் மற்றும் செலவு இடையே சமநிலையை மேம்படுத்த முயற்சிக்கிறது. மாதிரி பயிற்சி செயல்முறையானது பயிற்சிக்கு முந்தையது (நீண்ட மற்றும் கணக்கீட்டு ரீதியாக தீவிரமானது), பயிற்சிக்குப் பிந்தையது (RLHF மற்றும் பிற RL முறைகள்), மற்றும் பாதுகாப்பு சோதனை ஆகியவற்றை உள்ளடக்கியது. பழைய மாதிரிகளின் விருப்பத் தரவை புதிய மாதிரிகளைப் பயிற்றுவிக்க பயன்படுத்தலாம்.

• ஒவ்வொரு புதிய மாதிரி தலைமுறையும் செயல்திறன் மற்றும் செலவை மேம்படுத்தும்.
• மாதிரி பயிற்சி செயல்முறை பல்வேறு நிலைகளைக் கொண்டது.

குறியீட்டு மற்றும் IDEகள்

சோனெட் 3.5 இன் குறியீட்டு திறன்கள் கணிசமான முன்னேற்றங்களைக் காட்டியுள்ளன. இது பொறியாளர்கள் பல மணிநேரம் செலவழித்த பணிகளை சில நிமிடங்களில் முடிக்க உதவுகிறது. ஸ்வீ-பெஞ்ச் அளவுகோலில் மாதிரியின் வெற்றி விகிதம் 10 மாதங்களில் 3% லிருந்து 50% ஆக அதிகரித்துள்ளது.

• சோனெட் 3.5 குறியீட்டு திறன்களில் முன்னேற்றம் கண்டுள்ளது.
• ஸ்வீ-பெஞ்ச் அளவுகோலில் வெற்றி விகிதம் கணிசமாக அதிகரித்துள்ளது.

செயற்கை நுண்ணறிவு வளர்ச்சி மற்றும் நிரலாக்கத்திற்கு இடையிலான நெருங்கிய உறவு காரணமாக, நிரலாக்கம் விரைவாக மாறக்கூடும். செயற்கை நுண்ணறிவு குறியீட்டை எழுதவும், இயக்கவும் மற்றும் பகுப்பாய்வு செய்யவும் முடியும். இது விரைவான முன்னேற்றத்திற்கான ஒரு மூடிய சுழற்சி அமைப்பை உருவாக்குகிறது. 2026 அல்லது 2027 ஆம் ஆண்டளவில், செயற்கை நுண்ணறிவு பெரும்பாலான வழக்கமான குறியீட்டு பணிகளை கையாளும் என்று எதிர்பார்க்கப்படுகிறது. இது மனிதர்களை உயர் மட்ட அமைப்பு வடிவமைப்பு மற்றும் கட்டிடக்கலை மீது கவனம் செலுத்த அனுமதிக்கும்.

• செயற்கை நுண்ணறிவு நிரலாக்கத்தில் முக்கிய பங்கு வகிக்கிறது.
• 2026 அல்லது 2027 ஆம் ஆண்டளவில், செயற்கை நுண்ணறிவு பெரும்பாலான குறியீட்டு பணிகளை கையாளும்.

கணினி பயன்பாடு மற்றும் பாதுகாப்பு

கணினி பயன்பாட்டு செயல்பாடு, மாதிரிகள் ஸ்கிரீன்ஷாட்களைப் பகுப்பாய்வு செய்யவும், கிளிக் செய்வதன் மூலமோ அல்லது விசைகளை அழுத்துவதன் மூலமோ செயல்களைச் செய்யவும் அனுமதிக்கிறது. ஸ்கிரீன்ஷாட்களைப் பயன்படுத்தும் திறன் பொதுமைப்படுத்தலுக்கு ஒரு சிறந்த எடுத்துக்காட்டு. சக்திவாய்ந்த பயிற்சி பெற்ற மாதிரி புதிய பணிகளுக்கு எளிதில் மாற்றியமைக்க முடியும்.

• கணினி பயன்பாட்டு செயல்பாடு ஸ்கிரீன்ஷாட்களைப் பகுப்பாய்வு செய்ய உதவுகிறது.
• இது பொதுமைப்படுத்தலுக்கு ஒரு சிறந்த எடுத்துக்காட்டு.

பாதுகாப்பு கவலைகள் காரணமாக, கணினி பயன்பாடு முதலில் ஒரு API ஆக வெளியிடப்பட்டது. இந்த சக்திவாய்ந்த மாதிரிகளைப் பாதுகாப்பாகப் பயன்படுத்துவதும், தவறாகப் பயன்படுத்துவதைத் தடுப்பதும் முக்கியம். பொறுப்புள்ள அளவிடுதல் கொள்கை (RSP), சாத்தியமான அபாயங்களுக்காக மாதிரிகளை சோதிக்கப் பயன்படுகிறது. செயற்கை நுண்ணறிவு பாதுகாப்பு நிலைகள் (ASL), மாதிரிகளின் திறன்கள் மற்றும் சாத்தியமான அபாயங்களின் அடிப்படையில் வெவ்வேறு நிலைகளாகப் பிரிக்கப்படுகின்றன.

• பாதுகாப்பு கவலைகள் காரணமாக, முதலில் API ஆக வெளியிடப்பட்டது.
• பொறுப்புள்ள அளவிடுதல் கொள்கை (RSP) மற்றும் செயற்கை நுண்ணறிவு பாதுகாப்பு நிலைகள் (ASL) பாதுகாப்புக்கு முக்கியம்.

பயிற்சியின் போது, மாதிரிகள் உண்மையான உலகத்துடன் தொடர்பு கொள்வதைத் தடுக்க சாண்ட்பாக்ஸிங் பயன்படுத்தப்படுகிறது. பொறிமுறை விளக்கம், மாதிரிகளைப் புரிந்துகொள்வதற்கும் கட்டுப்படுத்துவதற்கும் முக்கியமானது. குறிப்பாக அதிக ASL நிலைகளில் இது அவசியம்.

• சாண்ட்பாக்ஸிங் மாதிரிகள் உண்மையான உலகத்துடன் தொடர்பு கொள்வதைத் தடுக்கிறது.
• பொறிமுறை விளக்கம் மாதிரிகளைப் புரிந்துகொள்ள உதவுகிறது.

RLHF மற்றும் மாதிரி நடத்தை

RLHF மனிதர்களுடன் சிறப்பாகத் தொடர்பு கொள்ள மாதிரிகளுக்கு உதவுகிறது. இது மாதிரிகளை இயல்பாகவே புத்திசாலித்தனமாக்குவதற்குப் பதிலாக, தொடர்புகளை மேம்படுத்துகிறது. RLHF மாதிரிகளை "தடைநீக்கம்" செய்து சில வரம்புகளை நீக்க முடியும். பயிற்சிக்குப் பிந்தைய செலவுகள் எதிர்காலத்தில் பயிற்சிக்கு முந்தைய செலவுகளை விட அதிகமாக இருக்கும் என்று எதிர்பார்க்கப்படுகிறது.

• RLHF மாதிரிகளை புத்திசாலித்தனமாக்குவதற்குப் பதிலாக, தொடர்புகளை மேம்படுத்துகிறது.
• பயிற்சிக்குப் பிந்தைய செலவுகள் அதிகரிக்கும்.

மனிதர்களை மட்டுமே பயன்படுத்தி மாதிரிகளின் தரத்தை மேம்படுத்துவது கடினம் என்பதால், அளவிடக்கூடிய மேற்பார்வை முறைகள் அவசியமாகின்றன. மாதிரிகள் "மந்தமாக" இருப்பதாக பயனர்கள் உணர்வது, மாதிரிகளின் சிக்கலான தன்மை மற்றும் அவற்றின் தூண்டுதல்களுக்கு உணர்திறன் காரணமாக இருக்கலாம். மாதிரி நடத்தையை கட்டுப்படுத்துவது கடினம், மற்றும் வெவ்வேறு பண்புகளுக்கு இடையே வர்த்தகங்கள் உள்ளன. மாதிரி நடத்தையைப் புரிந்துகொள்ள பயனர் கருத்து முக்கியமானது.

• அளவிடக்கூடிய மேற்பார்வை முறைகள் அவசியம்.
• மாதிரி நடத்தை கட்டுப்படுத்துவது கடினம்.

போட்டி மற்றும் எதிர்கால திசைகள்

ஆந்த்ரோபோபிக், மற்ற நிறுவனங்கள் பின்பற்றுவதற்கு ஒரு முன்மாதிரியை அமைக்க விரும்புகிறது. இது பொறுப்பான AI வளர்ச்சியை ஊக்குவிக்கிறது. பொறிமுறை விளக்கம் ஆந்த்ரோபோபிக்கின் முக்கிய ஆராய்ச்சி பகுதியாகும். இது மாதிரிகள் உள்நாட்டில் எவ்வாறு செயல்படுகின்றன என்பதைப் புரிந்துகொள்வதை நோக்கமாகக் கொண்டுள்ளது.

• ஆந்த்ரோபோபிக் பொறுப்பான AI வளர்ச்சியை ஊக்குவிக்கிறது.
• பொறிமுறை விளக்கம் ஆந்த்ரோபோபிக் நிறுவனத்தின் முக்கிய ஆராய்ச்சி பகுதியாகும்.

மாதிரிகள் செயல்பாடுகளைச் செய்ய வடிவமைக்கப்பட்டுள்ளன, மனிதர்களால் எளிதில் புரிந்துகொள்ளும் வகையில் அல்ல. ஒரு பெரிய குழுவை விட சிறந்த திறமைசாலிகள் இருப்பது வெற்றியை உறுதி செய்யும். ஒரு திறந்த மனப்பான்மை மற்றும் பரிசோதனை செய்ய விருப்பம் ஆகியவை AI ஆராய்ச்சியாளர்கள் மற்றும் பொறியாளர்களுக்கு முக்கியமான குணங்கள். மாதிரிகளைப் பற்றி அறிந்துகொள்ள நேரடி தொடர்பு அவசியம்.

• மாதிரிகள் செயல்பாடுகளைச் செய்ய வடிவமைக்கப்பட்டுள்ளன.
• சிறந்த திறமைசாலிகள் இருப்பது வெற்றியை உறுதி செய்யும்.

அரசியலமைப்பு AI, மாதிரிகள் தங்களை தாங்களே பயிற்றுவிக்க உதவும் ஒரு முறையாகும். மாதிரி குறிப்பு, அரசியலமைப்பு AI போன்றது. இது மாதிரி இலக்குகள் மற்றும் நடத்தைகளை வரையறுக்கிறது. பேரழிவு தரும் தவறான பயன்பாடு, சைபர் பாதுகாப்பு மற்றும் உயிரி ஆயுதங்கள் போன்ற பகுதிகளில் மாதிரிகளை தவறாகப் பயன்படுத்துவது ஒரு பெரிய கவலையாகும்.

• அரசியலமைப்பு AI மாதிரிகள் தங்களை தாங்களே பயிற்றுவிக்க உதவுகிறது.
• பேரழிவு தரும் தவறான பயன்பாடு ஒரு பெரிய கவலை.

மாதிரிகள் அதிக சுயாட்சி பெறும்போது, அவை மனித நோக்கங்களுடன் ஒத்துப்போவதை உறுதி செய்வது முக்கியம். ASL நிலைகள், மாதிரிகளின் திறன்கள் மற்றும் சாத்தியமான அபாயங்களின் அடிப்படையில் மாதிரிகளை வகைப்படுத்துகின்றன. AGI ஐ அடைவதற்கான காலக்கெடு நிச்சயமற்றது. உயிரியல் மற்றும் மருத்துவத்தில் AGI ஆராய்ச்சி மற்றும் மேம்பாட்டை துரிதப்படுத்துவதன் மூலம் புரட்சியை ஏற்படுத்தக்கூடும். ஆரம்ப கட்டங்களில், AI ஒரு ஆராய்ச்சி உதவியாளராக செயல்படும்.

• மாதிரிகள் மனித நோக்கங்களுடன் ஒத்துப்போவதை உறுதி செய்வது முக்கியம்.
• AGI உயிரியல் மற்றும் மருத்துவத்தில் புரட்சியை ஏற்படுத்தக்கூடும்.

AI உற்பத்தித்திறனை கணிசமாக அதிகரிக்கக்கூடிய சாத்தியம் இருந்தாலும், நிறுவன கட்டமைப்புகள் மற்றும் புதிய தொழில்நுட்பங்களை மெதுவாக ஏற்றுக்கொள்வது தொடர்பான சவால்களும் உள்ளன.

• AI உற்பத்தித்திறனை அதிகரிக்கக்கூடிய சாத்தியம் உள்ளது.
• புதிய தொழில்நுட்பங்களை ஏற்றுக்கொள்வது சவாலாக இருக்கலாம்.