மைக்ரோசாஃப்ட் Phi-4: GPT-4o ஐ மிஞ்சிய திறனுடன்

மைக்ரோசாஃப்ட் சமீபத்தில் Phi-4 என்ற சக்திவாய்ந்த சிறிய அளவுரு மாதிரியை வெளியிட்டது, இது GPT-4o ஐ விட சிறந்தது. இந்த மாதிரி 14 பில்லியன் அளவுருக்களை மட்டுமே கொண்டுள்ளது, ஆனால் இது பல தரப்படுத்தப்பட்ட சோதனைகளில் GPT-4o மற்றும் Qwen 2.5-14B மற்றும் Llama-3.3-70B போன்ற பிற சிறந்த திறந்த மூல மாதிரிகளை விட சிறந்த செயல்திறனைக் கொண்டுள்ளது.

அமெரிக்க கணித போட்டி AMC இல் Phi-4 91.8 மதிப்பெண்கள் பெற்றுள்ளது, இது ஜெமினி ப்ரோ 1.5 மற்றும் கிளாட் 3.5 சோனெட் போன்ற பல பிரபலமான திறந்த மற்றும் மூடிய மூல மாதிரிகளை விட சிறந்தது. இதன் ஒட்டுமொத்த செயல்திறன் 405 பில்லியன் அளவுருக்களைக் கொண்ட Llama-3.1 உடன் ஒப்பிடத்தக்கது.

இந்த வெளியீடு சமூகத்தில் பெரும் வரவேற்பைப் பெற்றது, ஏனெனில் பயனர்கள் ஏற்கனவே Hugging Face இல் Phi-4 இன் அதிகாரப்பூர்வமற்ற பதிப்புகளை பதிவேற்றியிருந்தனர். இப்போது, மைக்ரோசாஃப்ட் அதிகாரப்பூர்வமாக Phi-4 ஐ MIT உரிமத்துடன் திறந்துள்ளது, இது வணிக பயன்பாட்டிற்கு அனுமதிக்கிறது. phi-4 என்ற முகவரியில் திறந்த மூலத்தை அணுகலாம். Hugging Face அதிகாரப்பூர்வமாக Phi-4 இன் திறந்த மூலத்தை வாழ்த்தியுள்ளது, இது மாதிரியின் தாக்கத்தை எடுத்துக்காட்டுகிறது.

Phi-4 இன் முக்கிய நன்மைகள்: செயற்கை தரவு மற்றும் துல்லியமான பயிற்சி

Phi-4 சிறிய அளவுருக்களுடன் சிறந்த செயல்திறனை அடைய முக்கிய காரணம், உயர்தர செயற்கை தரவு ஆகும். பாரம்பரிய வலை தரவுகளைக் காட்டிலும், செயற்கை தரவு மிகவும் கட்டமைக்கப்பட்ட மற்றும் படிப்படியான கற்றல் பொருட்களை வழங்குகிறது, இது மொழி தர்க்கத்தையும், பகுத்தறிவையும் திறம்பட கற்றுக்கொள்ள உதவுகிறது.

• கட்டமைக்கப்பட்ட கற்றல்: செயற்கை தரவு படிப்படியாக சிக்கலை தீர்க்கும் படிகளின்படி வழங்கப்படுகிறது. உதாரணமாக, கணித சிக்கல்களைத் தீர்ப்பதில், இது சிக்கலின் அமைப்பு மற்றும் தீர்வு முறையைப் புரிந்துகொள்ள உதவுகிறது.

• சூழல் சீரமைப்பு: செயற்கை தரவு மாதிரியின் பகுத்தறிவு சூழலுடன் சிறப்பாக சீரமைக்கப்படுகிறது, இது உண்மையான பயன்பாட்டில் மாதிரி உருவாக்க வேண்டிய வெளியீட்டு வடிவத்திற்கு நெருக்கமாக உள்ளது. இதனால் மாதிரி அதன் முன் பயிற்சி கட்டத்திலேயே உண்மையான பயன்பாட்டு சூழ்நிலைகளுக்கு ஏற்றதாக மாறுகிறது. உதாரணமாக, வலை மன்றங்களில் உள்ள உண்மைத் தகவல்களை பெரிய மொழி மாதிரி உரையாடல்களின் பாணியில் மாற்றுவது, இந்த தகவல்களை மாதிரி உருவாக்கும் உரையாடல்களில் மிகவும் இயல்பானதாகவும், நியாயமானதாகவும் ஆக்குகிறது.

Phi-4 இன் செயற்கை தரவு உருவாக்கம் பின்வரும் கொள்கைகளை பின்பற்றுகிறது:

1. பன்முகத்தன்மை
2. நுட்பம் மற்றும் சிக்கலான தன்மை
3. துல்லியம்
4. பகுத்தறிவு சங்கிலி

இந்த கொள்கைகள் செயற்கை தரவின் தரத்தை உறுதி செய்கின்றன, மேலும் 50 க்கும் மேற்பட்ட வெவ்வேறு வகையான செயற்கை தரவுத்தொகுப்புகளை உள்ளடக்கியது. மைக்ரோசாஃப்ட் பல கட்ட தூண்டுதல் செயல்முறைகள், விதை திட்டமிடல், மறுஎழுத்து மற்றும் மேம்பாடு, சுய-திருத்தம் போன்ற பல முறைகளைப் பயன்படுத்தி சுமார் 400 பில்லியன் எடையற்ற டோக்கன்களை உருவாக்கியுள்ளது.

செயற்கை தரவுகளுக்கு கூடுதலாக, Phi-4 கரிம தரவுகளையும் தீவிரமாக வடிகட்டி உள்ளது. வலை உள்ளடக்கம், உரிமம் பெற்ற புத்தகங்கள் மற்றும் குறியீட்டு களஞ்சியங்கள் போன்ற பல சேனல்களிலிருந்து தரவுகளை சேகரித்து, இரண்டு கட்ட வடிகட்டுதல் செயல்முறை மூலம், அதிக கல்வி மதிப்பு மற்றும் பகுத்தறிவு ஆழம் கொண்ட விதை தரவுகளை பிரித்தெடுத்தது. இந்த விதை தரவு செயற்கை தரவு உருவாக்கத்திற்கு அடிப்படையாக இருந்தது, மேலும் மாதிரியின் அறிவு களஞ்சியத்தை மேலும் வளப்படுத்துவதற்கு நேரடியாக முன் பயிற்சியிலும் பயன்படுத்தப்பட்டது.

வடிகட்டுதல் செயல்பாட்டில், மைக்ரோசாஃப்ட் பெரிய அளவிலான வலை தரவிலிருந்து உயர்தர ஆவணங்களைத் தேர்ந்தெடுக்க சிறிய வகைப்படுத்திகளை அடிப்படையாகக் கொண்ட வடிகட்டுதல் முறையைப் பயன்படுத்தியது, மேலும் மாதிரி ஜெர்மன், ஸ்பானிஷ், பிரஞ்சு, போர்த்துகீசியம், இத்தாலியன், இந்தி மற்றும் ஜப்பானியம் உட்பட பல மொழிகளைக் கையாள முடியும் என்பதை உறுதிப்படுத்த பல மொழி தரவுகளுக்கு சிறப்பு கவனம் செலுத்தப்பட்டது.

Phi-4 இன் பயிற்சி செயல்முறை

Phi-4 இன் முன் பயிற்சி முக்கியமாக செயற்கை தரவுகளைப் பயன்படுத்துகிறது, அதே நேரத்தில் சில உயர்தர கரிம தரவுகளும் பயன்படுத்தப்படுகின்றன. இந்த தரவு கலப்பு உத்தி, மாதிரி பகுத்தறிவு மற்றும் சிக்கல் தீர்க்கும் திறன்களைக் கற்றுக் கொள்ளும் அதே வேளையில், ஏராளமான அறிவு உள்ளடக்கத்தை உள்வாங்கவும் உதவுகிறது.

நடுத்தர பயிற்சி கட்டத்தில், Phi-4 சூழல் நீளத்தை 4096 லிருந்து 16384 ஆக நீட்டித்தது, இது மாதிரி நீண்ட உரைகளை கையாளும் திறனை மேம்படுத்தியது. இதில் 8K சூழலுக்கு மேல் நீளமான உயர்தர செயற்கை அல்லாத தரவுத்தொகுப்பிலிருந்து தேர்ந்தெடுக்கப்பட்ட மாதிரிகள் மற்றும் 4K வரிசை தேவைகளை பூர்த்தி செய்யும் புதிதாக உருவாக்கப்பட்ட செயற்கை தரவுத்தொகுப்புகள் ஆகியவை அடங்கும்.

பிந்தைய பயிற்சி கட்டம் Phi-4 ஐ மேம்படுத்துவதில் முக்கியமானது, மைக்ரோசாஃப்ட் மேற்பார்வையிடப்பட்ட நுண்-சரிப்படுத்துதல் (SFT) மற்றும் நேரடி விருப்பத்தேர்வு மேம்படுத்தல் (DPO) நுட்பங்களைப் பயன்படுத்தியது.

• SFT கட்டம்: வெவ்வேறு களங்களிலிருந்து பெறப்பட்ட உயர்தர தரவுகளிலிருந்து உருவாக்கப்பட்ட சுமார் 8 பில்லியன் டோக்கன்களைப் பயன்படுத்தி முன் பயிற்சி மாதிரியை நுண்-சரிசெய்யப்பட்டது, கற்றல் விகிதம் 10-6 ஆக இருந்தது, மேலும் 40 மொழிகளில் பன்மொழி தரவு சேர்க்கப்பட்டது, அனைத்து தரவும் chatml வடிவத்தில் இருந்தது.

• DPO நுட்பம்: விருப்பத் தரவை உருவாக்குவதன் மூலம் மாதிரியின் வெளியீட்டை சரிசெய்யப்பட்டது, இது மனித விருப்பங்களுக்கு மிகவும் இணக்கமாக இருந்தது. மைக்ரோசாஃப்ட் முக்கிய டோக்கன் தேடல் (PTS) நுட்பத்தையும் DPO ஜோடிகளை உருவாக்க அறிமுகப்படுத்தியது, இந்த நுட்பம் மாதிரியின் பதிலின் சரியான தன்மையில் குறிப்பிடத்தக்க தாக்கத்தை ஏற்படுத்தும் முக்கிய டோக்கன்களை அடையாளம் கண்டு, இந்த டோக்கன்களுக்கு விருப்பத் தரவை உருவாக்கி, பகுத்தறிவு பணிகளில் மாதிரியின் செயல்திறனை மேம்படுத்தியது.

Phi-4 இன் செயல்திறன் மதிப்பீடு

Phi-4 இன் செயல்திறனை மதிப்பிடுவதற்கு, மைக்ரோசாஃப்ட் பல தரப்படுத்தப்பட்ட சோதனைகளில் சோதித்தது. MMLU, GPQA, MATH மற்றும் HumanEval போன்ற கல்வி தரப்படுத்தப்பட்ட சோதனைகளில் Phi-4 சிறப்பாக செயல்பட்டது.

MMLU சோதனையில், Phi-4 84.8 என்ற உயர் மதிப்பெண்ணைப் பெற்றது, மேலும் GPQA மற்றும் MATH சோதனைகளில், இது GPT-4o ஐ விடவும் சிறந்து விளங்கியது, கணிதப் போட்டி தொடர்பான பணிகளில் வலுவான பகுத்தறிவு திறன்களை வெளிப்படுத்தியது. ஒத்த அளவு மற்றும் பெரிய அளவிலான பிற மாதிரிகளுடன் ஒப்பிடுகையில், Phi-4 12 தரப்படுத்தப்பட்ட சோதனைகளில் 9 இல் Qwen-2.5-14B-Instruct போன்ற ஒத்த திறந்த மூல மாதிரிகளை விட சிறப்பாக செயல்பட்டது.