మైక్రోసాఫ్ట్ శక్తివంతమైన Phi-4 మోడల్‌ను విడుదల చేసింది GPT-4oను అధిగమించింది

మైక్రోసాఫ్ట్ రీసెర్చ్ ఇటీవల తన సరికొత్త చిన్న పరామితి మోడల్ Phi-4ను విడుదల చేసింది. ఈ మోడల్ తన అద్భుతమైన పనితీరుతో అందరి దృష్టిని ఆకర్షించింది. Phi-4 యొక్క పరామితుల సంఖ్య కేవలం 140 బిలియన్లు మాత్రమే, కానీ ఇది అనేక బెంచ్‌మార్క్ పరీక్షలలో ఆశ్చర్యకరమైన ఫలితాలను చూపించింది. OpenAI యొక్క GPT-4o మరియు Qwen 2.5-14B మరియు Llama-3.3-70B వంటి ఇతర టాప్ ఓపెన్ సోర్స్ మోడల్స్‌ను కూడా అధిగమించింది.

మరింత నిర్దిష్టంగా చెప్పాలంటే, Phi-4 అమెరికన్ మ్యాథమెటిక్స్ కాంపిటీషన్ (AMC)లో 91.8 పాయింట్లతో అత్యుత్తమ స్కోరు సాధించింది. జెమిని ప్రో 1.5, క్లాడ్ 3.5 సోనెట్ వంటి అనేక ప్రసిద్ధ ఓపెన్ మరియు క్లోజ్డ్ సోర్స్ మోడల్స్‌ను కూడా అధిగమించింది. దీని మొత్తం పనితీరు 4050 బిలియన్ పరామితులు కలిగిన Llama-3.1తో సమానంగా ఉంది.

ఇది కమ్యూనిటీలో తీవ్రమైన స్పందనను రేకెత్తించింది. ఇంతకు ముందు కొందరు వ్యక్తులు Hugging Faceలో Phi-4 యొక్క పైరేటెడ్ వెయిట్‌లను అప్‌లోడ్ చేశారు. ఇప్పుడు, మైక్రోసాఫ్ట్ చివరకు అధికారికంగా Phi-4ను ఓపెన్ సోర్స్ చేసింది మరియు MIT లైసెన్స్‌ను ఉపయోగించింది, ఇది వాణిజ్యపరమైన ఉపయోగం కోసం అనుమతిస్తుంది.

ఓపెన్ సోర్స్ చిరునామా: phi-4

Hugging Face కూడా Phi-4 యొక్క ఓపెన్ సోర్స్‌ను అభినందించింది, దాని ప్రభావాన్ని ఇది తెలియజేస్తుంది.

Phi-4 యొక్క ముఖ్యమైన ప్రయోజనాలు: సింథటిక్ డేటా మరియు ఖచ్చితమైన శిక్షణ

Phi-4 ఇంత తక్కువ పరామితులతో ఇంత అద్భుతమైన ఫలితాలను సాధించడానికి, అధిక-నాణ్యత సింథటిక్ డేటా కీలక పాత్ర పోషించింది. సాంప్రదాయ వెబ్ క్రాల్డ్ డేటాతో పోలిస్తే, సింథటిక్ డేటా మరింత నిర్మాణాత్మకమైన మరియు క్రమమైన అభ్యాస సామగ్రిని అందిస్తుంది, ఇది భాష యొక్క తర్కం మరియు తార్కిక ప్రక్రియలను మరింత సమర్థవంతంగా నేర్చుకోవడానికి మోడల్‌కు సహాయపడుతుంది.

• నిర్మాణాత్మక అభ్యాసం: సింథటిక్ డేటాను దశల వారీగా సమస్య పరిష్కార విధానంలో అందించవచ్చు. ఉదాహరణకు, గణిత సమస్యలను పరిష్కరించడంలో ఇది సమస్య యొక్క నిర్మాణం మరియు పరిష్కార మార్గాలను బాగా అర్థం చేసుకోవడానికి మోడల్‌కు సహాయపడుతుంది.
• సందర్భోచిత సమలేఖనం: సింథటిక్ డేటా మోడల్ యొక్క తార్కిక సందర్భానికి బాగా సమలేఖనం చేయగలదు. ఇది వాస్తవ అప్లికేషన్‌లో మోడల్ ఉత్పత్తి చేయాల్సిన అవుట్‌పుట్ ఫార్మాట్‌కు దగ్గరగా ఉంటుంది. తద్వారా మోడల్ ప్రీ-ట్రైనింగ్ దశలో వాస్తవ అప్లికేషన్ దృశ్యాలకు అనుగుణంగా ఉంటుంది. ఉదాహరణకు, వెబ్ ఫోరమ్‌లలోని వాస్తవ సమాచారాన్ని పెద్ద మోడల్ ఇంటరాక్షన్ శైలికి అనుగుణంగా మార్చడం వలన, మోడల్ ద్వారా రూపొందించబడిన సంభాషణలలో ఈ సమాచారం మరింత సహజంగా మరియు సహేతుకంగా ఉంటుంది.

Phi-4 యొక్క సింథటిక్ డేటా ఉత్పత్తి ఈ క్రింది సూత్రాలను అనుసరిస్తుంది:

1. వైవిధ్యం
2. ఖచ్చితత్వం మరియు సంక్లిష్టత
3. ఖచ్చితత్వం
4. తార్కిక గొలుసు

ఈ సూత్రాలు సింథటిక్ డేటా యొక్క నాణ్యతను నిర్ధారిస్తాయి మరియు 50 కంటే ఎక్కువ రకాల సింథటిక్ డేటా సెట్‌లను కలిగి ఉంటాయి. మైక్రోసాఫ్ట్ బహుళ-దశల ప్రాంప్ట్ ప్రక్రియలు, సీడ్ క్యూరేషన్, రీరైటింగ్ మరియు మెరుగుదల, స్వీయ-సవరణ మరియు ఇతర పద్ధతుల ద్వారా సుమారు 400 బిలియన్ల బరువులేని టోకెన్‌లను రూపొందించింది.

సింథటిక్ డేటాతో పాటు, Phi-4 వెబ్ కంటెంట్, లైసెన్స్ పొందిన పుస్తకాలు మరియు కోడ్ రిపోజిటరీల నుండి అనేక వనరుల నుండి డేటాను సేకరించి, రెండు-దశల ఫిల్టరింగ్ ప్రక్రియ ద్వారా అధిక విద్యా విలువ మరియు తార్కిక లోతు కలిగిన సీడ్ డేటాను సేకరించింది. ఈ సీడ్ డేటా సింథటిక్ డేటా ఉత్పత్తికి పునాదిని అందించింది మరియు మోడల్ యొక్క జ్ఞాన నిధిని మరింత సమృద్ధం చేయడానికి నేరుగా ప్రీ-ట్రైనింగ్‌లో ఉపయోగించబడింది.

ఫిల్టరింగ్ ప్రక్రియలో, మైక్రోసాఫ్ట్ చిన్న క్లాసిఫైయర్ ఆధారిత ఫిల్టరింగ్ పద్ధతిని ఉపయోగించింది. ఇది పెద్ద-స్థాయి వెబ్ డేటా నుండి అధిక-నాణ్యత పత్రాలను ఎంచుకుని, జర్మన్, స్పానిష్, ఫ్రెంచ్, పోర్చుగీస్, ఇటాలియన్, హిందీ మరియు జపనీస్‌తో సహా అనేక భాషలను మోడల్ నిర్వహించగలదని నిర్ధారించడానికి బహుభాషా డేటా కోసం ప్రత్యేక ప్రాసెసింగ్‌ను నిర్వహించింది.

Phi-4 యొక్క శిక్షణ ప్రక్రియ

Phi-4 యొక్క ప్రీ-ట్రైనింగ్ ప్రధానంగా సింథటిక్ డేటాను ఉపయోగిస్తుంది, అయితే తక్కువ మొత్తంలో అధిక-నాణ్యత ఆర్గానిక్ డేటా కూడా ఉపయోగించబడుతుంది. ఈ డేటా మిక్సింగ్ వ్యూహం మోడల్ తార్కికం మరియు సమస్య పరిష్కార సామర్థ్యాలను నేర్చుకోవడంతోపాటు, సమృద్ధిగా జ్ఞానాన్ని గ్రహించేలా చేస్తుంది.

మధ్య-శిక్షణ దశలో, Phi-4 మోడల్ యొక్క పొడవైన వచనాన్ని నిర్వహించే సామర్థ్యాన్ని మెరుగుపరచడానికి సందర్భం పొడవును 4096 నుండి 16384కి విస్తరించింది. ఇందులో 8K కంటే ఎక్కువ సందర్భం కలిగిన అధిక-నాణ్యత కాని సింథటిక్ డేటా సెట్‌ల నుండి ఎంచుకున్న నమూనాలు మరియు 4K సీక్వెన్స్ అవసరాలను తీర్చే కొత్తగా రూపొందించిన సింథటిక్ డేటా సెట్‌లు ఉన్నాయి.

పోస్ట్-ట్రైనింగ్ దశ Phi-4 ఆప్టిమైజేషన్‌లో కీలకం. మైక్రోసాఫ్ట్ సూపర్వైజ్డ్ ఫైన్-ట్యూనింగ్ (SFT) మరియు డైరెక్ట్ ప్రిఫరెన్స్ ఆప్టిమైజేషన్ (DPO) సాంకేతికతలను ఉపయోగించింది.

• SFT దశ: వివిధ రంగాల నుండి అధిక-నాణ్యత డేటా నుండి రూపొందించబడిన సుమారు 8B టోకెన్‌లను ఉపయోగించి, ప్రీ-ట్రైన్డ్ మోడల్‌ను ఫైన్-ట్యూన్ చేయడానికి 10-6 లెర్నింగ్ రేటును ఉపయోగించింది మరియు 40 భాషలలో బహుభాషా డేటాను జోడించింది. మొత్తం డేటా chatml ఫార్మాట్‌లో ఉంది.
• DPO టెక్నాలజీ: మోడల్ అవుట్‌పుట్‌ను మానవ ప్రాధాన్యతలకు అనుగుణంగా సర్దుబాటు చేయడానికి ప్రాధాన్య డేటాను రూపొందించడం ద్వారా. మైక్రోసాఫ్ట్ DPO జతలను రూపొందించడానికి కీ టోకెన్ సెర్చ్ (PTS) టెక్నాలజీని కూడా ప్రవేశపెట్టింది. ఈ టెక్నాలజీ మోడల్ యొక్క సరైన సమాధానంపై గణనీయమైన ప్రభావాన్ని చూపే కీ టోకెన్‌లను గుర్తించగలదు మరియు ఈ టోకెన్‌ల కోసం ప్రాధాన్య డేటాను సృష్టించడం ద్వారా తార్కిక పనులలో మోడల్ పనితీరును మెరుగుపరుస్తుంది.

Phi-4 యొక్క పనితీరు మూల్యాంకనం

Phi-4 పనితీరును అంచనా వేయడానికి, మైక్రోసాఫ్ట్ అనేక బెంచ్‌మార్క్ పరీక్షలను నిర్వహించింది. MMLU, GPQA, MATH, HumanEval వంటి విద్యాపరమైన బెంచ్‌మార్క్ పరీక్షలలో Phi-4 అద్భుతమైన పనితీరు కనబరిచింది.

MMLU పరీక్షలో Phi-4 84.8 అధిక స్కోర్‌ను సాధించింది. GPQA మరియు MATH పరీక్షల్లో GPT-4oను కూడా అధిగమించింది, గణిత పోటీలకు సంబంధించిన పనులలో బలమైన తార్కిక సామర్థ్యాన్ని ప్రదర్శించింది. అదే పరిమాణం మరియు పెద్ద మోడల్స్‌తో పోల్చినప్పుడు, Phi-4 12 బెంచ్‌మార్క్ పరీక్షలలో 9లో Qwen-2.5-14B-Instruction వంటి ఓపెన్ సోర్స్ మోడల్స్‌ను అధిగమించింది.