मायक्रोसॉफ्टने शक्तिशाली Phi-4 मॉडेल केले सादर, GPT-4o लाही टाकले मागे

मायक्रोसॉफ्ट रिसर्चने नुकतेच त्यांचे नवीन लहान पॅरामीटर मॉडेल Phi-4 ओपन-सोर्स केले आहे. या मॉडेलने आपल्या उत्कृष्ट कामगिरीमुळे सर्वांचे लक्ष वेधून घेतले आहे. Phi-4 मध्ये फक्त 140 अब्ज पॅरामीटर्स आहेत, पण तरीही अनेक बेंचमार्क चाचण्यांमध्ये त्याची कामगिरी खूपच प्रभावी ठरली आहे. विशेष म्हणजे, या मॉडेलने OpenAI च्या GPT-4o आणि Qwen 2.5-14B, Llama-3.3-70B यांसारख्या टॉप ओपन-सोर्स मॉडेल्सनाही मागे टाकले आहे.

अमेरिकन गणित स्पर्धेत (AMC) Phi-4 ने 91.8 गुण मिळवले, जे Gemini Pro 1.5, Claude 3.5 Sonnet यांसारख्या प्रसिद्ध मॉडेल्सपेक्षा जास्त आहेत. या मॉडेलची एकूण कार्यक्षमता 4050 अब्ज पॅरामीटर्स असलेल्या Llama-3.1 च्या जवळपास आहे.

या मॉडेलच्या ओपन-सोर्स घोषणेमुळे समुदायात सकारात्मक प्रतिक्रिया उमटली आहे. यापूर्वी, काही वापरकर्त्यांनी Phi-4 चे बनावट वेटेज Hugging Face वर अपलोड केले होते. आता, मायक्रोसॉफ्टने अधिकृतपणे Phi-4 ओपन-सोर्स केले आहे आणि ते MIT लायसन्स अंतर्गत व्यावसायिक वापरासाठी उपलब्ध आहे. ओपन-सोर्स लिंक: phi-4

Hugging Face ने देखील Phi-4 च्या ओपन-सोर्सचे स्वागत केले आहे, ज्यामुळे या मॉडेलचे महत्त्व दिसून येते.

Phi-4 ची मुख्य वैशिष्ट्ये: सिंथेटिक डेटा आणि उत्कृष्ट प्रशिक्षण

Phi-4 ने कमी पॅरामीटर्समध्येही उत्तम कामगिरी का केली, याचे मुख्य कारण म्हणजे उच्च-गुणवत्तेचा सिंथेटिक डेटा. पारंपरिक वेब डेटाच्या तुलनेत, सिंथेटिक डेटा अधिक संरचित आणि क्रमबद्ध पद्धतीने माहिती देतो, ज्यामुळे मॉडेलला भाषेची तर्कशुद्धता आणि अनुमान प्रक्रिया अधिक प्रभावीपणे शिकण्यास मदत होते.

• संरचित शिक्षण: सिंथेटिक डेटा प्रश्नांची उत्तरे टप्प्याटप्प्याने देतो. उदाहरणार्थ, गणितीय समस्या सोडवताना, हे मॉडेल प्रश्नाची रचना आणि त्यावरील उपाय अधिक चांगल्या प्रकारे समजून घेते.

• संदर्भाशी जुळणारे: सिंथेटिक डेटा मॉडेलच्या तर्काशी अधिक जुळतो आणि वास्तविक ॲप्लिकेशनमध्ये आवश्यक असलेल्या आउटपुट फॉरमॅटच्या जवळ असतो. यामुळे मॉडेलला प्रशिक्षण दरम्यानच वास्तविक वापरासाठी तयार केले जाते. उदाहरणार्थ, वेब फोरमवरील माहिती मोठ्या मॉडेलच्या संवादाच्या शैलीत रूपांतरित केली जाते, ज्यामुळे मॉडेलद्वारे तयार होणारे संवाद अधिक नैसर्गिक आणि तर्कसंगत वाटतात.

Phi-4 चा सिंथेटिक डेटा तयार करताना खालील तत्त्वांचे पालन केले जाते:

1. विविधता
2. बारकाई आणि जटिलता
3. अचूकता
4. अनुमान साखळी

या तत्त्वांमुळे सिंथेटिक डेटाची गुणवत्ता सुनिश्चित होते आणि त्यात 50 पेक्षा जास्त प्रकारच्या सिंथेटिक डेटासेटचा समावेश असतो. मायक्रोसॉफ्टने मल्टी-स्टेज प्रॉम्प्टिंग, सीड क्युरेशन, रायटिंग आणि एन्हांसमेंट, सेल्फ-रिव्हिजन यांसारख्या अनेक पद्धती वापरून सुमारे 400 अब्ज अनवेटेड टोकन तयार केले आहेत.

सिंथेटिक डेटासोबतच, Phi-4 साठी ऑर्गेनिक डेटाचीही काटेकोरपणे निवड आणि फिल्टरिंग करण्यात आली आहे. वेब कंटेंट, अधिकृत पुस्तके आणि कोड डेटाबेसमधून डेटा गोळा करून, दोन टप्प्यांच्या फिल्टरिंग प्रक्रियेद्वारे उच्च शैक्षणिक मूल्य आणि तार्किक क्षमता असलेला डेटा निवडला गेला. हा डेटा सिंथेटिक डेटा निर्मितीसाठी आधार म्हणून वापरला गेला आणि थेट प्री-ट्रेनिंगसाठीही वापरण्यात आला, ज्यामुळे मॉडेलच्या ज्ञानाचा साठा वाढला.

डेटा निवडताना, मायक्रोसॉफ्टने लहान वर्गीकरण-आधारित फिल्टरिंग पद्धत वापरली, ज्यामुळे मोठ्या वेब डेटासेटमधून उच्च-गुणवत्तेची कागदपत्रे निवडली गेली. तसेच, बहुभाषिक डेटासाठी विशेष प्रक्रिया वापरण्यात आली, ज्यामुळे मॉडेल जर्मन, स्पॅनिश, फ्रेंच, पोर्तुगीज, इटालियन, हिंदी आणि जपानी यांसारख्या अनेक भाषांमध्ये माहिती हाताळू शकते.

Phi-4 ची प्रशिक्षण प्रक्रिया

Phi-4 च्या प्री-ट्रेनिंगमध्ये मुख्यत्वे सिंथेटिक डेटा वापरला गेला आहे, तसेच काही प्रमाणात उच्च-गुणवत्तेचा ऑर्गेनिक डेटा देखील वापरला गेला आहे. या डेटा मिक्सिंग धोरणामुळे मॉडेलला तर्क क्षमता आणि समस्या सोडवण्याची क्षमता शिकण्यास मदत झाली आहे, तसेच ज्ञानाचा साठाही वाढला आहे.

मध्य-ट्रेनिंगमध्ये, Phi-4 ने संदर्भ लांबी 4096 वरून 16384 पर्यंत वाढवली, ज्यामुळे मॉडेलची मोठ्या टेक्स्टला हाताळण्याची क्षमता सुधारली. यामध्ये 8K पेक्षा जास्त लांबीचे नमुने उच्च-गुणवत्तेच्या नॉन-सिंथेटिक डेटासेटमधून निवडले गेले, तसेच 4K सिक्वेन्स आवश्यकता पूर्ण करणारे नवीन सिंथेटिक डेटासेट तयार केले गेले.

पोस्ट-ट्रेनिंग Phi-4 च्या ऑप्टिमायझेशनसाठी खूप महत्त्वाचे होते. मायक्रोसॉफ्टने सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) आणि डायरेक्ट प्रेफरन्स ऑप्टिमायझेशन (DPO) तंत्रांचा वापर केला.

• SFT टप्पा: वेगवेगळ्या क्षेत्रांतील उच्च-गुणवत्तेच्या डेटापासून तयार केलेल्या सुमारे 8B टोकन्सचा उपयोग करून प्री-ट्रेन मॉडेलला फाइन-ट्यून केले गेले. यासाठी 10-6 चा लर्निंग रेट वापरला गेला आणि 40 भाषांमधील बहुभाषिक डेटा जोडला गेला, जो chatml फॉरमॅटमध्ये होता.

• DPO तंत्र: या तंत्रात, मॉडेलच्या आउटपुटला मानवी प्राधान्यांनुसार समायोजित करण्यासाठी प्राधान्य डेटा तयार केला जातो. मायक्रोसॉफ्टने की टोकन सर्च (PTS) तंत्राचाही वापर केला, ज्यामुळे DPO जोड्या तयार होतात. हे तंत्र मॉडेलच्या उत्तरावर परिणाम करणाऱ्या महत्त्वाच्या टोकन्सना ओळखते आणि त्यांच्यासाठी प्राधान्य डेटा तयार करते, ज्यामुळे मॉडेलची तर्क क्षमता सुधारते.

Phi-4 चे कार्यप्रदर्शन मूल्यांकन

Phi-4 च्या कार्यक्षमतेचे मूल्यांकन करण्यासाठी, मायक्रोसॉफ्टने अनेक बेंचमार्क चाचण्या केल्या. शैक्षणिक बेंचमार्क चाचण्यांमध्ये, जसे की MMLU, GPQA, MATH, HumanEval मध्ये Phi-4 ने उत्कृष्ट कामगिरी केली.

MMLU चाचणीमध्ये, Phi-4 ने 84.8 चा उच्च स्कोर मिळवला, तर GPQA आणि MATH चाचण्यांमध्ये GPT-4o लाही मागे टाकले. गणितीय स्पर्धांशी संबंधित कामांमध्ये या मॉडेलने चांगली तार्किक क्षमता दर्शविली आहे. इतर समान आणि मोठ्या मॉडेल्सच्या तुलनेत, Phi-4 ने 12 पैकी 9 बेंचमार्क चाचण्यांमध्ये Qwen-2.5-14B-Instruct सारख्या ओपन-सोर्स मॉडेल्सपेक्षा चांगली कामगिरी केली आहे.