مائیکروسافٹ نے طاقتور Phi-4 ماڈل جاری کیا جو GPT-4o سے بہتر ہے

مائیکروسافٹ ریسرچ نے حال ہی میں اپنا تازہ ترین چھوٹا پیرامیٹر ماڈل Phi-4 جاری کیا ہے، جس کی بہترین کارکردگی نے وسیع توجہ حاصل کی ہے۔ Phi-4 کے پیرامیٹرز کی تعداد صرف 14 بلین ہے، لیکن متعدد بینچ مارک ٹیسٹوں میں اس کی کارکردگی حیران کن ہے، یہاں تک کہ OpenAI کے GPT-4o اور دیگر اسی طرح کے ٹاپ اوپن سورس ماڈلز جیسے Qwen 2.5-14B اور Llama-3.3-70B سے بھی بہتر ہے۔

مزید مخصوص ٹیسٹوں میں، Phi-4 نے امریکن میتھمیٹکس مقابلہ AMC میں 91.8 کا بہترین سکور حاصل کیا، جس نے Gemini Pro 1.5، Claude 3.5 Sonnet سمیت بہت سے معروف اوپن سورس ماڈلز کو پیچھے چھوڑ دیا۔ اس کی مجموعی کارکردگی 405 بلین پیرامیٹرز والے Llama-3.1 کے برابر بھی ہے۔

اس اقدام نے کمیونٹی کی جانب سے زبردست ردعمل ظاہر کیا، اس سے قبل صارفین نے Hugging Face پر Phi-4 کے پائریٹڈ ویٹس اپ لوڈ کیے تھے۔ اب، مائیکروسافٹ نے بالآخر Phi-4 کو باضابطہ طور پر اوپن سورس کر دیا ہے، اور MIT لائسنس اپنایا ہے، جس سے تجارتی استعمال کی اجازت دی گئی ہے۔

اوپن سورس ایڈریس: phi-4 Hugging Face نے بھی Phi-4 کے اوپن سورس ہونے پر مبارکباد دی ہے، جس سے اس کا اثر واضح ہوتا ہے۔

Phi-4 کی کلیدی خوبیاں: مصنوعی ڈیٹا اور عمدہ تربیت

Phi-4 اتنے کم پیرامیٹرز کے ساتھ اتنی شاندار کارکردگی کا مظاہرہ کیوں کر رہا ہے، اس میں اعلیٰ معیار کے مصنوعی ڈیٹا نے اہم کردار ادا کیا ہے۔ روایتی ویب کرالنگ ڈیٹا کے مقابلے میں، مصنوعی ڈیٹا زیادہ منظم اور مرحلہ وار سیکھنے کا مواد فراہم کر سکتا ہے، جس سے ماڈل کو زبان کی منطق اور استدلال کے عمل کو زیادہ مؤثر طریقے سے سیکھنے میں مدد ملتی ہے۔

منظم سیکھنا: مصنوعی ڈیٹا کو مرحلہ وار حل کرنے کے مراحل کے مطابق پیش کیا جا سکتا ہے، مثال کے طور پر ریاضی کے مسائل کو حل کرنے میں، جو ماڈل کو مسئلہ کی ساخت اور حل کرنے کے خیالات کو بہتر طور پر سمجھنے میں مدد کرتا ہے۔
سیاق و سباق کا ملاپ: مصنوعی ڈیٹا ماڈل کے استدلال سیاق و سباق کے ساتھ بہتر طور پر منسلک ہو سکتا ہے، جو کہ ماڈل کے لیے اصل ایپلی کیشنز میں پیدا کرنے کے لیے ضروری آؤٹ پٹ فارمیٹ کے قریب ہے، تاکہ ماڈل کو پری ٹریننگ مرحلے میں اصل ایپلی کیشن کے منظرناموں کی ضروریات کے مطابق بنایا جا سکے۔ مثال کے طور پر، ویب فورمز میں حقائق کو بڑے ماڈل کی بات چیت کے انداز میں دوبارہ لکھنا، ان معلومات کو ماڈل کی جانب سے تیار کی گئی گفتگو میں زیادہ فطری اور معقول بناتا ہے۔

Phi-4 کے مصنوعی ڈیٹا کی تخلیق درج ذیل اصولوں کی پیروی کرتی ہے:

تنوع
باریکی اور پیچیدگی
درستگی
استدلال زنجیر

یہ اصول مصنوعی ڈیٹا کے معیار کو یقینی بناتے ہیں اور 50 سے زیادہ مختلف قسم کے مصنوعی ڈیٹا سیٹس کا احاطہ کرتے ہیں۔ مائیکروسافٹ نے کثیر مرحلہ پرامپٹ عمل، بیج کیوریٹنگ، دوبارہ لکھنے اور اضافہ کرنے اور خود جائزہ لینے جیسے متعدد طریقوں سے تقریباً 400 بلین غیر وزنی ٹوکنز پیدا کیے ہیں۔

مصنوعی ڈیٹا کے علاوہ، Phi-4 نے نامیاتی ڈیٹا کی بھی سخت اسکریننگ اور فلٹرنگ کی ہے۔ اس نے نیٹ ورک مواد، مجاز کتابوں اور کوڈ بیسز جیسے متعدد ذرائع سے ڈیٹا اکٹھا کیا اور دو مراحل پر مشتمل فلٹرنگ کے عمل سے اعلیٰ تعلیمی قدر اور استدلال کی گہرائی کے حامل بیج ڈیٹا کو نکالا۔ یہ بیج ڈیٹا مصنوعی ڈیٹا کی تخلیق کی بنیاد فراہم کرتا ہے اور براہ راست پری ٹریننگ کے لیے بھی استعمال ہوتا ہے، جو ماڈل کے علم کے ذخیرے کو مزید بہتر بناتا ہے۔

اسکریننگ کے عمل میں، مائیکروسافٹ نے چھوٹے کلاسیفائرز پر مبنی ایک فلٹرنگ طریقہ اپنایا، جس نے بڑے پیمانے پر نیٹ ورک ڈیٹا سے اعلیٰ معیار کی دستاویزات کا انتخاب کیا اور کثیر لسانی ڈیٹا کے لیے خصوصی پروسیسنگ کی، اس بات کو یقینی بناتے ہوئے کہ ماڈل جرمن، ہسپانوی، فرانسیسی، پرتگالی، اطالوی، ہندی اور جاپانی سمیت متعدد زبانوں کو ہینڈل کر سکے۔

Phi-4 کی تربیتی عمل

Phi-4 کی پری ٹریننگ بنیادی طور پر مصنوعی ڈیٹا کا استعمال کرتی ہے، اور اس کے ساتھ ساتھ تھوڑا سا اعلیٰ معیار کا نامیاتی ڈیٹا بھی استعمال کیا جاتا ہے۔ یہ ڈیٹا مکسنگ حکمت عملی ماڈل کو استدلال اور مسئلہ حل کرنے کی صلاحیت سیکھنے کے ساتھ ساتھ بھرپور علم جذب کرنے کی بھی اجازت دیتی ہے۔

درمیانی تربیت کے مرحلے میں، Phi-4 نے سیاق و سباق کی لمبائی کو 4096 سے بڑھا کر 16384 کر دیا تاکہ طویل متن کو ہینڈل کرنے کی ماڈل کی صلاحیت کو بہتر بنایا جا سکے۔ اس میں اعلیٰ معیار کے غیر مصنوعی ڈیٹا سیٹس سے فلٹر کیے گئے 8K سے زیادہ سیاق و سباق والے نمونے، اور 4K سیکوئنس کی ضروریات کو پورا کرنے والے نئے تخلیق کردہ مصنوعی ڈیٹا سیٹس شامل ہیں۔

پوسٹ ٹریننگ مرحلہ Phi-4 کی اصلاح کے لیے اہم ہے۔ مائیکروسافٹ نے نگرانی شدہ فائن ٹیوننگ (SFT) اور براہ راست ترجیحی اصلاح (DPO) تکنیکوں کو اپنایا۔

SFT مرحلہ: پری ٹرینڈ ماڈل کو مختلف شعبوں سے اعلیٰ معیار کے ڈیٹا سے تیار کردہ تقریباً 8B ٹوکنز کے ساتھ فائن ٹیون کیا جاتا ہے، جس کی سیکھنے کی شرح 10-6 ہے، اور 40 زبانوں کا کثیر لسانی ڈیٹا شامل کیا جاتا ہے، تمام ڈیٹا chatml فارمیٹ استعمال کرتے ہیں۔
DPO تکنیک: ماڈل کے آؤٹ پٹ کو ایڈجسٹ کرنے کے لیے ترجیحی ڈیٹا تیار کرنا، تاکہ اسے انسانی ترجیحات کے مطابق بنایا جا سکے۔ مائیکروسافٹ نے کلیدی ٹوکنز سرچ (PTS) تکنیک بھی متعارف کرائی ہے تاکہ DPO جوڑے تیار کیے جا سکیں، یہ تکنیک ان کلیدی ٹوکنز کی شناخت کر سکتی ہے جن کا ماڈل کے جواب کی درستگی پر بڑا اثر پڑتا ہے، اور ان ٹوکنز کے لیے ترجیحی ڈیٹا تیار کر کے استدلال کے کاموں میں ماڈل کی کارکردگی کو بہتر بناتی ہے۔

Phi-4 کی کارکردگی کا جائزہ

Phi-4 کی کارکردگی کا جائزہ لینے کے لیے، مائیکروسافٹ نے متعدد بینچ مارک ٹیسٹوں پر ٹیسٹ کیے۔ تعلیمی بینچ مارکس جیسے MMLU، GPQA، MATH، HumanEval وغیرہ میں، Phi-4 نے بہترین کارکردگی کا مظاہرہ کیا۔

MMLU ٹیسٹ میں، Phi-4 نے 84.8 کا اعلی سکور حاصل کیا، GPQA اور MATH ٹیسٹوں میں، اس نے GPT-4o کو بھی پیچھے چھوڑ دیا اور ریاضی کے مقابلے سے متعلقہ کاموں میں مضبوط استدلال کی صلاحیت کا مظاہرہ کیا۔ اسی طرح کے سائز اور بڑے ماڈلز کے مقابلے میں، Phi-4 نے 12 بینچ مارک ٹیسٹوں میں سے 9 پر Qwen-2.5-14B-Instruct جیسے اوپن سورس ماڈلز سے بہتر کارکردگی کا مظاہرہ کیا۔