مِسٹرال کوڈسٹرال لیڈر بورڈز میں 256k سیاق و سباق ونڈو کے ساتھ سرفہرست

مِسٹرال، جسے اکثر 'یورپی OpenAI' کہا جاتا ہے، نے اپنے کوڈ ماڈل، کوڈسٹرال کا ایک اپ ڈیٹ شدہ ورژن جاری کیا ہے۔ اس نئے ورژن نے تیزی سے کوپائلٹ ارینا میں پہلا مقام حاصل کر لیا ہے، جو ڈیپ سیک V2.5 اور کلاڈ 3.5 کے ساتھ مشترکہ ہے۔ خاص طور پر، سیاق و سباق کی ونڈو کو آٹھ گنا بڑھا کر 256k کر دیا گیا ہے۔

بہتر کارکردگی اور رفتار

نئے کوڈسٹرال (2501) میں ایک زیادہ موثر فن تعمیر اور ٹوکنائزر ہے، جس کی وجہ سے اس کی پیشرو کے مقابلے میں جنریشن کی رفتار دوگنی ہو گئی ہے۔ اس نے مختلف بینچ مارکس میں اسٹیٹ آف دی آرٹ (SOTA) نتائج بھی حاصل کیے ہیں اور کوڈ کی تکمیل (FIM) کی نمایاں صلاحیتوں کا مظاہرہ کیا ہے۔ مِسٹرال کے پارٹنر Continue.dev کے مطابق، 2501 ورژن FIM کے میدان میں ایک اہم قدم ہے۔

کوپائلٹ ارینا میں فتح

کوپائلٹ ارینا میں، کوڈ ماڈلز کے لیے ایک مسابقتی پلیٹ فارم، کوڈسٹرال 2501 نے ڈیپ سیک V2.5 اور کلاڈ 3.5 سونیٹ کے ساتھ برابری کرتے ہوئے پہلا مقام حاصل کیا ہے۔ یہ پچھلے کوڈسٹرال ورژن (2405) کے مقابلے میں 12 پوائنٹس (1.2%) کی بہتری ہے۔ اگرچہ لاما 3.1، جیمنی 1.5 پرو، اور جی پی ٹی-4o جیسے ماڈلز کم درجہ بندی پر ہیں، لیکن o1 کی غیر موجودگی سے پتہ چلتا ہے کہ اس کے شامل ہونے سے درجہ بندی تبدیل ہو سکتی ہے۔

کوپائلٹ ارینا کی تفصیلات

کوپائلٹ ارینا گزشتہ نومبر میں کارنیگی میلن یونیورسٹی اور یو سی برکلے کے محققین کے ساتھ ساتھ LMArena کے اشتراک سے شروع کیا گیا تھا۔ یہ LLM ارینا کی طرح کام کرتا ہے، جہاں صارفین مسائل پیش کرتے ہیں، اور سسٹم گمنام آؤٹ پٹ فراہم کرنے کے لیے تصادفی طور پر دو ماڈلز کا انتخاب کرتا ہے۔ پھر صارفین بہتر آؤٹ پٹ کا انتخاب کرتے ہیں۔ LLM ارینا کے کوڈ سے متعلقہ ورژن کے طور پر، کوپائلٹ ارینا ایک اوپن سورس پروگرامنگ ٹول کے طور پر بھی کام کرتا ہے جو صارفین کو VSCode میں بیک وقت متعدد ماڈلز کا موازنہ کرنے کے قابل بناتا ہے۔ فی الحال، 12 کوڈ ماڈلز نے 17,000 سے زائد مقابلوں میں حصہ لیا ہے۔

متعدد بینچ مارکس میں SOTA نتائج

مِسٹرال نے یہ بھی بتایا کہ کوڈسٹرال 2501 نے ہیومن ایویل جیسے روایتی ٹیسٹوں پر متعدد میٹرکس میں SOTA نتائج حاصل کیے ہیں۔ موازنہ کے لیے منتخب کیے گئے ماڈلز وہ تھے جن میں 100B سے کم پیرامیٹرز تھے، جنہیں عام طور پر FIM ٹاسکس میں مضبوط سمجھا جاتا ہے۔ مزید برآں، سیاق و سباق کی ونڈو 2405 ورژن (22B پیرامیٹرز) میں 32k سے بڑھ کر نئے ورژن میں 256k ہو گئی ہے۔ Python اور SQL ڈیٹا بیسز پر مشتمل ٹیسٹوں میں، کوڈسٹرال 2501 نے مسلسل متعدد میٹرکس میں پہلا یا دوسرا درجہ حاصل کیا۔

لسانی کارکردگی

کوڈسٹرال، جو اطلاعات کے مطابق 80 سے زیادہ زبانوں کی حمایت کرتا ہے، نے 71.4% کا اوسط ہیومن ایویل اسکور حاصل کیا، جو دوسرے نمبر پر آنے والے ماڈل سے تقریباً 6 فیصد پوائنٹس زیادہ ہے۔ اس نے عام زبانوں جیسے Python، C+ اور JS میں بھی SOTA کا درجہ حاصل کیا ہے، اور C# زبان کے اسکورز میں 50% سے تجاوز کر گیا ہے۔ دلچسپ بات یہ ہے کہ Java میں کوڈسٹرال 2501 کی کارکردگی اپنے پیشرو کے مقابلے میں کم ہوئی ہے۔

FIM کارکردگی

مِسٹرال ٹیم نے کوڈسٹرال 2501 کے لیے FIM کارکردگی کا ڈیٹا بھی جاری کیا ہے، جسے سنگل لائن ایگزیکٹ میچ کے ذریعے ماپا جاتا ہے۔ اوسط اسکور اور Python, Java، اور JS انفرادی اسکورز تمام پچھلے ورژن کے مقابلے میں بہتر ہیں اور OpenAI FIM API (3.5 Turbo) جیسے دیگر ماڈلز کو پیچھے چھوڑ دیتے ہیں۔ ڈیپ سیک ایک قریبی حریف ہے۔ FIM پاس@1 کے نتائج بھی اسی طرح کے رجحانات دکھاتے ہیں۔

دستیابی

کوڈسٹرال 2501 VSCode یا Jetbrains IDEs میں استعمال کے لیے مِسٹرال کے پارٹنر Continue کے ذریعے دستیاب ہے۔ صارفین اسے API کے ذریعے خود بھی تعینات کر سکتے ہیں، جس کی قیمت 0.3/0.9 USD یا EUR فی ملین ان پٹ/آؤٹ پٹ ٹوکنز ہے۔