मिस्ट्रल का कोडस्ट्रल 256k कॉन्टेक्स्ट विंडो के साथ लीडरबोर्ड में टॉप पर

मिस्ट्रल का कोडस्ट्रल शीर्ष रैंकिंग हासिल करता है

मिस्ट्रल, जिसे अक्सर "यूरोपीय OpenAI" कहा जाता है, ने अपने कोड मॉडल, कोडस्ट्रल का एक अद्यतन संस्करण जारी किया है। यह नया पुनरावृति कोपिलॉट एरिना में शीर्ष पर पहुंच गया है, जो डीपसीक V2.5 और क्लाउड 3.5 के साथ पहला स्थान साझा कर रहा है। विशेष रूप से, संदर्भ विंडो को आठ गुना बढ़ाकर एक प्रभावशाली 256k कर दिया गया है।

बेहतर प्रदर्शन और गति

नया कोडस्ट्रल (2501) एक अधिक कुशल आर्किटेक्चर और टोकनाइज़र का दावा करता है, जिससे इसके पूर्ववर्ती की तुलना में पीढ़ी की गति दोगुनी हो गई है। इसने विभिन्न बेंचमार्क में अत्याधुनिक (SOTA) परिणाम भी प्राप्त किए हैं और महत्वपूर्ण कोड पूर्णता (FIM) क्षमताओं का प्रदर्शन किया है। मिस्ट्रल के पार्टनर Continue.dev के अनुसार, 2501 संस्करण FIM के क्षेत्र में एक महत्वपूर्ण कदम आगे है।

कोपिलॉट एरिना विजय

कोपिलॉट एरिना में, कोड मॉडल के लिए एक प्रतिस्पर्धी मंच, कोडस्ट्रल 2501 ने शीर्ष स्थान हासिल किया है, जो डीपसीक V2.5 और क्लाउड 3.5 सोनेट के साथ बंधा हुआ है। यह पिछले कोडस्ट्रल संस्करण (2405) पर 12-पॉइंट (1.2%) का सुधार दर्शाता है। जबकि लामा 3.1, जेमिनी 1.5 प्रो और जीपीटी-4o जैसे मॉडल निचले स्थान पर हैं, o1 की अनुपस्थिति से पता चलता है कि इसके शामिल होने से रैंकिंग बदल सकती है।

कोपिलॉट एरिना विवरण

कोपिलॉट एरिना को पिछले नवंबर में कार्नेगी मेलन विश्वविद्यालय और यूसी बर्कले के शोधकर्ताओं के साथ एलएमएरिना के सहयोग से लॉन्च किया गया था। यह एलएलएम एरिना के समान कार्य करता है, जहां उपयोगकर्ता समस्याएं पूछते हैं, और सिस्टम बेतरतीब ढंग से दो मॉडल का चयन करता है जो गुमनाम आउटपुट प्रदान करते हैं। उपयोगकर्ता तब बेहतर आउटपुट का चयन करते हैं। एलएलएम एरिना के एक कोड-विशिष्ट संस्करण के रूप में, कोपिलॉट एरिना एक ओपन-सोर्स प्रोग्रामिंग टूल के रूप में भी काम करता है जो उपयोगकर्ताओं को वीएसकोड में एक साथ कई मॉडलों की तुलना करने में सक्षम बनाता है। वर्तमान में, 12 कोड मॉडल ने 17,000 से अधिक लड़ाई में प्रतिस्पर्धा की है।

कई बेंचमार्क में SOTA परिणाम

मिस्ट्रल ने यह भी साझा किया कि कोडस्ट्रल 2501 ने ह्यूमनइवल जैसे पारंपरिक परीक्षणों पर कई मेट्रिक्स में SOTA परिणाम प्राप्त किए हैं। तुलना के लिए चुने गए मॉडल वे थे जिनमें 100B से कम पैरामीटर थे, जिन्हें आमतौर पर FIM कार्यों में मजबूत माना जाता है। इसके अलावा, संदर्भ विंडो 2405 संस्करण (22B पैरामीटर) में 32k से बढ़कर नए संस्करण में 256k हो गई है। पायथन और SQL डेटाबेस से जुड़े परीक्षणों में, कोडस्ट्रल 2501 ने लगातार कई मेट्रिक्स में पहला या दूसरा स्थान हासिल किया।

भाषा प्रदर्शन

कोडस्ट्रल, जो कथित तौर पर 80 से अधिक भाषाओं का समर्थन करता है, ने 71.4% का औसत ह्यूमनइवल स्कोर हासिल किया, जो दूसरे स्थान के मॉडल की तुलना में लगभग 6 प्रतिशत अंक अधिक है। इसने पायथन, C+ और JS जैसी सामान्य भाषाओं में भी SOTA का दर्जा प्राप्त किया है और C# भाषा के स्कोर में 50% से अधिक है। दिलचस्प बात यह है कि जावा में कोडस्ट्रल 2501 का प्रदर्शन अपने पूर्ववर्ती की तुलना में कम हो गया है।

FIM प्रदर्शन

मिस्ट्रल टीम ने कोडस्ट्रल 2501 के लिए FIM प्रदर्शन डेटा भी जारी किया, जिसे सिंगल-लाइन सटीक मिलान द्वारा मापा गया। औसत स्कोर और पायथन, जावा और JS व्यक्तिगत स्कोर सभी पिछले संस्करण की तुलना में बेहतर हैं और OpenAI FIM API (3.5 टर्बो) जैसे अन्य मॉडलों को पार करते हैं। डीपसीक एक करीबी प्रतियोगी है। FIM पास@1 परिणाम समान रुझान दिखाते हैं।

उपलब्धता

कोडस्ट्रल 2501 मिस्ट्रल के पार्टनर, कंटिन्यू के माध्यम से वीएसकोड या जेटब्रेन आईडीई में उपयोग के लिए उपलब्ध है। उपयोगकर्ता इसे एपीआई के माध्यम से स्वयं भी तैनात कर सकते हैं, जिसकी कीमत 0.3/0.9 USD या EUR प्रति मिलियन इनपुट/आउटपुट टोकन है।