मिस्ट्रल कोडस्ट्रलने २५६के कॉन्टेक्स्ट विंडोसह अव्वल स्थान पटकावले

मिस्ट्रल कोडस्ट्रलने अव्वल स्थान गाठले

मिस्ट्रल, ज्याला 'युरोपियन ओपनएआय' म्हणून संबोधले जाते, ने त्यांच्या कोड मॉडेल, कोडस्ट्रलची सुधारित आवृत्ती जारी केली आहे. या नवीन आवृत्तीने कोपायलट अरेनामध्ये झपाट्याने पहिले स्थान मिळवले आहे, जे डीपसीक V2.5 आणि क्लॉड 3.5 सोबत संयुक्तपणे आहे. विशेष म्हणजे, कॉन्टेक्स्ट विंडो आठ पटीने वाढवून प्रभावी २५६k करण्यात आली आहे.

सुधारित कार्यक्षमता आणि वेग

नवीन कोडस्ट्रल (2501) मध्ये अधिक कार्यक्षम आर्किटेक्चर आणि टोकेनायझर आहे, ज्यामुळे त्याच्या मागील आवृत्तीच्या तुलनेत निर्मितीचा वेग दुप्पट झाला आहे. याने विविध बेंचमार्कमध्ये अत्याधुनिक (SOTA) परिणाम देखील प्राप्त केले आहेत आणि लक्षणीय कोड पूर्णता (FIM) क्षमता दर्शविली आहे. मिस्ट्रलचे भागीदार Continue.dev नुसार, 2501 आवृत्ती FIM च्या क्षेत्रात एक महत्त्वपूर्ण पाऊल आहे.

कोपायलट अरेना विजय

कोपायलट अरेनामध्ये, कोड मॉडेल्ससाठी एक स्पर्धात्मक व्यासपीठ, कोडस्ट्रल 2501 ने डीपसीक V2.5 आणि क्लॉड 3.5 सोनेटसोबत संयुक्तपणे अव्वल स्थान पटकावले आहे. मागील कोडस्ट्रल आवृत्ती (2405) पेक्षा १२ गुणांची (१.२%) सुधारणा दर्शवते. Llama 3.1, Gemini 1.5 Pro, आणि GPT-4o सारखी मॉडेल्स कमी स्थानावर आहेत, o1 च्या अनुपस्थितीमुळे क्रमवारीत बदल होण्याची शक्यता आहे.

कोपायलट अरेना तपशील

कोपायलट अरेना गेल्या नोव्हेंबरमध्ये कार्नेगी मेलॉन युनिव्हर्सिटी आणि यूसी बर्कले येथील संशोधकांनी LMArena सोबत भागीदारी करून सुरू केली. हे LLM अरेना प्रमाणेच कार्य करते, जिथे वापरकर्ते समस्या विचारतात आणि सिस्टम यादृच्छिकपणे दोन मॉडेल्स निवडते आणि निनावी आउटपुट प्रदान करते. त्यानंतर वापरकर्ते उत्कृष्ट आउटपुट निवडतात. LLM अरेनाचे कोड-विशिष्ट आवृत्ती म्हणून, कोपायलट अरेना एक ओपन-सोर्स प्रोग्रामिंग साधन म्हणून देखील कार्य करते, जे वापरकर्त्यांना VSCode मध्ये एकाच वेळी अनेक मॉडेल्सची तुलना करण्यास सक्षम करते. सध्या, १२ कोड मॉडेल्सनी १७,००० हून अधिक लढतींमध्ये स्पर्धा केली आहे.

अनेक बेंचमार्कमध्ये SOTA परिणाम

मिस्ट्रलने हे देखील सांगितले की कोडस्ट्रल 2501 ने HumanEval सारख्या पारंपरिक चाचण्यांमध्ये अनेक मेट्रिक्समध्ये SOTA परिणाम प्राप्त केले आहेत. तुलनेसाठी निवडलेले मॉडेल १००B पेक्षा कमी पॅरामीटर्स असलेले होते, ज्यांना FIM कामांमध्ये मजबूत मानले जाते. याव्यतिरिक्त, कॉन्टेक्स्ट विंडो 2405 आवृत्तीमध्ये (22B पॅरामीटर्स) 32k वरून नवीन आवृत्तीमध्ये 256k पर्यंत वाढली आहे. पायथन आणि SQL डेटाबेस चाचण्यांमध्ये, कोडस्ट्रल 2501 ने अनेक मेट्रिक्समध्ये सातत्याने पहिले किंवा दुसरे स्थान पटकावले.

भाषिक कार्यक्षमता

कोडस्ट्रल, जे ८० हून अधिक भाषांना सपोर्ट करते, ने सरासरी HumanEval स्कोअर ७१.४% मिळवला, जो दुसऱ्या क्रमांकाच्या मॉडेलपेक्षा जवळपास ६ टक्के गुण जास्त आहे. तसेच, पायथन, C+ आणि JS सारख्या सामान्य भाषांमध्ये SOTA स्थिती प्राप्त केली आहे आणि C# भाषेच्या स्कोअरमध्ये ५०% पेक्षा जास्त गुण मिळवले आहेत. विशेष म्हणजे, कोडस्ट्रल 2501 ची जावामधील कार्यक्षमता त्याच्या मागील आवृत्तीच्या तुलनेत कमी झाली आहे.

FIM कार्यक्षमता

मिस्ट्रल टीमने कोडस्ट्रल 2501 साठी FIM कार्यक्षमतेचा डेटा देखील जारी केला आहे, जो सिंगल-लाइन अचूक जुळणीद्वारे मोजला जातो. सरासरी स्कोअर आणि पायथन, जावा आणि JS वैयक्तिक स्कोअर मागील आवृत्तीच्या तुलनेत सुधारले आहेत आणि OpenAI FIM API (3.5 Turbo) सारख्या इतर मॉडेल्सपेक्षा जास्त आहेत. डीपसीक एक जवळचा प्रतिस्पर्धी आहे. FIM पास@1 चे निकाल समान ट्रेंड दर्शवतात.

उपलब्धता

कोडस्ट्रल 2501 मिस्ट्रलचे भागीदार, Continue द्वारे VSCode किंवा Jetbrains IDEs मध्ये वापरण्यासाठी उपलब्ध आहे. वापरकर्ते ते API द्वारे स्वतः देखील तैनात करू शकतात, ज्याची किंमत 0.3/0.9 USD किंवा EUR प्रति दशलक्ष इनपुट/आउटपुट टोकन आहे.