మిస్ట్రల్ కోడ్‌స్ట్రాల్ 256k కాంటెక్స్ట్ విండోతో లీడర్‌బోర్డ్‌లలో అగ్రస్థానంలో ఉంది

మిస్ట్రల్ కోడ్‌స్ట్రాల్ అగ్రస్థానంలో నిలిచింది

మిస్ట్రల్, తరచుగా 'యూరోపియన్ OpenAI'గా సూచించబడుతుంది, దాని కోడ్ మోడల్, కోడ్‌స్ట్రాల్ యొక్క నవీకరించబడిన సంస్కరణను విడుదల చేసింది. ఈ కొత్త పునరుక్తి కోపైలట్ అరేనాలో అగ్రస్థానానికి త్వరగా చేరుకుంది, డీప్‌సీక్ V2.5 మరియు క్లాడ్ 3.5తో మొదటి స్థానాన్ని పంచుకుంది. ముఖ్యంగా, కాంటెక్స్ట్ విండో ఎనిమిది రెట్లు పెరిగి 256kకి చేరుకుంది.

మెరుగైన పనితీరు మరియు వేగం

కొత్త కోడ్‌స్ట్రాల్ (2501) మరింత సమర్థవంతమైన ఆర్కిటెక్చర్ మరియు టోకనైజర్‌ను కలిగి ఉంది, ఇది దాని ముందున్నదానితో పోలిస్తే ఉత్పత్తి వేగంలో రెట్టింపు పెరుగుదలకు దారితీసింది. ఇది వివిధ బెంచ్‌మార్క్‌లలో స్టేట్-ఆఫ్-ది-ఆర్ట్ (SOTA) ఫలితాలను కూడా సాధించింది మరియు గణనీయమైన కోడ్ పూర్తి (FIM) సామర్థ్యాలను ప్రదర్శిస్తుంది. మిస్ట్రల్ భాగస్వామి Continue.dev ప్రకారం, 2501 సంస్కరణ FIM రంగంలో ఒక ముఖ్యమైన ముందడుగును సూచిస్తుంది.

కోపైలట్ అరేనా విజయం

కోడ్ మోడల్‌ల కోసం పోటీ వేదిక అయిన కోపైలట్ అరేనాలో, కోడ్‌స్ట్రాల్ 2501 డీప్‌సీక్ V2.5 మరియు క్లాడ్ 3.5 సోనెట్‌తో సమానంగా అగ్రస్థానాన్ని కైవసం చేసుకుంది. ఇది మునుపటి కోడ్‌స్ట్రాల్ వెర్షన్ (2405) కంటే 12 పాయింట్లు (1.2%) మెరుగుదలను సూచిస్తుంది. లామా 3.1, జెమిని 1.5 ప్రో మరియు GPT-4o వంటి మోడల్‌లు తక్కువ ర్యాంక్‌లో ఉన్నప్పటికీ, o1 లేకపోవడం దాని చేరికతో ర్యాంకింగ్‌లు మారవచ్చని సూచిస్తుంది.

కోపైలట్ అరేనా వివరాలు

కోపైలట్ అరేనాను గత నవంబర్‌లో కార్నెగీ మెల్లన్ విశ్వవిద్యాలయం మరియు UC బెర్కిలీలోని పరిశోధకులు, LMAరెనాతో కలిసి ప్రారంభించారు. ఇది LLM అరేనాను పోలి ఉంటుంది, ఇక్కడ వినియోగదారులు సమస్యలను లేవనెత్తుతారు మరియు సిస్టమ్ యాదృచ్ఛికంగా రెండు మోడల్‌లను ఎంచుకుని అనామక అవుట్‌పుట్‌లను అందిస్తుంది. వినియోగదారులు ఆపై ఉన్నతమైన అవుట్‌పుట్‌ను ఎంచుకుంటారు. LLM అరేనా యొక్క కోడ్-నిర్దిష్ట సంస్కరణగా, కోపైలట్ అరేనా అనేది ఓపెన్-సోర్స్ ప్రోగ్రామింగ్ సాధనంగా కూడా పనిచేస్తుంది, ఇది వినియోగదారులను VSCodeలో ఒకే సమయంలో బహుళ మోడల్‌లను సరిపోల్చడానికి వీలు కల్పిస్తుంది. ప్రస్తుతం, 12 కోడ్ మోడల్‌లు 17,000 కంటే ఎక్కువ యుద్ధాలలో పోటీ పడ్డాయి.

బహుళ బెంచ్‌మార్క్‌లలో SOTA ఫలితాలు

మిస్ట్రల్ కూడా కోడ్‌స్ట్రాల్ 2501 హ్యూమన్ ఎవాల్ వంటి సాంప్రదాయ పరీక్షలలో అనేక కొలమానాలలో SOTA ఫలితాలను సాధించిందని పంచుకున్నారు. పోలిక కోసం ఎంపిక చేయబడిన నమూనాలు సాధారణంగా FIM టాస్క్‌లలో బలంగా పరిగణించబడే 100B కంటే తక్కువ పారామితులను కలిగి ఉన్నాయి. ఇంకా, కాంటెక్స్ట్ విండో 2405 సంస్కరణలో (22B పారామితులు) 32k నుండి కొత్త సంస్కరణలో 256kకి పెరిగింది. పైథాన్ మరియు SQL డేటాబేస్‌లను కలిగి ఉన్న పరీక్షలలో, కోడ్‌స్ట్రాల్ 2501 స్థిరంగా అనేక కొలమానాలలో మొదటి లేదా రెండవ స్థానంలో నిలిచింది.

భాషా పనితీరు

కోడ్‌స్ట్రాల్, 80 కంటే ఎక్కువ భాషలకు మద్దతు ఇస్తుందని నివేదించబడింది, సగటు హ్యూమన్ ఎవాల్ స్కోరు 71.4% సాధించింది, ఇది రెండవ స్థానంలో ఉన్న మోడల్ కంటే దాదాపు 6 శాతం పాయింట్లు ఎక్కువ. ఇది పైథాన్, సి+, మరియు JS వంటి సాధారణ భాషలలో SOTA హోదాను కూడా పొందింది మరియు C# భాషా స్కోర్‌లలో 50% మించిపోయింది. ఆసక్తికరంగా, జావాలో కోడ్‌స్ట్రాల్ 2501 పనితీరు దాని ముందున్నదానితో పోలిస్తే తగ్గింది.

FIM పనితీరు

మిస్ట్రల్ బృందం కోడ్‌స్ట్రాల్ 2501 కోసం FIM పనితీరు డేటాను కూడా విడుదల చేసింది, ఇది సింగిల్-లైన్ ఖచ్చితమైన మ్యాచ్ ద్వారా కొలుస్తారు. సగటు స్కోరు మరియు పైథాన్, జావా మరియు JS వ్యక్తిగత స్కోర్‌లు మునుపటి సంస్కరణతో పోలిస్తే మెరుగుపడ్డాయి మరియు OpenAI FIM API (3.5 టర్బో) వంటి ఇతర మోడల్‌లను అధిగమించాయి. డీప్‌సీక్ క్లోజ్ పోటీదారు. FIM పాస్@1 ఫలితాలు ఇలాంటి పోకడలను చూపుతాయి.

లభ్యత

కోడ్‌స్ట్రాల్ 2501 VSCode లేదా జెట్‌బ్రెయిన్స్ IDEలలో ఉపయోగం కోసం మిస్ట్రల్ భాగస్వామి, కంటిన్యూ ద్వారా అందుబాటులో ఉంది. వినియోగదారులు దీన్ని API ద్వారా కూడా అమలు చేయవచ్చు, మిలియన్ ఇన్‌పుట్/అవుట్‌పుట్ టోకెన్‌లకు 0.3/0.9 USD లేదా EUR ధర ఉంటుంది.