ਮਿਸਟਰਲ ਕੋਡਸਟ੍ਰਾਲ 256k ਸੰਦਰਭ ਵਿੰਡੋ ਨਾਲ ਲੀਡਰਬੋਰਡਾਂ 'ਤੇ ਸਿਖਰ 'ਤੇ

ਮਿਸਟਰਲ ਦਾ ਕੋਡਸਟ੍ਰਾਲ ਸਿਖਰਲੇ ਦਰਜੇ 'ਤੇ ਪਹੁੰਚਿਆ

ਮਿਸਟਰਲ, ਜਿਸਨੂੰ ਅਕਸਰ "ਯੂਰਪੀਅਨ OpenAI" ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਨੇ ਆਪਣੇ ਕੋਡ ਮਾਡਲ, ਕੋਡਸਟ੍ਰਾਲ ਦਾ ਇੱਕ ਅਪਡੇਟ ਕੀਤਾ ਸੰਸਕਰਣ ਜਾਰੀ ਕੀਤਾ ਹੈ। ਇਹ ਨਵਾਂ ਸੰਸਕਰਣ ਜਲਦੀ ਹੀ ਕੋਪਾਇਲਟ ਅਰੇਨਾ ਵਿੱਚ ਸਿਖਰ 'ਤੇ ਪਹੁੰਚ ਗਿਆ ਹੈ, ਜਿਸ ਵਿੱਚ ਡੀਪਸੀਕ V2.5 ਅਤੇ ਕਲਾਉਡ 3.5 ਨਾਲ ਪਹਿਲਾ ਸਥਾਨ ਸਾਂਝਾ ਕੀਤਾ ਗਿਆ ਹੈ। ਖਾਸ ਤੌਰ 'ਤੇ, ਸੰਦਰਭ ਵਿੰਡੋ ਨੂੰ ਅੱਠ ਗੁਣਾ ਵਧਾ ਕੇ ਇੱਕ ਪ੍ਰਭਾਵਸ਼ਾਲੀ 256k ਕਰ ਦਿੱਤਾ ਗਿਆ ਹੈ।

ਵਧੀ ਹੋਈ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਗਤੀ

ਨਵਾਂ ਕੋਡਸਟ੍ਰਾਲ (2501) ਇੱਕ ਵਧੇਰੇ ਕੁਸ਼ਲ ਆਰਕੀਟੈਕਚਰ ਅਤੇ ਟੋਕਨਾਈਜ਼ਰ ਦਾ ਮਾਣ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਸਦੇ ਪੂਰਵਜ ਦੇ ਮੁਕਾਬਲੇ ਪੀੜ੍ਹੀ ਦੀ ਗਤੀ ਦੁੱਗਣੀ ਹੋ ਗਈ ਹੈ। ਇਸਨੇ ਕਈ ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚ ਸਟੇਟ-ਆਫ-ਦੀ-ਆਰਟ (SOTA) ਨਤੀਜੇ ਵੀ ਪ੍ਰਾਪਤ ਕੀਤੇ ਹਨ ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਕੋਡ ਪੂਰਤੀ (FIM) ਸਮਰੱਥਾਵਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ ਹੈ। ਮਿਸਟਰਲ ਦੇ ਸਹਿਭਾਗੀ Continue.dev ਦੇ ਅਨੁਸਾਰ, 2501 ਸੰਸਕਰਣ FIM ਦੇ ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਹੈ।

ਕੋਪਾਇਲਟ ਅਰੇਨਾ ਜਿੱਤ

ਕੋਪਾਇਲਟ ਅਰੇਨਾ ਵਿੱਚ, ਕੋਡ ਮਾਡਲਾਂ ਲਈ ਇੱਕ ਪ੍ਰਤੀਯੋਗੀ ਪਲੇਟਫਾਰਮ, ਕੋਡਸਟ੍ਰਾਲ 2501 ਨੇ ਡੀਪਸੀਕ V2.5 ਅਤੇ ਕਲਾਉਡ 3.5 ਸੋਨੇਟ ਨਾਲ ਬੰਨ੍ਹ ਕੇ ਸਿਖਰਲਾ ਸਥਾਨ ਪ੍ਰਾਪਤ ਕੀਤਾ ਹੈ। ਇਹ ਪਿਛਲੇ ਕੋਡਸਟ੍ਰਾਲ ਸੰਸਕਰਣ (2405) ਨਾਲੋਂ 12-ਪੁਆਇੰਟ (1.2%) ਸੁਧਾਰ ਹੈ। ਜਦੋਂ ਕਿ ਲਾਮਾ 3.1, ਜੈਮਿਨੀ 1.5 ਪ੍ਰੋ ਅਤੇ GPT-4o ਵਰਗੇ ਮਾਡਲ ਹੇਠਲੇ ਦਰਜੇ 'ਤੇ ਹਨ, o1 ਦੀ ਗੈਰਹਾਜ਼ਰੀ ਸੁਝਾਅ ਦਿੰਦੀ ਹੈ ਕਿ ਇਸਦੇ ਸ਼ਾਮਲ ਹੋਣ ਨਾਲ ਦਰਜਾਬੰਦੀ ਬਦਲ ਸਕਦੀ ਹੈ।

ਕੋਪਾਇਲਟ ਅਰੇਨਾ ਵੇਰਵੇ

ਕੋਪਾਇਲਟ ਅਰੇਨਾ ਪਿਛਲੇ ਨਵੰਬਰ ਵਿੱਚ ਕਾਰਨੇਗੀ ਮੇਲਨ ਯੂਨੀਵਰਸਿਟੀ ਅਤੇ ਯੂਸੀ ਬਰਕਲੇ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਅਤੇ LMArena ਦੇ ਸਹਿਯੋਗ ਨਾਲ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ। ਇਹ LLM ਅਰੇਨਾ ਵਾਂਗ ਹੀ ਕੰਮ ਕਰਦਾ ਹੈ, ਜਿੱਥੇ ਉਪਭੋਗਤਾ ਸਮੱਸਿਆਵਾਂ ਪੇਸ਼ ਕਰਦੇ ਹਨ, ਅਤੇ ਸਿਸਟਮ ਅਗਿਆਤ ਆਉਟਪੁੱਟ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਦੋ ਮਾਡਲਾਂ ਦੀ ਬੇਤਰਤੀਬੇ ਢੰਗ ਨਾਲ ਚੋਣ ਕਰਦਾ ਹੈ। ਫਿਰ ਉਪਭੋਗਤਾ ਵਧੀਆ ਆਉਟਪੁੱਟ ਦੀ ਚੋਣ ਕਰਦੇ ਹਨ। LLM ਅਰੇਨਾ ਦੇ ਇੱਕ ਕੋਡ-ਵਿਸ਼ੇਸ਼ ਸੰਸਕਰਣ ਵਜੋਂ, ਕੋਪਾਇਲਟ ਅਰੇਨਾ ਇੱਕ ਓਪਨ-ਸੋਰਸ ਪ੍ਰੋਗਰਾਮਿੰਗ ਟੂਲ ਵਜੋਂ ਵੀ ਕੰਮ ਕਰਦਾ ਹੈ ਜੋ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ VSCode ਵਿੱਚ ਇੱਕੋ ਸਮੇਂ ਕਈ ਮਾਡਲਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ। ਵਰਤਮਾਨ ਵਿੱਚ, 12 ਕੋਡ ਮਾਡਲਾਂ ਨੇ 17,000 ਤੋਂ ਵੱਧ ਲੜਾਈਆਂ ਵਿੱਚ ਮੁਕਾਬਲਾ ਕੀਤਾ ਹੈ।

ਕਈ ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚ SOTA ਨਤੀਜੇ

ਮਿਸਟਰਲ ਨੇ ਇਹ ਵੀ ਸਾਂਝਾ ਕੀਤਾ ਕਿ ਕੋਡਸਟ੍ਰਾਲ 2501 ਨੇ ਹਿਊਮਨਈਵਾਲ ਵਰਗੇ ਰਵਾਇਤੀ ਟੈਸਟਾਂ 'ਤੇ ਕਈ ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ SOTA ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕੀਤੇ ਹਨ। ਤੁਲਨਾ ਲਈ ਚੁਣੇ ਗਏ ਮਾਡਲ 100B ਤੋਂ ਘੱਟ ਪੈਰਾਮੀਟਰਾਂ ਵਾਲੇ ਸਨ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ FIM ਕਾਰਜਾਂ ਵਿੱਚ ਮਜ਼ਬੂਤ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਸੰਦਰਭ ਵਿੰਡੋ 2405 ਸੰਸਕਰਣ (22B ਪੈਰਾਮੀਟਰ) ਵਿੱਚ 32k ਤੋਂ ਵਧ ਕੇ ਨਵੇਂ ਸੰਸਕਰਣ ਵਿੱਚ 256k ਹੋ ਗਈ ਹੈ। ਪਾਈਥਨ ਅਤੇ SQL ਡਾਟਾਬੇਸ ਵਾਲੇ ਟੈਸਟਾਂ ਵਿੱਚ, ਕੋਡਸਟ੍ਰਾਲ 2501 ਨੇ ਲਗਾਤਾਰ ਕਈ ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ ਪਹਿਲਾ ਜਾਂ ਦੂਜਾ ਸਥਾਨ ਪ੍ਰਾਪਤ ਕੀਤਾ ਹੈ।

ਭਾਸ਼ਾ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ

ਕੋਡਸਟ੍ਰਾਲ, ਜੋ ਕਿ 80 ਤੋਂ ਵੱਧ ਭਾਸ਼ਾਵਾਂ ਦਾ ਸਮਰਥਨ ਕਰਨ ਦੀ ਖਬਰ ਹੈ, ਨੇ 71.4% ਦਾ ਔਸਤ ਹਿਊਮਨਈਵਾਲ ਸਕੋਰ ਪ੍ਰਾਪਤ ਕੀਤਾ, ਜੋ ਕਿ ਦੂਜੇ ਸਥਾਨ ਦੇ ਮਾਡਲ ਨਾਲੋਂ ਲਗਭਗ 6 ਪ੍ਰਤੀਸ਼ਤ ਅੰਕ ਵੱਧ ਹੈ। ਇਸਨੇ ਆਮ ਭਾਸ਼ਾਵਾਂ ਜਿਵੇਂ ਕਿ ਪਾਈਥਨ, C+, ਅਤੇ JS ਵਿੱਚ SOTA ਸਥਿਤੀ ਵੀ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ, ਅਤੇ C# ਭਾਸ਼ਾ ਦੇ ਸਕੋਰਾਂ ਵਿੱਚ 50% ਤੋਂ ਵੱਧ ਹੈ। ਦਿਲਚਸਪ ਗੱਲ ਇਹ ਹੈ ਕਿ ਜਾਵਾ ਵਿੱਚ ਕੋਡਸਟ੍ਰਾਲ 2501 ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਇਸਦੇ ਪੂਰਵਜ ਦੇ ਮੁਕਾਬਲੇ ਘੱਟ ਗਈ ਹੈ।

FIM ਕਾਰਗੁਜ਼ਾਰੀ

ਮਿਸਟਰਲ ਟੀਮ ਨੇ ਕੋਡਸਟ੍ਰਾਲ 2501 ਲਈ FIM ਕਾਰਗੁਜ਼ਾਰੀ ਡੇਟਾ ਵੀ ਜਾਰੀ ਕੀਤਾ, ਜਿਸਨੂੰ ਸਿੰਗਲ-ਲਾਈਨ ਸਹੀ ਮੈਚ ਦੁਆਰਾ ਮਾਪਿਆ ਗਿਆ ਹੈ। ਔਸਤ ਸਕੋਰ ਅਤੇ ਪਾਈਥਨ, ਜਾਵਾ ਅਤੇ JS ਵਿਅਕਤੀਗਤ ਸਕੋਰ ਸਾਰੇ ਪਿਛਲੇ ਸੰਸਕਰਣ ਦੇ ਮੁਕਾਬਲੇ ਬਿਹਤਰ ਹਨ ਅਤੇ OpenAI FIM API (3.5 ਟਰਬੋ) ਵਰਗੇ ਹੋਰ ਮਾਡਲਾਂ ਨੂੰ ਪਛਾੜਦੇ ਹਨ। ਡੀਪਸੀਕ ਇੱਕ ਨਜ਼ਦੀਕੀ ਮੁਕਾਬਲੇਬਾਜ਼ ਹੈ। FIM pass@1 ਨਤੀਜੇ ਵੀ ਸਮਾਨ ਰੁਝਾਨ ਦਿਖਾਉਂਦੇ ਹਨ।

ਉਪਲਬਧਤਾ

ਕੋਡਸਟ੍ਰਾਲ 2501 VSCode ਜਾਂ Jetbrains IDEs ਵਿੱਚ ਵਰਤੋਂ ਲਈ ਮਿਸਟਰਲ ਦੇ ਸਹਿਭਾਗੀ, Continue ਦੁਆਰਾ ਪਹੁੰਚਯੋਗ ਹੈ। ਉਪਭੋਗਤਾ ਇਸਨੂੰ API ਦੁਆਰਾ ਖੁਦ ਵੀ ਤਾਇਨਾਤ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਸਦੀ ਕੀਮਤ 0.3/0.9 USD ਜਾਂ EUR ਪ੍ਰਤੀ ਮਿਲੀਅਨ ਇਨਪੁਟ/ਆਉਟਪੁੱਟ ਟੋਕਨ ਹੈ।