মিত্রালের কোডস্ট্রাল 256k কনটেক্সট উইন্ডো সহ লিডারবোর্ডে শীর্ষে

মিত্রালের কোডস্ট্রাল শীর্ষস্থান অর্জন করেছে

প্রায়শই "ইউরোপীয় ওপেনএআই" হিসাবে পরিচিত মিত্রাল, তাদের কোড মডেল কোডস্ট্রালের একটি আপডেট সংস্করণ প্রকাশ করেছে। এই নতুন সংস্করণটি দ্রুত কোপাইলট এরেনার শীর্ষে উঠে এসেছে, যেখানে এটি ডিপসিক ভি2.5 এবং ক্লড 3.5 এর সাথে প্রথম স্থান শেয়ার করছে। উল্লেখযোগ্যভাবে, এর কনটেক্সট উইন্ডো আটগুণ বৃদ্ধি করে 256k করা হয়েছে।

উন্নত কর্মক্ষমতা এবং গতি

নতুন কোডস্ট্রাল (2501) একটি আরও দক্ষ আর্কিটেকচার এবং টোকেনাইজার নিয়ে গঠিত, যা পূর্বসূরীর তুলনায় দ্বিগুণ জেনারেশন গতি প্রদান করে। এটি বিভিন্ন বেঞ্চমার্কে স্টেট-অফ-দ্য-আর্ট (SOTA) ফলাফল অর্জন করেছে এবং উল্লেখযোগ্য কোড কমপ্লিশন (FIM) ক্ষমতা প্রদর্শন করেছে। মিত্রালের অংশীদার Continue.dev এর মতে, 2501 সংস্করণটি FIM এর ক্ষেত্রে একটি গুরুত্বপূর্ণ পদক্ষেপ।

কোপাইলট এরেনা বিজয়

কোপাইলট এরেনাতে, কোড মডেলগুলির জন্য একটি প্রতিযোগিতামূলক প্ল্যাটফর্ম, কোডস্ট্রাল 2501 শীর্ষ স্থান দখল করেছে, যা ডিপসিক ভি2.5 এবং ক্লড 3.5 সনেটের সাথে যৌথভাবে প্রথম স্থানে রয়েছে। এটি পূর্ববর্তী কোডস্ট্রাল সংস্করণ (2405) থেকে 12 পয়েন্ট (1.2%) উন্নতি। যদিও লামা 3.1, জেমিনি 1.5 প্রো এবং জিপিটি-4o এর মতো মডেলগুলি কম স্থানে রয়েছে, তবে o1 এর অনুপস্থিতি ইঙ্গিত করে যে এর অন্তর্ভুক্তির সাথে র‍্যাঙ্কিং পরিবর্তন হতে পারে।

কোপাইলট এরেনা বিস্তারিত

কোপাইলট এরেনা গত নভেম্বরে কার্নেগি মেলন বিশ্ববিদ্যালয় এবং ইউসি বার্কলে-এর গবেষকদের সাথে এলএমএরেনার সহযোগিতায় চালু করা হয়েছিল। এটি এলএলএম এরেনার মতোই কাজ করে, যেখানে ব্যবহারকারীরা সমস্যা উত্থাপন করে এবং সিস্টেমটি দুটি মডেলকে এলোমেলোভাবে বেনামী আউটপুট প্রদান করতে নির্বাচন করে। এরপর ব্যবহারকারীরা ভালো আউটপুটটি বেছে নেয়। এলএলএম এরেনার একটি কোড-নির্দিষ্ট সংস্করণ হিসাবে, কোপাইলট এরেনা একটি ওপেন-সোর্স প্রোগ্রামিং সরঞ্জাম হিসাবেও কাজ করে যা ব্যবহারকারীদের ভিএসকোডে একাধিক মডেলকে একই সাথে তুলনা করতে সক্ষম করে। বর্তমানে, 12টি কোড মডেল 17,000 টিরও বেশি লড়াইয়ে অংশ নিয়েছে।

একাধিক বেঞ্চমার্কে SOTA ফলাফল

মিত্রাল আরও জানিয়েছে যে কোডস্ট্রাল 2501 হিউম্যানইভাল-এর মতো ঐতিহ্যবাহী পরীক্ষায় বেশ কয়েকটি মেট্রিক্সে SOTA ফলাফল অর্জন করেছে। তুলনার জন্য নির্বাচিত মডেলগুলি 100B-এর কম প্যারামিটারযুক্ত ছিল, যা সাধারণত FIM কার্যকলাপে শক্তিশালী হিসাবে বিবেচিত হয়। উপরন্তু, কনটেক্সট উইন্ডো 2405 সংস্করণে (22B প্যারামিটার) 32k থেকে নতুন সংস্করণে 256k-এ বৃদ্ধি করা হয়েছে। পাইথন এবং এসকিউএল ডেটাবেস জড়িত পরীক্ষায়, কোডস্ট্রাল 2501 ধারাবাহিকভাবে একাধিক মেট্রিক্সে প্রথম বা দ্বিতীয় স্থান অর্জন করেছে।

ভাষার কর্মক্ষমতা

কোডস্ট্রাল, যা 80 টিরও বেশি ভাষা সমর্থন করে, গড়ে 71.4% হিউম্যানইভাল স্কোর অর্জন করেছে, যা দ্বিতীয় স্থান অধিকারী মডেলের চেয়ে প্রায় 6 শতাংশ বেশি। এটি পাইথন, সি+ এবং জেএস-এর মতো সাধারণ ভাষাগুলিতেও SOTA মর্যাদা অর্জন করেছে এবং সি# ভাষা স্কোরে 50% ছাড়িয়ে গেছে। আগ্রহজনকভাবে, কোডস্ট্রাল 2501-এর জাভা-তে কর্মক্ষমতা তার পূর্বসূরীর তুলনায় হ্রাস পেয়েছে।

FIM কর্মক্ষমতা

মিত্রাল দল কোডস্ট্রাল 2501-এর FIM কর্মক্ষমতা ডেটাও প্রকাশ করেছে, যা একক-লাইন সঠিক মিল দ্বারা পরিমাপ করা হয়েছে। গড় স্কোর এবং পাইথন, জাভা এবং জেএস-এর পৃথক স্কোরগুলি পূর্ববর্তী সংস্করণের তুলনায় উন্নত এবং ওপেনএআই FIM API (3.5 Turbo) এর মতো অন্যান্য মডেলগুলিকে ছাড়িয়ে গেছে। ডিপসিক একটি ঘনিষ্ঠ প্রতিযোগী। FIM pass@1 ফলাফলে একই ধরনের প্রবণতা দেখা যায়।

উপলব্ধতা

কোডস্ট্রাল 2501 ভিএসকোড বা জেটব্রেইনস IDE-তে ব্যবহারের জন্য মিত্রালের অংশীদার কন্টিনিউ-এর মাধ্যমে অ্যাক্সেস করা যেতে পারে। ব্যবহারকারীরা API-এর মাধ্যমে নিজেরাই এটি স্থাপন করতে পারেন, যার মূল্য প্রতি মিলিয়ন ইনপুট/আউটপুট টোকেনের জন্য 0.3/0.9 USD বা EUR।