মিনিম্যাক্স উন্মোচন করলো ওপেন সোর্স মডেল ৪56বি প্যারামিটার ৪এম কনটেক্সট

মিনিম্যাক্স এআই এজেন্টের যুগে প্রবেশ করছে

এআই কমিউনিটিতে ২০২৫ সালকে এআই এজেন্টের বছর হিসেবে ধরা হচ্ছে। ওপেনএআই এর স্যাম অল্টম্যান, মেটার মার্ক জুকারবার্গ এবং এনভিদিয়ার জেনসেন হুয়াংয়ের মতো শিল্প নেতারা মনে করেন, এআই এজেন্ট কর্মক্ষেত্র এবং আইটি ল্যান্ডস্কেপে উল্লেখযোগ্য প্রভাব ফেলবে। এই প্রবণতার প্রতিক্রিয়ায় মিনিম্যাক্স তাদের নতুন ভিত্তি ভাষা মডেল, মিনিম্যাক্স-টেক্সট-০১ এবং ভিজ্যুয়াল-মাল্টিমোডাল মডেল, মিনিম্যাক্স-ভিএল-০১ ওপেন সোর্স করেছে।

নতুন মডেলের উদ্ভাবন

এই নতুন মডেলগুলোর মূল উদ্ভাবন হলো একটি নতুন লিনিয়ার অ্যাটেনশন মেকানিজম, যা কনটেক্সট উইন্ডোকে উল্লেখযোগ্যভাবে প্রসারিত করে। মিনিম্যাক্সের মডেলগুলো একবারে ৪ মিলিয়ন টোকেন প্রসেস করতে পারে, যা অন্যান্য মডেলের তুলনায় ২০ থেকে ৩২ গুণ বেশি। এই অগ্রগতি এজেন্ট অ্যাপ্লিকেশনগুলোর জন্য অত্যন্ত গুরুত্বপূর্ণ, যেখানে একাধিক এজেন্টের মধ্যে মেমরি এবং সহযোগিতা ব্যবস্থাপনার জন্য দীর্ঘ কনটেক্সট উইন্ডোর প্রয়োজন।

মিনিম্যাক্সের ওপেন সোর্স মডেলের চালিকাশক্তি

মিনিম্যাক্স-টেক্সট-০১ বেশ কয়েকটি উদ্ভাবনের ফল, যার মধ্যে রয়েছে:

• লাইটনিং অ্যাটেনশন: এটি লিনিয়ার অ্যাটেনশনের একটি রূপ, যা ট্রান্সফরমার আর্কিটেকচারের গণনা জটিলতাকে দ্বিঘাত থেকে লিনিয়ারে কমিয়ে আনে। এটি একটি রাইট প্রোডাক্ট কার্নেল কৌশলের মাধ্যমে অর্জন করা হয়, যা অ্যাটেনশনের আরও দক্ষ গণনা করতে দেয়।
• হাইব্রিড-লাইটনিং: এটি লাইটনিং অ্যাটেনশন এবং সফটম্যাক্স অ্যাটেনশনের সংমিশ্রণ, যেখানে প্রতি আটটি স্তরে লাইটনিং অ্যাটেনশনকে সফটম্যাক্স অ্যাটেনশন দিয়ে প্রতিস্থাপন করা হয়। এই পদ্ধতিটি দক্ষতা বজায় রেখে স্কেলিং ক্ষমতা উন্নত করে।
• মিক্সচার অফ এক্সপার্টস (MoE): ঘন মডেলগুলোর তুলনায়, MoE মডেলগুলো উল্লেখযোগ্য কর্মক্ষমতা উন্নতি দেখায়, বিশেষ করে যখন গণনার লোড একই থাকে। মিনিম্যাক্স MoE মডেলগুলোকে স্কেল করার সময় রুটিং কলাপস প্রতিরোধ করতে একটি অলগ্যাদার কমিউনিকেশন স্টেপ চালু করেছে।
• গণনামূলক অপ্টিমাইজেশন: মিনিম্যাক্স MoE আর্কিটেকচারের জন্য অপ্টিমাইজ করেছে, টোকেন-গ্রুপিং ভিত্তিক ওভারল্যাপ স্কিম ব্যবহার করে যোগাযোগের লোড কমিয়েছে। দীর্ঘ-কনটেক্সট প্রশিক্ষণের জন্য, তারা একটি ডেটা-প্যাকিং কৌশল ব্যবহার করেছে, যেখানে প্রশিক্ষণ নমুনাগুলো সিকোয়েন্স ডাইমেনশন বরাবর এন্ড-টু-এন্ড সংযুক্ত থাকে। তারা লাইটনিং অ্যাটেনশনের জন্য চারটি অপ্টিমাইজেশন কৌশলও গ্রহণ করেছে: ব্যাচড কার্নেল ফিউশন, পৃথক প্রিফিল এবং ডিকোড এক্সিকিউশন, মাল্টি-লেভেল প্যাডিং এবং স্ট্রাইডড ব্যাচড ম্যাট্রিক্স মাল্টিপ্লিকেশন এক্সপ্যানশন।

এই উদ্ভাবনগুলো ৩২ জন বিশেষজ্ঞের সাথে একটি ৪56 বিলিয়ন প্যারামিটারের এলএলএম তৈরি করেছে, যেখানে প্রতিটি টোকেন ৪5.9 বিলিয়ন প্যারামিটার সক্রিয় করে।

মিনিম্যাক্স-টেক্সট-০১ এর বেঞ্চমার্ক কর্মক্ষমতা

মিনিম্যাক্স-টেক্সট-০১ বেশ কয়েকটি বেঞ্চমার্কে চমৎকার কর্মক্ষমতা দেখিয়েছে, যা জিপিটি-৪ও এবং ক্লড ৩.৫ সনেটের মতো ক্লোজড-সোর্স মডেলগুলোর সাথে প্রতিদ্বন্দ্বিতা করে এবং এমনকি ছাড়িয়েও গেছে, সেইসাথে কুইন২.৫ এবং লামা ৩.১ এর মতো ওপেন-সোর্স মডেলগুলোকেও ছাড়িয়ে গেছে।

• হিউম্যানইভালে, মিনিম্যাক্স-টেক্সট-০১ ইন্সট্রাক্ট কুইন২.৫-৭২বি কে ছাড়িয়ে গেছে।
• এটি চ্যালেঞ্জিং জিপিকিউএ ডায়মন্ড ডেটাসেটে ৫৪.৪ স্কোর অর্জন করেছে, যা বেশিরভাগ ফাইন-টিউনড এলএলএম এবং সর্বশেষ জিপিটি-৪ও কে ছাড়িয়ে গেছে।
• মিনিম্যাক্স-টেক্সট-০১ এমএমএলইউ, আইএফইভাল এবং এরেনা-হার্ডে শীর্ষ-তিন স্কোর অর্জন করেছে, যা কার্যকরভাবে জ্ঞান প্রয়োগ এবং ব্যবহারকারীর প্রশ্নের উত্তর দেওয়ার ক্ষমতা প্রদর্শন করে।

উন্নত প্রাসঙ্গিক ক্ষমতা

মিনিম্যাক্স-টেক্সট-০১ এর বর্ধিত কনটেক্সট উইন্ডো একটি মূল পার্থক্যকারী:

• রুলার বেঞ্চমার্কে, মিনিম্যাক্স-টেক্সট-০১ ৬৪k কনটেক্সট দৈর্ঘ্য পর্যন্ত অন্যান্য মডেলের সাথে তুলনামূলকভাবে কাজ করে, তবে ১২৮k এর বেশি হলে এর কর্মক্ষমতা উল্লেখযোগ্যভাবে বৃদ্ধি পায়।
• মডেলটি লংবেঞ্চ ভি২ এর দীর্ঘ-কনটেক্সট যুক্তির কাজগুলোতেও ব্যতিক্রমী কর্মক্ষমতা দেখায়।
• এছাড়াও, এমটিওবি বেঞ্চমার্ক দ্বারা যাচাই করা হয়েছে যে মিনিম্যাক্স-টেক্সট-০১ এর দীর্ঘ-কনটেক্সট শেখার ক্ষমতা স্টেট-অফ-দ্য-আর্ট।

বাস্তব-বিশ্বের অ্যাপ্লিকেশন

মিনিম্যাক্স-টেক্সট-০১ এর ক্ষমতা বেঞ্চমার্কের বাইরেও বিস্তৃত।

• এটি একটি গান, সূক্ষ্ম ভাষা এবং আবেগপূর্ণ গভীরতার সাথে সৃজনশীল বিষয়বস্তু তৈরি করতে পারে।
• এটি কালামাং-এর মতো কম প্রচলিত ভাষার অনুবাদ করতে পারে, প্রদত্ত নির্দেশাবলী, ব্যাকরণ এবং শব্দভাণ্ডার ব্যবহার করে।
• এটি দীর্ঘ কথোপকথনে চমৎকার স্মৃতি প্রদর্শন করে।

মিনিম্যাক্স-ভিএল-০১: একটি ভিজ্যুয়াল-ভাষা মডেল

মিনিম্যাক্স-টেক্সট-০১ এর উপর ভিত্তি করে, মিনিম্যাক্স একটি মাল্টিমোডাল সংস্করণ, মিনিম্যাক্স-ভিএল-০১ তৈরি করেছে, যা একটি ইমেজ এনকোডার এবং অ্যাডাপ্টারকে একত্রিত করে। মডেলটি ভিজ্যুয়াল এনকোডিংয়ের জন্য একটি ভিআইটি ব্যবহার করে, ইমেজ অ্যাডাপ্টেশনের জন্য একটি দুই-স্তরযুক্ত এমএলপি প্রজেক্টর ব্যবহার করে। এই মডেলটি একটি মালিকানাধীন ডেটাসেট এবং একটি মাল্টি-স্টেজ প্রশিক্ষণ কৌশল ব্যবহার করে ইমেজ-ভাষা ডেটার সাথে ক্রমাগত প্রশিক্ষিত হয়েছে।

মিনিম্যাক্স-ভিএল-০১ বিভিন্ন বেঞ্চমার্কে শক্তিশালী কর্মক্ষমতা দেখায়, প্রায়শই অন্যান্য SOTA মডেলগুলোর সাথে মিলে যায় বা ছাড়িয়ে যায়। এটি জটিল ভিজ্যুয়াল ডেটা, যেমন নেভিগেশন ম্যাপ বিশ্লেষণ করতে সক্ষম প্রমাণিত হয়েছে।

এআই এজেন্টের ভবিষ্যৎ

মিনিম্যাক্স কনটেক্সট উইন্ডোর ক্ষমতার সীমানা প্রসারিত করছে, এমন আর্কিটেকচার নিয়ে গবেষণা চলছে যা সফটম্যাক্স অ্যাটেনশন দূর করতে পারে এবং অসীম কনটেক্সট উইন্ডো সক্ষম করতে পারে। কোম্পানিটি এআই এজেন্টদের জন্য মাল্টিমোডাল মডেলগুলোর গুরুত্ব উপলব্ধি করে, কারণ অনেক বাস্তব-বিশ্বের কাজের জন্য ভিজ্যুয়াল এবং টেক্সচুয়াল উভয় বোঝাপড়ার প্রয়োজন। মিনিম্যাক্সের লক্ষ্য এমন এআই এজেন্ট তৈরি করা যা স্বাভাবিক, সহজলভ্য এবং সর্বত্র বিরাজমান, যা ভৌত জগতের সাথে যোগাযোগ করার ক্ষমতা রাখে।