মাইক্রোসফটের শক্তিশালী ফি-৪ মডেল উন্মোচন: জিপিটি-৪ও কেও ছাড়িয়ে গেল

মাইক্রোসফট রিসার্চ সম্প্রতি তাদের নতুন ছোট আকারের মডেল ফি-৪ উন্মুক্ত করেছে, যা তার অসাধারণ কর্মক্ষমতার জন্য ব্যাপক মনোযোগ আকর্ষণ করেছে। মাত্র ১৪০ বিলিয়ন প্যারামিটার থাকা সত্ত্বেও, এই মডেলটি বিভিন্ন বেঞ্চমার্কে এতটাই ভালো পারফর্ম করেছে যে, এটি ওপেনএআই-এর জিপিটি-৪ও এবং অন্যান্য শীর্ষস্থানীয় ওপেন সোর্স মডেল যেমন Qwen 2.5-14B এবং Llama-3.3-70B কেও ছাড়িয়ে গেছে।

আরও সুনির্দিষ্ট পরীক্ষায়, ফি-৪ আমেরিকান ম্যাথমেটিক্স কম্পিটিশনে (এএমসি) ৯১.৮ স্কোর করেছে, যা জেমিনি প্রো ১.৫, ক্লড ৩.৫ সনেট সহ অনেক পরিচিত ওপেন ও ক্লোজড সোর্স মডেলের চেয়ে বেশি। এর সামগ্রিক কর্মক্ষমতা এমনকি ৪০৫০ বিলিয়ন প্যারামিটারের Llama-3.1 এর সাথেও তুলনীয়।

এই পদক্ষেপটি সম্প্রদায়ে ব্যাপক আলোড়ন সৃষ্টি করেছে। এর আগে, কিছু ব্যবহারকারী Hugging Face-এ ফি-৪ এর পাইরেটেড ভার্সন আপলোড করেছিল। এখন, মাইক্রোসফট আনুষ্ঠানিকভাবে ফি-৪ ওপেন সোর্স করেছে এবং এটি MIT লাইসেন্সের অধীনে উপলব্ধ, যা বাণিজ্যিক ব্যবহারের অনুমতি দেয়।

ওপেন সোর্স ঠিকানা: phi-4

Hugging Face ও ফি-৪ এর ওপেন সোর্স ঘোষণাকে স্বাগত জানিয়েছে, যা এর প্রভাবের সাক্ষ্য দেয়।

ফি-৪ এর মূল সুবিধা: সিনথেটিক ডেটা এবং সূক্ষ্ম প্রশিক্ষণ

ফি-৪ এত কম প্যারামিটার নিয়েও এত ভালো ফল করার প্রধান কারণ হলো এর উচ্চ-মানের সিনথেটিক ডেটা। ঐতিহ্যবাহী ওয়েব ক্রল করা ডেটার তুলনায়, সিনথেটিক ডেটা আরও বেশি কাঠামোগত এবং ধাপে ধাপে শেখার উপাদান সরবরাহ করে, যা মডেলকে ভাষা এবং যুক্তির প্রক্রিয়া আরও দক্ষতার সাথে শিখতে সাহায্য করে।

কাঠামোগত শিক্ষা: সিনথেটিক ডেটা সমস্যার সমাধানগুলো ধাপে ধাপে উপস্থাপন করতে পারে। উদাহরণস্বরূপ, গাণিতিক সমস্যার সমাধানে, এটি মডেলকে সমস্যার গঠন এবং সমাধানের পদ্ধতি ভালোভাবে বুঝতে সাহায্য করে।
প্রাসঙ্গিকতা: সিনথেটিক ডেটা মডেলের যুক্তির প্রেক্ষাপটের সাথে আরও ভালোভাবে সারিবদ্ধ হতে পারে, যা বাস্তব অ্যাপ্লিকেশনে মডেলের আউটপুট ফরম্যাটের কাছাকাছি। এর ফলে, মডেল প্রি-ট্রেনিংয়ের সময় বাস্তব পরিস্থিতির জন্য প্রস্তুত হতে পারে। উদাহরণস্বরূপ, অনলাইন ফোরামের তথ্যগুলোকে একটি বৃহৎ ভাষার মডেলের মিথস্ক্রিয়ার মতো করে লেখা হলে, সেই তথ্যগুলো মডেলের তৈরি করা কথোপকথনে আরও স্বাভাবিক এবং যুক্তিযুক্ত মনে হবে।

ফি-৪ এর সিনথেটিক ডেটা তৈরির নীতিগুলো হলো:

বৈচিত্র্য
সূক্ষ্মতা এবং জটিলতা
নির্ভরযোগ্যতা
যুক্তির ধারা

এই নীতিগুলো সিনথেটিক ডেটার গুণমান নিশ্চিত করে এবং ৫০টির বেশি বিভিন্ন ধরনের সিনথেটিক ডেটা সেট তৈরি করে। মাইক্রোসফট বিভিন্ন পদ্ধতির মাধ্যমে প্রায় ৪০০ বিলিয়ন আনওয়েটেড টোকেন তৈরি করেছে, যার মধ্যে রয়েছে মাল্টি-স্টেজ প্রম্পট, সিড কিউরেশন, রিরাইটিং ও অগমেন্টেশন এবং সেলফ-রিভিশন।

সিনথেটিক ডেটা ছাড়াও, ফি-৪ নেটওয়ার্ক কনটেন্ট, লাইসেন্সকৃত বই এবং কোড রিপোজিটরি সহ বিভিন্ন উৎস থেকে সংগ্রহ করা অর্গানিক ডেটা কঠোরভাবে বাছাই ও ফিল্টার করেছে। দুই-ধাপের ফিল্টারিং প্রক্রিয়ার মাধ্যমে, উচ্চ শিক্ষাগত মান এবং গভীর যুক্তির ডেটা বের করা হয়েছে। এই ডেটা সিনথেটিক ডেটা তৈরির ভিত্তি হিসেবে কাজ করে এবং সরাসরি প্রি-ট্রেনিংয়ের জন্য ব্যবহার করা হয়, যা মডেলের জ্ঞানকে আরও সমৃদ্ধ করে।

বাছাই প্রক্রিয়ায়, মাইক্রোসফট ছোট ক্লাসিফায়ার ভিত্তিক ফিল্টারিং পদ্ধতি ব্যবহার করেছে, যা বৃহৎ আকারের ওয়েব ডেটা থেকে উচ্চ-মানের ডকুমেন্ট নির্বাচন করে এবং বহুভাষিক ডেটার জন্য বিশেষভাবে কাজ করে। এটি নিশ্চিত করে যে, মডেলটি জার্মান, স্প্যানিশ, ফ্রেঞ্চ, পর্তুগিজ, ইতালীয়, হিন্দি এবং জাপানি সহ বিভিন্ন ভাষা প্রক্রিয়া করতে পারে।

ফি-৪ এর প্রশিক্ষণ প্রক্রিয়া

ফি-৪ এর প্রি-ট্রেনিং মূলত সিনথেটিক ডেটা ব্যবহার করে করা হয়েছে, যেখানে অল্প পরিমাণে উচ্চ-মানের অর্গানিক ডেটাও ব্যবহার করা হয়েছে। এই ডেটা মিশ্রণ কৌশল মডেলকে যুক্তি এবং সমস্যা সমাধানের ক্ষমতা শেখার পাশাপাশি প্রচুর জ্ঞান অর্জন করতে সহায়তা করে।

মধ্যবর্তী প্রশিক্ষণ পর্যায়ে, ফি-৪ এর কনটেক্সট দৈর্ঘ্য ৪,০৯৬ থেকে ১৬,৩৮৪ পর্যন্ত বাড়ানো হয়েছে, যাতে মডেলটি দীর্ঘ টেক্সট আরও ভালোভাবে প্রক্রিয়া করতে পারে। এর মধ্যে রয়েছে উচ্চ-মানের নন-সিনথেটিক ডেটাসেট থেকে বাছাই করা ৮K-এর বেশি কনটেক্সট এবং নতুন তৈরি ৪K সিকোয়েন্সের প্রয়োজনীয়তা পূরণ করে এমন সিনথেটিক ডেটাসেট।

পোস্ট-ট্রেনিং ফেজ ফি-৪ অপটিমাইজেশনের জন্য গুরুত্বপূর্ণ ছিল। মাইক্রোসফট সুপারভাইজড ফাইন- tuning (SFT) এবং ডিরেক্ট প্রেফারেন্স অপটিমাইজেশন (DPO) কৌশল ব্যবহার করেছে।

SFT ফেজ: বিভিন্ন ক্ষেত্র থেকে তৈরি প্রায় ৮ বিলিয়ন টোকেন ব্যবহার করে প্রি-ট্রেইনড মডেলকে ফাইন- টিউনিং করা হয়েছে, যেখানে লার্নিং রেট ছিল ১০-৬। এছাড়াও, ৪০টি ভাষার ডেটা যোগ করা হয়েছে, এবং সমস্ত ডেটা চ্যাটএমএল ফরম্যাটে ছিল।
DPO টেকনিক: এই পদ্ধতিতে, পছন্দের ডেটা তৈরি করে মডেলের আউটপুটকে এমনভাবে সাজানো হয়েছে, যাতে তা মানুষের পছন্দের সাথে আরও বেশি মেলে। মাইক্রোসফট ক্রিটিক্যাল টোকেন সার্চ (PTS) প্রযুক্তিও ব্যবহার করেছে, যা DPO পেয়ার তৈরি করতে সাহায্য করে। এই প্রযুক্তি সেই গুরুত্বপূর্ণ টোকেনগুলোকে চিহ্নিত করতে পারে, যা মডেলের উত্তরের নির্ভুলতার ওপর বড় প্রভাব ফেলে। এর মাধ্যমে, মডেলের যুক্তির কাজগুলোতে কর্মক্ষমতা উন্নত করা যায়।

ফি-৪ এর কর্মক্ষমতা মূল্যায়ন

ফি-৪ এর কর্মক্ষমতা মূল্যায়নের জন্য, মাইক্রোসফট বিভিন্ন বেঞ্চমার্কে পরীক্ষা চালিয়েছে। একাডেমিক বেঞ্চমার্ক যেমন MMLU, GPQA, MATH, HumanEval ইত্যাদিতে ফি-৪ ভালো ফল করেছে।

MMLU পরীক্ষায়, ফি-৪ ৮৪.৮ স্কোর করেছে। GPQA এবং MATH পরীক্ষায়, এটি জিপিটি-৪ও কেও ছাড়িয়ে গেছে, যা গাণিতিক প্রতিযোগিতার সাথে সম্পর্কিত কাজগুলোতে এর শক্তিশালী যুক্তির প্রমাণ দেয়। একই আকারের এবং বড় মডেলগুলোর সাথে তুলনা করে দেখা গেছে, ফি-৪ ১২টি বেঞ্চমার্কের মধ্যে ৯টিতেই Qwen-2.5-14B-Instruct এর মতো ওপেন সোর্স মডেলের চেয়ে ভালো পারফর্ম করেছে।