மினிமேக்ஸ் திறந்த மூல மாதிரியை வெளியிடுகிறது 456B அளவுருக்கள் 4M சூழல்

மினிமேக்ஸ் AI ஏஜென்ட் யுகத்தை தழுவுகிறது

2025 ஆம் ஆண்டு AI ஏஜென்ட்களின் ஆண்டாக இருக்கும் என்று AI சமூகம் கணித்துள்ளது. OpenAI இன் சாம் ஆல்ட்மேன், மெட்டாவின் மார்க் ஜுக்கர்பெர்க் மற்றும் என்விடியாவின் ஜென்சன் ஹுவாங் போன்ற தொழில்துறை தலைவர்கள் AI ஏஜென்ட்கள் பணியாளர்களையும் IT துறையையும் கணிசமாக பாதிக்கும் என்று தெரிவித்துள்ளனர். மினிமேக்ஸ் இந்த வளர்ந்து வரும் போக்கிற்கு அதன் சமீபத்திய அடித்தள மொழி மாதிரியான MiniMax-Text-01 மற்றும் காட்சி-பன்முக மாதிரி MiniMax-VL-01 ஆகியவற்றை திறந்த மூலமாக வெளியிட்டு பதிலளித்துள்ளது.

புதிய மாதிரிகளின் முக்கிய புதுமை

இந்த புதிய மாதிரிகளின் முக்கிய புதுமை ஒரு புதிய நேரியல் கவனம் செலுத்தும் பொறிமுறையை செயல்படுத்துவதாகும், இது சூழல் சாளரத்தை கணிசமாக விரிவுபடுத்துகிறது. மினிமேக்ஸ் மாதிரிகள் ஒரே நேரத்தில் 4 மில்லியன் டோக்கன்களைச் செயலாக்க முடியும், இது மற்ற மாதிரிகளை விட 20 முதல் 32 மடங்கு அதிகம். இந்த முன்னேற்றம் ஏஜென்ட் பயன்பாடுகளுக்கு மிகவும் முக்கியமானது, ஏனெனில் நினைவகத்தை நிர்வகிக்கவும், பல ஏஜென்ட்களுக்கு இடையே ஒத்துழைக்கவும் நீண்ட சூழல் சாளரங்கள் தேவைப்படுகின்றன.

மினிமேக்ஸின் திறந்த மூல மாதிரிகளை இயக்கும் கண்டுபிடிப்புகள்

MiniMax-Text-01 பல கண்டுபிடிப்புகளின் விளைவாகும், அவற்றுள்:

• மின்னல் கவனம்: டிரான்ஸ்பார்மர் கட்டமைப்பின் கணக்கீட்டு சிக்கலை இருபடி முதல் நேரியல் வரை குறைக்கும் ஒரு வகை நேரியல் கவனம். இது ஒரு சரியான தயாரிப்பு கர்னல் தந்திரத்தின் மூலம் அடையப்படுகிறது, இது கவனத்தை மிகவும் திறமையாக கணக்கிட அனுமதிக்கிறது.
• கலப்பின மின்னல்: மின்னல் கவனம் மற்றும் மென்மையான கவனம் ஆகியவற்றின் கலவையாகும், இதில் ஒவ்வொரு எட்டு அடுக்குகளிலும் மின்னல் கவனம் மென்மையான கவனத்தால் மாற்றப்படுகிறது. இந்த அணுகுமுறை திறனை பராமரிக்கும் போது அளவிடுதல் திறன்களை மேம்படுத்துகிறது.
• நிபுணர்களின் கலவை (MoE): அடர்த்தியான மாதிரிகளுடன் ஒப்பிடும்போது, MoE மாதிரிகள் குறிப்பிடத்தக்க செயல்திறன் மேம்பாடுகளைக் காட்டுகின்றன, குறிப்பாக கணக்கீட்டு சுமைகள் ஒத்திருக்கும்போது. மினிமேக்ஸ் MoE மாதிரிகளை அளவிடும்போது ரூட்டிங் சரிவைத் தடுக்க ஒரு ஆல்கேதர் தொடர்பு படிநிலையை அறிமுகப்படுத்தியது.
• கணக்கீட்டு தேர்வுமுறை: மினிமேக்ஸ் MoE கட்டமைப்பை டோக்கன்-குழு அடிப்படையிலான ஓவர்லாப் திட்டத்தைப் பயன்படுத்தி தொடர்பு சுமைகளைக் குறைக்க தேர்வு செய்தது. நீண்ட சூழல் பயிற்சிக்கு, பயிற்சி மாதிரிகள் வரிசை பரிமாணத்தில் இறுதி வரை இணைக்கப்பட்ட தரவு-பேக்கிங் நுட்பத்தைப் பயன்படுத்தினர். மேலும் பேட்ச் செய்யப்பட்ட கர்னல் இணைவு, தனித்தனி ப்ரீஃபில் மற்றும் டீகோட் எக்ஸிகியூஷன், மல்டி-லெவல் பேடிங் மற்றும் ஸ்ட்ரைட் பேட்ச் செய்யப்பட்ட மேட்ரிக்ஸ் மல்டிபிளிகேஷன் விரிவாக்கம் ஆகிய நான்கு தேர்வுமுறை உத்திகளை மின்னல் கவனத்திற்காக ஏற்றுக்கொண்டனர்.

இந்த கண்டுபிடிப்புகள் 32 நிபுணர்களுடன் 456 பில்லியன் அளவுரு LLM உருவாக்க வழிவகுத்தன, இதில் ஒவ்வொரு டோக்கனும் 45.9 பில்லியன் அளவுருக்களை செயல்படுத்துகிறது.

MiniMax-Text-01 இன் தரநிலை செயல்திறன்

MiniMax-Text-01 பல தரநிலைகளில் சிறந்த செயல்திறனைக் காட்டியுள்ளது, GPT-4o மற்றும் Claude 3.5 Sonnet போன்ற மூடிய-மூல மாதிரிகளுக்கும், Qwen2.5 மற்றும் Llama 3.1 போன்ற திறந்த-மூல மாதிரிகளுக்கும் போட்டியாக உள்ளது.

• HumanEval இல், MiniMax-Text-01 Instruct Qwen2.5-72B ஐ விட சிறந்து விளங்குகிறது.
• சவாலான GPQA வைரம் தரவுத்தொகுப்பில் 54.4 மதிப்பெண்ணை எட்டியது, பெரும்பாலான சிறந்த LLM களையும், சமீபத்திய GPT-4o ஐயும் விஞ்சியது.
• MiniMax-Text-01 MMLU, IFEval மற்றும் Arena-Hard ஆகியவற்றில் முதல் மூன்று மதிப்பெண்களைப் பெற்றது, இது அறிவைப் பயன்படுத்துவதற்கும் பயனர் வினவல்களை திறம்பட பூர்த்தி செய்வதற்கும் அதன் திறனை நிரூபிக்கிறது.

சிறந்த சூழல் திறன்கள்

MiniMax-Text-01 இன் நீட்டிக்கப்பட்ட சூழல் சாளரம் ஒரு முக்கிய வேறுபாட்டைக் கொண்டுள்ளது:

• ரூலர் தரநிலைகளில், MiniMax-Text-01 மற்ற மாதிரிகளுடன் 64k சூழல் நீளம் வரை ஒப்பிடத்தக்க செயல்திறனை வழங்குகிறது, ஆனால் அதன் செயல்திறன் 128k க்கு அப்பால் கணிசமாக அதிகரிக்கிறது.
• இந்த மாதிரி LongBench v2 இன் நீண்ட சூழல் பகுத்தறிவு பணிகளில் விதிவிலக்கான செயல்திறனை வெளிப்படுத்துகிறது.
• கூடுதலாக, MiniMax-Text-01 இன் நீண்ட சூழல் கற்றல் திறன்கள் MTOB தரநிலைகளால் சரிபார்க்கப்பட்டபடி, அதிநவீனமானவை.

நிஜ உலக பயன்பாடுகள்

MiniMax-Text-01 இன் திறன்கள் தரநிலைகளுக்கு அப்பாற்பட்டவை.

• இது நுணுக்கமான மொழி மற்றும் உணர்ச்சி ஆழத்துடன் ஒரு பாடல் போன்ற ஆக்கப்பூர்வமான உள்ளடக்கத்தை உருவாக்க முடியும்.
• வழங்கப்பட்ட அறிவுறுத்தல்கள், இலக்கணம் மற்றும் சொற்களஞ்சியத்தைப் பயன்படுத்தி, கலாமாங் போன்ற அவ்வளவு பொதுவான மொழியை மொழிபெயர்ப்பது போன்ற சிக்கலான பணிகளைச் செய்ய முடியும்.
• இது நீண்ட உரையாடல்களில் சிறந்த நினைவகத்தை வெளிப்படுத்துகிறது.

MiniMax-VL-01: ஒரு காட்சி மொழி மாதிரி

MiniMax-Text-01 ஐ அடிப்படையாகக் கொண்டு, மினிமேக்ஸ் ஒரு மல்டிமாடல் பதிப்பான MiniMax-VL-01 ஐ உருவாக்கியது, இது ஒரு பட குறியாக்கி மற்றும் அடாப்டரை ஒருங்கிணைக்கிறது. இந்த மாதிரி பட தழுவலுக்கான இரண்டு அடுக்கு MLP புரொஜெக்டருடன் காட்சி குறியாக்கத்திற்கான ViT ஐப் பயன்படுத்துகிறது. இந்த மாதிரி தனியுரிம தரவுத்தொகுப்பு மற்றும் பல-நிலை பயிற்சி உத்தியைப் பயன்படுத்தி படம்-மொழி தரவுகளுடன் தொடர்ச்சியான பயிற்சியை மேற்கொண்டது.

MiniMax-VL-01 பல்வேறு தரநிலைகளில் வலுவான செயல்திறனை வெளிப்படுத்துகிறது, பெரும்பாலும் மற்ற SOTA மாதிரிகளுடன் பொருந்துகிறது அல்லது அதிகமாக உள்ளது. இது வழிசெலுத்தல் வரைபடங்கள் போன்ற சிக்கலான காட்சி தரவுகளை பகுப்பாய்வு செய்யக்கூடியதாக நிரூபிக்கப்பட்டுள்ளது.

AI ஏஜென்ட்களின் எதிர்காலம்

மினிமேக்ஸ் சூழல் சாளர திறன்களின் எல்லைகளைத் தள்ளுகிறது, சாஃப்ட்மேக்ஸ் கவனத்தை நீக்கி, எல்லையற்ற சூழல் சாளரங்களை செயல்படுத்தும் கட்டமைப்புகளில் தொடர்ச்சியான ஆராய்ச்சியுடன். பல நிஜ உலக பணிகளுக்கு காட்சி மற்றும் உரை புரிதல் தேவைப்படுவதால், AI ஏஜென்ட்களுக்கான மல்டிமாடல் மாதிரிகளின் முக்கியத்துவத்தை நிறுவனம் அங்கீகரிக்கிறது. மினிமேக்ஸ் AI ஏஜென்ட்களை உருவாக்குவதை நோக்கமாகக் கொண்டுள்ளது, அவை இயல்பானதாகவும், அணுகக்கூடியதாகவும், உலகளாவியதாகவும் இருக்கும், மேலும் அவை இயற்பியல் உலகத்துடன் தொடர்பு கொள்ளும் திறனைக் கொண்டுள்ளன.