नवीन लक्ष यंत्रणा केव्ही कॅशमध्ये घट

मल्टी-मॅट्रिक्स फॅक्टरायझेशन अटेंशन (एमएफए)

स्टेप्स, त्सिंगहुआ विद्यापीठ आणि इतर संस्थांमधील संशोधकांनी मल्टी-मॅट्रिक्स फॅक्टरायझेशन अटेंशन (एमएफए) आणि त्याचे प्रकार एमएफए-की-रियूज (एमएफए-केआर) सादर केले आहेत. हे तंत्रज्ञान भाषेतील मॉडेल अनुमानाची किंमत कमी करते आणि कार्यक्षमता सुधारते.

एमएफए आणि एमएफए-केआर एमएलए पेक्षा जास्त कार्यक्षम आहेत.
एमएफए पारंपरिक एमएचए कार्यक्षमतेशी जुळते.
केव्ही कॅशेचा वापर 93.7% पर्यंत कमी होतो.
एमएफए साधेपणा, सुलभ पुनरुत्पादन आणि कमी संवेदनशीलता यासाठी डिझाइन केलेले आहे.

एमएफए दृष्टीकोन आणि विश्लेषण

संशोधन टीमने लक्ष यंत्रणेची क्षमता आणि रचना तपासली.

क्षमता संबंधित दोन महत्त्वाचे घटक ओळखले.
नवीन विश्लेषणात्मक पद्धती आणि डिझाइन तत्त्वे विकसित केली.
जनरलाइज्ड मल्टी-हेड अटेंशन (जीएमएचए) ही संकल्पना सादर केली.
की-व्हॅल्यूची गणना आणि स्टोरेज तपासले.
मॉडेल क्षमतेचे विभाजन दृष्टिकोनातून परीक्षण केले.
फुली पॅरामीटराइज्ड बायलिनियर अटेंशन (एफपीबीए) हे सैद्धांतिक मर्यादा म्हणून स्थापित केले.

एमक्यूए आणि एमएलए सोबत तुलना

मल्टी-क्वेरी अटेंशन (एमक्यूए) आणि मल्टी-हेड लेटेंट अटेंशन (एमएलए) या दोन सुधारणा योजनांवर लक्ष केंद्रित केले.

एमक्यूए मध्ये सर्व अटेंशन हेड की-व्हॅल्यू पॅरामीटर्सचा समान संच वापरतात, ज्यामुळे मेमरीचा वापर कमी होतो पण मॉडेलची क्षमता कमी होऊ शकते.
एमएलए पॅरामीटर कॉम्प्रेशनसाठी एक सामायिक लेटेंट स्पेस सादर करते, पण लहान आयाममुळे कार्यक्षमता मर्यादित राहते.

एमएफए मधील मुख्य नवकल्पना

एमएफए चा विकास कमी संसाधने वापरून सैद्धांतिक कार्यक्षमतेच्या जवळ पोहोचण्यासाठी करण्यात आला आहे.

मॉडेलची क्षमता वाढवण्यासाठी अटेंशन हेडची संख्या आणि आयाम वाढवणे.
पॅरामीटर कार्यक्षमतेसाठी कमी-रँक विघटन रणनीतीचा वापर करणे.
मेमरीचा वापर कमी ठेवण्यासाठी सिंगल की-व्हॅल्यू हेड डिझाइनचा वापर करणे.

क्षमता मापन आणि तुलना

एमएफए आणि इतर लक्ष यंत्रणांचे विश्लेषण करण्यासाठी दोन मेट्रिक्स सादर केले:

टोटल इफेक्टिव्ह रँक (टीईआर): अटेंशन हेडची संख्या आणि फॅक्टरायझेशन रँक प्रति हेड (एफआरएच) यांचा गुणाकार.
शेअर्ड लेटेंट सबस्पेस डायमेंशन (एसएलएसडी): सर्व अटेंशन हेडद्वारे सामायिक केलेल्या हिडन स्पेसचा आयाम.
एमएफए एमक्यूए पेक्षा जास्त एसएलएसडी आणि टीईआर प्राप्त करते.
एमएलएच्या तुलनेत, एमएफए कमी केव्ही कॅशे आकार आणि जास्त टीईआर मिळवते.
पारंपरिक एमएचएच्या तुलनेत, एमएफएचा टीईआर जास्त आहे, जरी एसएलएसडी लहान आहे.

प्रायोगिक निकाल

1B ते 7B पॅरामीटर आणि 10B ते 1T प्रशिक्षण डेटा वापरून मॉडेलची चाचणी घेण्यात आली.

एमएफएने पारंपरिक एमएचए प्रमाणेच स्केलिंग क्षमता दर्शविली.
एमएफए-केआरची कार्यक्षमता थोडी कमी असली तरी, त्याची स्केलिंग ट्रेंड एमएचए प्रमाणेच आहे.
एमएफएने 87.5% मेमरी बचत केली, तर एमएफए-केआरने 6.25% पर्यंत मेमरीचा वापर कमी केला.

एब्लेशन स्टडीज

एब्लेशन स्टडीजने एमएफए आणि एमएफए-केआरची प्रभावीता सिद्ध केली.

एमएफए आणि एमएफए-केआरचे फायदे विविध पोझिशनल एन्कोडिंग पद्धतींमध्ये देखील दिसून आले.

निष्कर्ष

एमएफए एक साधे डिझाइन आहे, जे एलएलएम अनुमानातील मेमरीची समस्या कमी करते. हे तंत्रज्ञान ट्रान्सफॉर्मर इकोसिस्टममध्ये सहजपणे समाकलित होते आणि एलएलएमच्या ऍप्लिकेशन्सला गती देते.