मोठे मॉडेल अधिक चांगले बनवणे: सीईओला वाटत नाही की स्केलिंग नियम भिंतीवर आदळत आहे

अँथ्रोपिकचे सीईओ डारियो अमोदेई यांचे मत

डारियो अमोदेई, अँथ्रोपिकचे सीईओ, यांचा विश्वास आहे की एआय मॉडेल्ससाठी स्केलिंग नियम अजून त्यांच्या मर्यादेपर्यंत पोहोचलेले नाहीत. डेटाच्या कमतरतेबद्दल चिंता असूनही, ते सूचित करतात की सिंथेटिक डेटा आणि तर्क मॉडेल डेटाच्या अडचणींवर मात करू शकतात.

मॉडेल सुधारणा

एआय मॉडेलच्या क्षमतेत लक्षणीय सुधारणा झाली आहे. उदाहरणार्थ, SWE-बेंचसारख्या बेंचमार्कमध्ये मॉडेलची कामगिरी 10 महिन्यांत 3-4% वरून 50% पर्यंत वाढली आहे आणि भविष्यात आणखी सुधारणा अपेक्षित आहेत.

पोस्ट-ट्रेनिंगचे महत्त्व

भविष्यात पोस्ट-ट्रेनिंगचा खर्च प्री-ट्रेनिंगपेक्षा जास्त असण्याची शक्यता आहे. मानवी पद्धतींनी मॉडेलची गुणवत्ता सुधारणे शक्य नाही, त्यामुळे अधिक चांगल्या पर्यवेक्षण पद्धती आवश्यक आहेत.

मॉडेलमधील फरक

मॉडेलची वैशिष्ट्ये आणि फरक नेहमीच बेंचमार्कमध्ये पकडले जात नाहीत. सभ्यता, स्पष्टता, प्रतिसाद आणि सक्रियता यांसारख्या घटकांचाही मॉडेलच्या कामगिरीवर परिणाम होतो.

आरएलएचएफची भूमिका

मानवी प्रतिक्रिया आधारित मजबुतीकरण शिक्षण (RLHF) मॉडेलला अधिक हुशार बनवण्याऐवजी, मानवांमध्ये आणि मॉडेलमध्ये संवाद साधण्यास मदत करते.

वापरकर्त्यांची धारणा

वापरकर्त्यांना मॉडेल "अधिक मंद" वाटणे चुकीचे नाही. हे मॉडेलची गुंतागुंत आणि त्यांच्या कामगिरीवर परिणाम करणाऱ्या अनेक घटकांमुळे असू शकते.

मॉडेलची रचना

मॉडेल मानवांना सहज समजण्यासाठी नव्हे, तर कार्य करण्यासाठी आणि पूर्ण करण्यासाठी तयार केले जातात.

प्रत्यक्ष अनुभव

केवळ संशोधन पेपर वाचण्याऐवजी, मॉडेलशी थेट संवाद साधणे महत्त्वाचे आहे.

घटनात्मक एआय

हा दृष्टिकोन मॉडेल सुधारण्यासाठी, आरएलएचएफवरील अवलंबित्व कमी करण्यासाठी आणि प्रत्येक आरएलएचएफ डेटा पॉईंटचा वापर वाढवण्यासाठी एक साधन आहे.

पार्श्वभूमी आणि संदर्भ

डारियो अमोदेई यांचा अनुभव

अमोदेई 10 वर्षांपासून एआय क्षेत्रात आहेत. त्यांनी स्पीच रेकग्निशन सिस्टम्सपासून सुरुवात केली. त्यांनी पाहिले की मॉडेलचा आकार, डेटा आणि प्रशिक्षणाचा वेळ वाढवल्याने कार्यक्षमता सुधारते.

स्केलिंग नियमाची पुष्टी

2014 ते 2017 दरम्यान, मॉडेलचा आकार वाढवून जटिल आकलन कार्ये साध्य करता येतात, हे सिद्ध झाले.

स्केलिंग घटक

स्केलिंगमध्ये नेटवर्कचा आकार, प्रशिक्षणाचा वेळ आणि डेटा यांचा समावेश असतो. हे तिन्ही घटक प्रमाणात वाढवणे आवश्यक आहे.

भाषेच्या पलीकडे स्केलिंग

स्केलिंग नियम प्रतिमा, व्हिडिओ आणि गणितासारख्या इतर पद्धतींनाही लागू होतो. हे पोस्ट-ट्रेनिंग आणि नवीन मॉडेलसाठी देखील लागू आहे.

स्केलिंग नियम समजून घेणे

ही संकल्पना भौतिकशास्त्रातील "1/f ध्वनी" आणि "1/x वितरण" यांच्याशी संबंधित आहे, जिथे नैसर्गिक प्रक्रियांमध्ये विविध स्तर असतात आणि मोठे मॉडेल अधिक जटिल नमुने कॅप्चर करतात.

स्केलिंग मर्यादा

अमोदेई यांचा विश्वास आहे की स्केलिंग मानवी पातळीवरील बुद्धिमत्तेपर्यंत पोहोचू शकते. काही क्षेत्रांमध्ये मानवी क्षमतेच्या जवळ मर्यादा असू शकतात, तर काहींमध्ये सुधारणेसाठी अधिक वाव आहे.

डेटा मर्यादा

डेटाची कमतरता एक संभाव्य मर्यादा आहे, परंतु सिंथेटिक डेटा आणि तर्क मॉडेल मदत करू शकतात.

संगणकीय मर्यादा

सध्याची संगणकीय क्षमता अब्जावधींमध्ये आहे, जी पुढील वर्षी दहा अब्जांपर्यंत आणि 2027 पर्यंत शेकडो अब्जांपर्यंत पोहोचण्याची अपेक्षा आहे.

मॉडेल विकास आणि वैशिष्ट्ये

क्लाउड 3 मालिका

अँथ्रोपिकने क्लाउड 3 मॉडेलची मालिका जारी केली आहे, ज्यात विविध आकार आणि क्षमता आहेत: ओपस (सर्वात शक्तिशाली), सॉनेट (मध्य-श्रेणी) आणि हाइकू (जलद आणि किफायतशीर).

मॉडेलचे नामकरण

या मॉडेलची नावे कवितेतून प्रेरित आहेत, ज्यात हाइकू सर्वात लहान आणि ओपस सर्वात मोठा आहे.

मॉडेलचा विकास

प्रत्येक नवीन मॉडेल पिढीचा उद्देश कार्यक्षमता आणि खर्चात संतुलन सुधारणे आहे.

मॉडेल प्रशिक्षण प्रक्रिया

या प्रक्रियेत प्री-ट्रेनिंग (लांब आणि संगणकीयदृष्ट्या गहन), पोस्ट-ट्रेनिंग (आरएलएचएफ आणि इतर आरएल पद्धती) आणि सुरक्षा चाचणी यांचा समावेश आहे.

आरएलएचएफ डेटाचा पुनर्वापर

जुन्या मॉडेलमधील प्राधान्य डेटाचा उपयोग नवीन मॉडेलला प्रशिक्षित करण्यासाठी केला जाऊ शकतो.

घटनात्मक एआय

ही पद्धत मॉडेल प्रशिक्षणासाठी मार्गदर्शक तत्त्वांचा एक संच वापरते, ज्यामुळे मॉडेल स्वतःला प्रशिक्षित करू शकतात.

मॉडेलची वैशिष्ट्ये

मॉडेलमध्ये काही खास वैशिष्ट्ये असतात, जी नेहमी बेंचमार्कमध्ये पकडली जात नाहीत, जसे की सभ्यता आणि प्रतिसाद.

कोडिंग आणि आयडीई

सॉनेट 3.5 ची कोडिंग क्षमता

या मॉडेलने कोडिंगमध्ये लक्षणीय सुधारणा दर्शविली आहे, ज्यामुळे अभियंत्यांचा पूर्वी तासनतास लागणारा वेळ वाचला आहे.

SWE-बेंच कामगिरी

मॉडेलची SWE-बेंच बेंचमार्कमधील यशोगाथा 10 महिन्यांत 3% वरून 50% पर्यंत वाढली आहे.

प्रोग्रामिंगवर एआयचा परिणाम

एआय विकासामुळे प्रोग्रामिंगमध्ये झपाट्याने बदल होण्याची अपेक्षा आहे.

प्रोग्रामिंगमध्ये एआयची भूमिका

एआय कोड लिहू शकते, चालवू शकते आणि विश्लेषण करू शकते, ज्यामुळे जलद प्रगतीसाठी एक बंद-लूप प्रणाली तयार होते.

प्रोग्रामिंगचे भविष्य

2026 किंवा 2027 पर्यंत एआय बहुतेक नियमित कोडिंग कार्ये हाताळण्याची अपेक्षा आहे, ज्यामुळे मानव उच्च-स्तरीय प्रणाली डिझाइन आणि आर्किटेक्चरवर लक्ष केंद्रित करू शकतील.

भविष्यातील आयडीई

आयडीईमध्ये सुधारणेची खूप क्षमता आहे, परंतु अँथ्रोपिक स्वतःचे आयडीई विकसित करण्याची योजना आखत नाही. ते इतरांना साधने तयार करण्यासाठी एपीआय प्रदान करण्यास प्राधान्य देतात.

संगणकाचा वापर आणि सुरक्षा

संगणक वापर कार्यक्षमता

हे वैशिष्ट्य मॉडेलला स्क्रीनशॉटचे विश्लेषण करण्यास आणि क्लिक करून किंवा की दाबून क्रिया करण्यास अनुमती देते.

सामान्यीकरण

स्क्रीनशॉट वापरण्याची क्षमता सामान्यीकरणाचे एक चांगले उदाहरण आहे, जिथे एक शक्तिशाली प्री-ट्रेन केलेले मॉडेल नवीन कार्यांमध्ये सहजपणे जुळवून घेऊ शकते.

एपीआय प्रकाशन

सुरक्षेच्या कारणांमुळे संगणक वापर एपीआय म्हणून सुरुवातीला जारी केला जातो.

सुरक्षा उपाय

या शक्तिशाली मॉडेलचा सुरक्षितपणे वापर करणे आणि गैरवापर टाळणे महत्त्वाचे आहे.

जबाबदार स्केलिंग धोरण (RSP)

या धोरणाचा उपयोग संभाव्य धोक्यांसाठी मॉडेलची चाचणी करण्यासाठी केला जातो.

एआय सुरक्षा स्तर (ASL)

मॉडेल त्यांच्या क्षमता आणि संभाव्य धोक्यांवर आधारित वेगवेगळ्या ASL स्तरांमध्ये विभागलेले आहेत.

सँडबॉक्सिंग

मॉडेलला वास्तविक जगाशी संवाद साधण्यापासून रोखण्यासाठी प्रशिक्षणादरम्यान सँडबॉक्सिंगचा उपयोग केला जातो.

यंत्रणा स्पष्टता

उच्च ASL स्तरांवर मॉडेल समजून घेण्यासाठी आणि नियंत्रित करण्यासाठी हे आवश्यक आहे.

आरएलएचएफ आणि मॉडेलचे वर्तन

आरएलएचएफचा उद्देश

आरएलएचएफ मॉडेलला अधिक हुशार बनवण्याऐवजी, मानवाशी अधिक चांगल्या प्रकारे संवाद साधण्यास मदत करते.

अनहोबलिंग

आरएलएचएफ मॉडेलमधील काही मर्यादा दूर करू शकते, पण सर्व नाही.

पोस्ट-ट्रेनिंग खर्च

भविष्यात पोस्ट-ट्रेनिंगचा खर्च प्री-ट्रेनिंगपेक्षा जास्त होण्याची अपेक्षा आहे.

स्केलेबल पर्यवेक्षण

मॉडेलची गुणवत्ता सुधारण्यासाठी मानवी पद्धती पुरेसे नाहीत, त्यामुळे अधिक चांगल्या पर्यवेक्षण पद्धती आवश्यक आहेत.

मॉडेलची "मूर्खता"

वापरकर्त्यांना मॉडेल "अधिक मंद" वाटणे हे मॉडेलची गुंतागुंत आणि प्रॉम्प्ट्सबद्दलची संवेदनशीलता यामुळे असू शकते.

मॉडेलची वैशिष्ट्ये

मॉडेलच्या वर्तनावर नियंत्रण ठेवणे कठीण आहे आणि वेगवेगळ्या वैशिष्ट्यांमध्ये तडजोड करावी लागते.

वापरकर्त्याचा अभिप्राय

मॉडेलचे वर्तन समजून घेण्यासाठी वापरकर्त्याचा अभिप्राय महत्त्वाचा आहे, परंतु तो गोळा करणे आणि त्याचे विश्लेषण करणे कठीण आहे.

स्पर्धा आणि भविष्यातील दिशा

शर्यतीत प्रथम

अँथ्रोपिकचा उद्देश इतर कंपन्यांसाठी एक उदाहरण बनणे आणि जबाबदार एआय विकासास प्रोत्साहन देणे आहे.

यंत्रणा स्पष्टता

अँथ्रोपिकचे हे संशोधनाचे एक महत्त्वाचे क्षेत्र आहे, ज्याचा उद्देश मॉडेल अंतर्गत कसे कार्य करतात हे समजून घेणे आहे.

मॉडेलची रचना

मॉडेल मानवांना सहज समजण्यासाठी नव्हे, तर कार्य करण्यासाठी आणि पूर्ण करण्यासाठी तयार केले जातात.

एआय प्रतिभा

मोठी टीम असण्यापेक्षा, उच्च प्रतिभेची घनता यशासाठी महत्त्वाची आहे.

खुले विचार

एआय संशोधक आणि अभियंत्यांसाठी एक खुले विचार आणि प्रयोग करण्याची तयारी महत्त्वाची आहे.

प्रत्यक्ष अनुभव

मॉडेल समजून घेण्यासाठी त्यांच्याशी थेट संवाद साधणे महत्त्वाचे आहे.

घटनात्मक एआय

ही पद्धत मॉडेलला तत्त्वांच्या आधारावर स्वतःला प्रशिक्षित करण्यास अनुमती देते.

मॉडेल स्पेसिफिकेशन

ही संकल्पना, घटनात्मक एआय प्रमाणेच, मॉडेलची उद्दिष्ट्ये आणि वर्तन परिभाषित करते.

विनाशकारी गैरवापर

सायबर सुरक्षा आणि जैविक शस्त्रांसारख्या क्षेत्रांमध्ये मॉडेलचा गैरवापर करणे ही एक मोठी चिंता आहे.

स्वायत्ततेचे धोके

मॉडेल अधिक स्वायत्त होत असताना, ते मानवी हेतूशी जुळलेले आहेत याची खात्री करणे महत्त्वाचे आहे.

ASL स्तर

हे स्तर मॉडेलच्या क्षमता आणि संभाव्य धोक्यांवर आधारित आहेत.

एजीआयची टाइमलाइन

एजीआय (कृत्रिम सामान्य बुद्धिमत्ता) प्राप्त करण्याची वेळ निश्चित नाही, परंतु ती पुढील काही वर्षांत शक्य आहे.

जीवशास्त्र आणि औषध क्षेत्रात एजीआय

एजीआयमध्ये संशोधन आणि विकासामध्ये तेजी आणून या क्षेत्रांमध्ये क्रांती घडवण्याची क्षमता आहे.

संशोधक सहाय्यक म्हणून एआय

सुरुवातीच्या टप्प्यात, एआय एक संशोधक सहाय्यक म्हणून काम करेल, जे वैज्ञानिकांना प्रयोग आणि डेटा विश्लेषणात मदत करेल.

उत्पादकतेवर एआयचा परिणाम

एआयमध्ये उत्पादकता वाढवण्याची क्षमता असली तरी, नवीन तंत्रज्ञानाचा अवलंब आणि संस्थात्मक रचनांशी संबंधित आव्हाने देखील आहेत.