बड़े मॉडलों को बेहतर बनाना: सीईओ को नहीं लगता कि स्केलिंग कानून एक दीवार से टकरा रहा है

कृत्रिम बुद्धिमत्ता में स्केलिंग कानून का भविष्य

एंथ्रोपिक के सीईओ डारियो अमोदेई के अनुसार, कृत्रिम बुद्धिमत्ता (एआई) मॉडल के स्केलिंग कानून अभी अपनी सीमा तक नहीं पहुंचे हैं। उनका मानना है कि सिंथेटिक डेटा और रीजनिंग मॉडल जैसी नई तकनीकें डेटा की कमी को दूर करने में मदद कर सकती हैं। यह विचार उन चिंताओं के विपरीत है जो कुछ लोगों को हैं कि एआई मॉडल के प्रदर्शन में सुधार के लिए डेटा की कमी एक बाधा बन सकती है।

मॉडल क्षमताओं में सुधार

पिछले दस महीनों में, एआई मॉडल की क्षमताओं में उल्लेखनीय सुधार हुआ है। एसडब्ल्यूई-बेंच जैसे बेंचमार्क पर प्रदर्शन 3-4% से बढ़कर 50% हो गया है, और आगे भी सुधार की उम्मीद है। यह दर्शाता है कि एआई मॉडल अभी भी तेजी से विकसित हो रहे हैं और उनमें और अधिक क्षमता है।

पोस्ट-ट्रेनिंग का महत्व

भविष्य में, पोस्ट-ट्रेनिंग की लागत प्री-ट्रेनिंग से अधिक होने की संभावना है। मॉडल की गुणवत्ता में सुधार के लिए केवल मानव-आधारित विधियाँ स्केलेबल नहीं हैं, इसलिए अधिक स्केलेबल पर्यवेक्षण विधियों की आवश्यकता है। यह बताता है कि एआई मॉडल को बेहतर बनाने के लिए मानव प्रतिक्रिया और स्वचालित विधियों के संयोजन की आवश्यकता होगी।

मॉडल में अंतर

मॉडल की विशेषताओं और अंतरों को हमेशा बेंचमार्क द्वारा नहीं दर्शाया जाता है। विनम्रता, प्रत्यक्षता, प्रतिक्रियाशीलता और सक्रियता जैसे कारक भी महत्वपूर्ण हैं। यह दिखाता है कि एआई मॉडल की क्षमताओं को मापने के लिए केवल प्रदर्शन परीक्षण पर्याप्त नहीं हैं, बल्कि हमें उनके व्यवहार और व्यक्तित्व को भी समझना होगा।

आरएलएचएफ की भूमिका

मानव प्रतिक्रिया से सुदृढीकरण सीखना (आरएलएचएफ) मॉडल को स्वाभाविक रूप से अधिक बुद्धिमान बनाने के बजाय मनुष्यों और मॉडल के बीच संचार अंतराल को पाटने में मदद करता है। आरएलएचएफ मॉडल को मानव भाषा और बातचीत को बेहतर ढंग से समझने में मदद करता है।

उपयोगकर्ता की धारणाएँ

उपयोगकर्ताओं को मॉडल के "मूर्ख" होने की भावनाएँ जरूरी नहीं कि गलत हों। वे मॉडलों की जटिलता और उनके प्रदर्शन को प्रभावित करने वाले कई कारकों के कारण हो सकते हैं। यह दर्शाता है कि एआई मॉडल को समझना और उनका उपयोग करना आसान बनाने के लिए अभी भी बहुत काम करना बाकी है।

मॉडल डिजाइन

मॉडल को कार्यों को करने और पूरा करने के लिए डिज़ाइन किया गया है, न कि मनुष्यों द्वारा आसानी से समझे जाने के लिए। यह एक महत्वपूर्ण अंतर है, क्योंकि इसका मतलब है कि हमें एआई मॉडल को समझने के लिए एक अलग दृष्टिकोण अपनाने की आवश्यकता है।

व्यावहारिक अनुभव

अनुसंधान पत्रों को पढ़ने के बजाय मॉडलों के साथ सीधा संपर्क उन्हें समझने के लिए महत्वपूर्ण है। यह व्यावहारिक अनुभव एआई मॉडल की जटिलताओं को समझने का एक महत्वपूर्ण तरीका है।

संवैधानिक एआई

संवैधानिक एआई मॉडलों को बेहतर बनाने, आरएलएचएफ पर निर्भरता कम करने और प्रत्येक आरएलएचएफ डेटा बिंदु के उपयोग को बढ़ाने का एक उपकरण है। यह एक नई तकनीक है जो एआई मॉडल को खुद को प्रशिक्षित करने में मदद कर सकती है।

डारियो अमोदेई का अनुभव

डारियो अमोदेई लगभग 10 वर्षों से एआई के क्षेत्र में हैं, और उन्होंने वाक् पहचान प्रणाली के साथ शुरुआत की थी। उन्होंने देखा कि मॉडल के आकार, डेटा और प्रशिक्षण के समय को बढ़ाने से प्रदर्शन में सुधार हुआ। उनके अनुभव से यह पता चलता है कि एआई मॉडल को बेहतर बनाने के लिए बड़े पैमाने पर प्रशिक्षण और डेटा की आवश्यकता होती है।

स्केलिंग कानून की पुष्टि

2014 से 2017 तक का बदलाव महत्वपूर्ण था, जिसने पुष्टि की कि मॉडल के आकार को बढ़ाकर जटिल संज्ञानात्मक कार्यों को प्राप्त किया जा सकता है। यह बताता है कि स्केलिंग कानून एआई मॉडल के विकास में एक महत्वपूर्ण भूमिका निभाता है।

स्केलिंग के घटक

स्केलिंग में नेटवर्क आकार, प्रशिक्षण समय और डेटा का रैखिक विस्तार शामिल है। तीनों घटकों को आनुपातिक रूप से बढ़ाया जाना चाहिए। यह दर्शाता है कि एआई मॉडल को बेहतर बनाने के लिए केवल एक कारक को बढ़ाने से काम नहीं चलेगा।

भाषा से परे स्केलिंग

स्केलिंग कानून छवियों, वीडियो और गणित जैसी अन्य पद्धतियों पर भी लागू होता है। यह पोस्ट-ट्रेनिंग और नए डिज़ाइनिंग मॉडल पर भी लागू होता है। यह दर्शाता है कि स्केलिंग कानून एआई के विभिन्न क्षेत्रों में एक सामान्य सिद्धांत है।

स्केलिंग कानून को समझना

यह अवधारणा भौतिकी में "1/f शोर" और "1/x वितरण" से संबंधित है, जहां प्राकृतिक प्रक्रियाओं के अलग-अलग पैमाने होते हैं, और बड़े मॉडल अधिक जटिल पैटर्न को कैप्चर करते हैं। यह बताता है कि एआई मॉडल को बेहतर ढंग से समझने के लिए भौतिकी के सिद्धांतों का उपयोग किया जा सकता है।

स्केलिंग सीमाएं

जबकि सटीक सीमाएं अज्ञात हैं, अमोदेई का मानना है कि स्केलिंग मानव-स्तरीय बुद्धि तक पहुंच सकती है। कुछ क्षेत्रों में मानव क्षमताओं के करीब सीमाएँ हो सकती हैं, जबकि अन्य में सुधार की बहुत अधिक गुंजाइश है। यह दर्शाता है कि एआई मॉडल के विकास में अभी भी बहुत सी अनिश्चितता है।

डेटा सीमाएँ

डेटा की कमी एक संभावित सीमा है, लेकिन सिंथेटिक डेटा और रीजनिंग मॉडल मदद कर सकते हैं। यह बताता है कि एआई मॉडल को प्रशिक्षित करने के लिए नए तरीकों की खोज करना महत्वपूर्ण है।

कम्प्यूटेशनल सीमाएँ

वर्तमान कम्प्यूटेशनल पैमाने अरबों में हैं, अगले साल दसियों अरबों तक पहुंचने की उम्मीद है, और 2027 तक संभावित रूप से सैकड़ों अरबों तक। यह दर्शाता है कि एआई मॉडल को प्रशिक्षित करने के लिए अधिक शक्तिशाली कंप्यूटरों की आवश्यकता होगी।

क्लाउड 3 श्रृंखला

एंथ्रोपिक ने विभिन्न आकारों और क्षमताओं वाले क्लाउड 3 मॉडल जारी किए: ओपस (सबसे शक्तिशाली), सॉनेट (मध्य-श्रेणी), और हाइकु (तेज और लागत प्रभावी)। यह दर्शाता है कि एआई मॉडल की एक विस्तृत श्रृंखला उपलब्ध है जो विभिन्न आवश्यकताओं को पूरा करती है।

मॉडल नामकरण

नाम कविता से प्रेरित हैं, हाइकु सबसे छोटा और ओपस सबसे व्यापक है। यह दर्शाता है कि एआई मॉडल को विकसित करने में रचनात्मकता भी एक महत्वपूर्ण भूमिका निभाती है।

मॉडल विकास

प्रत्येक नई मॉडल पीढ़ी का उद्देश्य प्रदर्शन और लागत के बीच संतुलन में सुधार करना है। यह दर्शाता है कि एआई मॉडल को विकसित करने में दक्षता एक महत्वपूर्ण लक्ष्य है।

मॉडल प्रशिक्षण प्रक्रिया

प्रक्रिया में प्री-ट्रेनिंग (लंबी और कम्प्यूटेशनल रूप से गहन), पोस्ट-ट्रेनिंग (आरएलएचएफ और अन्य आरएल विधियां), और सुरक्षा परीक्षण शामिल हैं। यह दर्शाता है कि एआई मॉडल को प्रशिक्षित करना एक जटिल प्रक्रिया है जिसमें कई चरण शामिल हैं।

आरएलएचएफ डेटा का पुन: उपयोग

पुराने मॉडलों से वरीयता डेटा का उपयोग नए मॉडल को प्रशिक्षित करने के लिए किया जा सकता है। यह दर्शाता है कि एआई मॉडल को प्रशिक्षित करने के लिए डेटा को पुन: उपयोग किया जा सकता है।

संवैधानिक एआई

यह विधि मॉडल प्रशिक्षण का मार्गदर्शन करने के लिए सिद्धांतों के एक सेट का उपयोग करती है, जिससे मॉडल स्वयं को प्रशिक्षित कर सकते हैं। यह एक नई तकनीक है जो एआई मॉडल को बेहतर बनाने में मदद कर सकती है।

मॉडल व्यक्तित्व

मॉडल में अद्वितीय विशेषताएं हैं जिन्हें हमेशा बेंचमार्क द्वारा नहीं दर्शाया जाता है, जैसे कि विनम्रता और प्रतिक्रियाशीलता। यह दर्शाता है कि एआई मॉडल की क्षमताओं को मापने के लिए केवल प्रदर्शन परीक्षण पर्याप्त नहीं हैं, बल्कि हमें उनके व्यवहार और व्यक्तित्व को भी समझना होगा।

सॉनेट 3.5 की कोडिंग क्षमताएं

इस मॉडल ने कोडिंग में महत्वपूर्ण सुधार दिखाया है, जिससे इंजीनियरों को उन कार्यों पर समय बचाने में मदद मिलती है जो पहले घंटों लगते थे। यह दर्शाता है कि एआई मॉडल कोडिंग कार्यों में मदद कर सकते हैं।

एसडब्ल्यूई-बेंच प्रदर्शन

एसडब्ल्यूई-बेंच बेंचमार्क पर मॉडल की सफलता दर 10 महीनों में 3% से बढ़कर 50% हो गई है। यह दर्शाता है कि एआई मॉडल कोडिंग में तेजी से सुधार कर रहे हैं।

प्रोग्रामिंग पर एआई का प्रभाव

प्रोग्रामिंग में तेजी से बदलाव आने की उम्मीद है क्योंकि इसका एआई विकास से गहरा संबंध है। यह दर्शाता है कि एआई प्रोग्रामिंग के भविष्य को बदल देगा।

प्रोग्रामिंग में एआई की भूमिका

एआई कोड लिख सकता है, चला सकता है और उसका विश्लेषण कर सकता है, जिससे तेजी से प्रगति के लिए एक बंद-लूप प्रणाली बन सकती है। यह दर्शाता है कि एआई प्रोग्रामिंग को स्वचालित करने में मदद कर सकता है।

प्रोग्रामिंग का भविष्य

2026 या 2027 तक, एआई से अधिकांश नियमित कोडिंग कार्यों को संभालने की उम्मीद है, जिससे मनुष्य उच्च-स्तरीय सिस्टम डिजाइन और आर्किटेक्चर पर ध्यान केंद्रित कर सकेंगे। यह दर्शाता है कि एआई प्रोग्रामर की भूमिका को बदल देगा।

भविष्य के आईडीई

आईडीई में सुधार की महत्वपूर्ण क्षमता है, लेकिन एंथ्रोपिक अपनी आईडीई विकसित करने की योजना नहीं बना रहा है। वे दूसरों को उपकरण बनाने के लिए एपीआई प्रदान करना पसंद करते हैं। यह दर्शाता है कि एंथ्रोपिक एआई मॉडल के विकास पर ध्यान केंद्रित कर रहा है, न कि आईडीई के विकास पर।

कंप्यूटर उपयोग और सुरक्षा

यह सुविधा मॉडलों को स्क्रीनशॉट का विश्लेषण करने और क्लिक करके या कुंजियाँ दबाकर क्रियाएं करने की अनुमति देती है। यह दर्शाता है कि एआई मॉडल कंप्यूटर के साथ बातचीत कर सकते हैं।

सामान्यीकरण

स्क्रीनशॉट का उपयोग करने की क्षमता सामान्यीकरण का एक अच्छा उदाहरण है, जहां एक शक्तिशाली प्री-ट्रेन्ड मॉडल आसानी से नए कार्यों के अनुकूल हो सकता है। यह दर्शाता है कि एआई मॉडल विभिन्न कार्यों को करने में सक्षम हैं।

एपीआई रिलीज

सुरक्षा चिंताओं के कारण कंप्यूटर उपयोग को शुरू में एपीआई के रूप में जारी किया जाता है। यह दर्शाता है कि एआई मॉडल को सुरक्षित रूप से उपयोग करना महत्वपूर्ण है।

सुरक्षा उपाय

इन शक्तिशाली मॉडलों का सुरक्षित रूप से उपयोग करना और दुरुपयोग को रोकना महत्वपूर्ण है। यह दर्शाता है कि एआई मॉडल के विकास में सुरक्षा एक महत्वपूर्ण पहलू है।

जिम्मेदार स्केलिंग नीति (आरएसपी)

इस नीति का उपयोग संभावित जोखिमों के लिए मॉडलों का परीक्षण करने के लिए किया जाता है। यह दर्शाता है कि एआई मॉडल को विकसित करने के लिए एक जिम्मेदार दृष्टिकोण अपनाया जा रहा है।

एआई सुरक्षा स्तर (एएसएल)

मॉडल को उनकी क्षमताओं और संभावित जोखिमों के आधार पर विभिन्न एएसएल स्तरों में वर्गीकृत किया गया है। यह दर्शाता है कि एआई मॉडल को सुरक्षा के आधार पर वर्गीकृत किया जा रहा है।

सैंडबॉक्सिंग

सैंडबॉक्सिंग का उपयोग प्रशिक्षण के दौरान मॉडलों को वास्तविक दुनिया के साथ बातचीत करने से रोकने के लिए किया जाता है। यह दर्शाता है कि एआई मॉडल को सुरक्षित रूप से प्रशिक्षित करने के लिए सुरक्षा उपाय किए जा रहे हैं।

तंत्र व्याख्यात्मकता

यह विशेष रूप से उच्च एएसएल स्तरों पर मॉडलों को समझने और नियंत्रित करने के लिए महत्वपूर्ण है। यह दर्शाता है कि एआई मॉडल को समझने और नियंत्रित करने के लिए अनुसंधान किया जा रहा है।

आरएलएचएफ और मॉडल व्यवहार

आरएलएचएफ का उद्देश्य मॉडल को स्वाभाविक रूप से अधिक बुद्धिमान बनाने के बजाय मनुष्यों के साथ बेहतर संवाद करने में मदद करना है। यह दर्शाता है कि आरएलएचएफ एआई मॉडल को मानव भाषा को बेहतर ढंग से समझने में मदद करता है।

अनहोबलिंग

आरएलएचएफ मॉडल को "अनहोबल" कर सकता है, कुछ सीमाओं को दूर कर सकता है लेकिन सभी को नहीं। यह दर्शाता है कि आरएलएचएफ एआई मॉडल की कुछ सीमाओं को दूर करने में मदद कर सकता है।

पोस्ट-ट्रेनिंग लागत

भविष्य में पोस्ट-ट्रेनिंग लागत प्री-ट्रेनिंग लागत से अधिक होने की उम्मीद है। यह दर्शाता है कि एआई मॉडल को प्रशिक्षित करने के लिए पोस्ट-ट्रेनिंग एक महंगा प्रक्रिया है।

स्केलेबल पर्यवेक्षण

मॉडल की गुणवत्ता में सुधार के लिए केवल मानव-आधारित विधियाँ स्केलेबल नहीं हैं, इसलिए अधिक स्केलेबल पर्यवेक्षण विधियों की आवश्यकता है। यह दर्शाता है कि एआई मॉडल को प्रशिक्षित करने के लिए नए तरीकों की खोज करना महत्वपूर्ण है।

मॉडल "मूर्खता"

मॉडलों के "मूर्ख" होने की उपयोगकर्ता की धारणाएं मॉडलों की जटिलता और संकेतों के प्रति उनकी संवेदनशीलता के कारण हो सकती हैं। यह दर्शाता है कि एआई मॉडल को समझना और उनका उपयोग करना आसान बनाने के लिए अभी भी बहुत काम करना बाकी है।

मॉडल व्यक्तित्व

मॉडल व्यवहार को नियंत्रित करना मुश्किल है, और विभिन्न विशेषताओं के बीच ट्रेड-ऑफ हैं। यह दर्शाता है कि एआई मॉडल के व्यवहार को नियंत्रित करना एक चुनौती है।

उपयोगकर्ता प्रतिक्रिया

मॉडल व्यवहार को समझने के लिए उपयोगकर्ता प्रतिक्रिया महत्वपूर्ण है, लेकिन इसे एकत्र करना और व्याख्या करना मुश्किल है। यह दर्शाता है कि एआई मॉडल को बेहतर ढंग से समझने के लिए उपयोगकर्ता प्रतिक्रिया महत्वपूर्ण है।

प्रतिस्पर्धा और भविष्य की दिशाएँ

एंथ्रोपिक का उद्देश्य अन्य कंपनियों के लिए एक उदाहरण स्थापित करना है, जो जिम्मेदार एआई विकास को बढ़ावा देता है। यह दर्शाता है कि एंथ्रोपिक एआई मॉडल को विकसित करने के लिए एक जिम्मेदार दृष्टिकोण अपना रहा है।

तंत्र व्याख्यात्मकता

यह एंथ्रोपिक के लिए अनुसंधान का एक प्रमुख क्षेत्र है, जिसका उद्देश्य मॉडलों को आंतरिक रूप से समझने का है। यह दर्शाता है कि एंथ्रोपिक एआई मॉडल को समझने के लिए अनुसंधान कर रहा है।

मॉडल डिजाइन

मॉडल को कार्यों को करने और पूरा करने के लिए डिज़ाइन किया गया है, न कि मनुष्यों द्वारा आसानी से समझे जाने के लिए। यह दर्शाता है कि एआई मॉडल को समझने के लिए एक अलग दृष्टिकोण अपनाने की आवश्यकता है।

एआई प्रतिभा

केवल एक बड़ी टीम के बजाय, शीर्ष प्रतिभा का उच्च घनत्व सफलता के लिए महत्वपूर्ण है। यह दर्शाता है कि एआई मॉडल को विकसित करने के लिए शीर्ष प्रतिभा की आवश्यकता है।

खुला मानसिकता

एक खुला मानसिकता और प्रयोग करने की इच्छा एआई शोधकर्ताओं और इंजीनियरों के लिए महत्वपूर्ण गुण हैं। यह दर्शाता है कि एआई मॉडल को विकसित करने के लिए एक खुला दृष्टिकोण अपनाना महत्वपूर्ण है।

व्यावहारिक अनुभव

मॉडलों के साथ सीधा संपर्क उन्हें समझने के लिए महत्वपूर्ण है। यह दर्शाता है कि एआई मॉडल की जटिलताओं को समझने के लिए व्यावहारिक अनुभव महत्वपूर्ण है।

संवैधानिक एआई

यह विधि मॉडलों को सिद्धांतों के एक सेट के आधार पर खुद को प्रशिक्षित करने की अनुमति देती है। यह एक नई तकनीक है जो एआई मॉडल को बेहतर बनाने में मदद कर सकती है।

मॉडल विशिष्टता

यह अवधारणा, संवैधानिक एआई के समान, मॉडल के लक्ष्यों और व्यवहारों को परिभाषित करती है। यह दर्शाता है कि एआई मॉडल को विकसित करने के लिए एक स्पष्ट उद्देश्य की आवश्यकता है।

विनाशकारी दुरुपयोग

यह एक प्रमुख चिंता है, जिसमें साइबर सुरक्षा और जैविक हथियार जैसे क्षेत्रों में मॉडलों का दुरुपयोग शामिल है। यह दर्शाता है कि एआई मॉडल के दुरुपयोग को रोकना महत्वपूर्ण है।

स्वायत्तता जोखिम

जैसे-जैसे मॉडल अधिक स्वायत्तता प्राप्त करते हैं, यह सुनिश्चित करना महत्वपूर्ण है कि वे मानव इरादों के अनुरूप हों। यह दर्शाता है कि एआई मॉडल को विकसित करने के लिए सुरक्षा एक महत्वपूर्ण पहलू है।

एएसएल स्तर

ये स्तर उनकी क्षमताओं और संभावित जोखिमों के आधार पर मॉडलों को वर्गीकृत करते हैं। यह दर्शाता है कि एआई मॉडल को सुरक्षा के आधार पर वर्गीकृत किया जा रहा है।

एजीआई समयरेखा

एजीआई प्राप्त करने की समयरेखा अनिश्चित है, लेकिन यह अगले कुछ वर्षों में हो सकती है। यह दर्शाता है कि एजीआई के विकास में अभी भी बहुत सी अनिश्चितता है।

जीव विज्ञान और चिकित्सा में एजीआई

एजीआई में अनुसंधान और विकास में तेजी लाकर इन क्षेत्रों में क्रांति लाने की क्षमता है। यह दर्शाता है कि एजीआई का उपयोग विभिन्न क्षेत्रों में किया जा सकता है।

अनुसंधान सहायक के रूप में एआई

प्रारंभिक चरणों में, एआई एक अनुसंधान सहायक के रूप में कार्य करेगा, जो वैज्ञानिकों को प्रयोगों और डेटा विश्लेषण में मदद करेगा। यह दर्शाता है कि एआई का उपयोग वैज्ञानिकों की सहायता के लिए किया जा सकता है।

उत्पादकता पर एआई का प्रभाव

जबकि एआई में उत्पादकता में महत्वपूर्ण वृद्धि करने की क्षमता है, संगठनात्मक संरचनाओं और नई तकनीकों को अपनाने में धीमी गति से संबंधित चुनौतियाँ भी हैं। यह दर्शाता है कि एआई को अपनाने में चुनौतियाँ हैं।