एन्थ्रोपिक एजेंट डेवलपमेंट: सरलता जटिलता को मात देती है

एजेंटों की परिभाषा

बुद्धिमान एजेंटों की अवधारणा विविध है। कुछ उन्हें "सर्व-उद्देश्यीय सहायक" के रूप में देखते हैं जो स्वतंत्र रूप से सोच सकते हैं, स्वायत्त निर्णय ले सकते हैं और जटिल कार्यों को पूरा करने के लिए उपकरणों का उपयोग कर सकते हैं। अन्य उन्हें पूर्वनिर्धारित कार्य प्रक्रियाओं को व्यवस्थित रूप से निष्पादित करने वाले "अनुशासित कर्मचारी" मानते हैं। एंथ्रोपिक इन दोनों को बुद्धिमान सिस्टम के रूप में संदर्भित करता है और वर्कफ़्लो और एजेंटों के बीच अंतर करता है:

• वर्कफ़्लो: एक प्रणाली जो बड़े भाषा मॉडल (एलएलएम) और उपकरणों को पूर्वनिर्धारित कोड पथों के माध्यम से व्यवस्थित करती है।
• एजेंट: एक प्रणाली जो एलएलएम द्वारा गतिशील रूप से निर्देशित होती है, अपने स्वयं के प्रक्रियाओं और उपकरण उपयोग को निर्देशित करती है, और कार्यों को पूरा करने के तरीके को स्वायत्त रूप से नियंत्रित कर सकती है।

एजेंट का उपयोग कब करें

एंथ्रोपिक का सुझाव है कि AI एप्लिकेशन विकसित करते समय "जब यह सरल हो तो इसे जटिल न बनाएं" सिद्धांत का पालन किया जाना चाहिए। सभी परिदृश्यों में जटिल बुद्धिमान प्रणालियों के निर्माण की आवश्यकता नहीं है। बुद्धिमान प्रणालियाँ शक्तिशाली हैं, लेकिन वे धीमी प्रतिक्रिया और बढ़ी हुई लागत का कारण बन सकती हैं। डेवलपर्स को कार्यक्षमता और दक्षता के बीच संतुलन बनाने की आवश्यकता है।

• वर्कफ़्लो: स्पष्ट कार्यों के लिए उपयुक्त जिन्हें पूर्वानुमेयता और संगति की आवश्यकता होती है।
• एजेंट: अधिक लचीलेपन और मॉडल-संचालित निर्णय लेने वाले बड़े पैमाने के परिदृश्यों के लिए अधिक उपयुक्त।

कई अनुप्रयोगों के लिए, अच्छे संकेतों का उपयोग करना, पुनर्प्राप्ति और संदर्भ उदाहरणों के साथ, सीधे बड़े मॉडल से पूछना अक्सर पर्याप्त होता है।

ढांचे का उपयोग

वर्तमान में, बाजार में कई ऐसे ढांचे हैं जो डेवलपर्स को AI एजेंटों के निर्माण में मदद करते हैं, जैसे:

• LangChain का LangGraph
• अमेज़न बेडरॉक का AI एजेंट फ्रेमवर्क
• ड्रैग-एंड-ड्रॉप बड़े मॉडल वर्कफ़्लो बिल्डिंग टूल रिवेट
• जटिल वर्कफ़्लो के निर्माण और परीक्षण के लिए GUI टूल वेल्लम

ये ढांचे विकास प्रक्रिया को सरल बनाते हैं, लेकिन वे कोड के अमूर्त स्तर को भी बढ़ाते हैं, अंतर्निहित तर्क को अपारदर्शी बनाते हैं, डिबगिंग में कठिनाई बढ़ाते हैं और सरल परिदृश्यों में अत्यधिक जटिल समाधानों की शुरुआत कर सकते हैं।

एंथ्रोपिक डेवलपर्स को सीधे बड़े मॉडल के API का उपयोग करके शुरू करने की सलाह देता है। कई पैटर्न केवल कुछ पंक्तियों के कोड के साथ प्राप्त किए जा सकते हैं। यदि आप एक फ्रेमवर्क का उपयोग करना चुनते हैं, तो इसके अंतर्निहित सिद्धांतों को समझना सुनिश्चित करें। फ्रेमवर्क के अंतर्निहित तंत्र की अपर्याप्त समझ विकास की समस्याओं का एक प्रमुख कारण है।

एंथ्रोपिक की कुकबुक विशिष्ट उदाहरण प्रदान करती है।

निर्माण ब्लॉक, वर्कफ़्लो और एजेंट

बुनियादी निर्माण ब्लॉक: संवर्धित LLM

बुद्धिमान प्रणालियों का मूल निर्माण ब्लॉक एक संवर्धित LLM है जिसमें पुनर्प्राप्ति और मेमोरी जैसी क्षमताएं हैं। एंथ्रोपिक मॉडल सक्रिय रूप से इन क्षमताओं का उपयोग कर सकते हैं, जैसे खोज क्वेरी उत्पन्न करना, उपकरण चुनना और यह तय करना कि कौन सी जानकारी रखनी है।

कार्यक्षमता का विस्तार करते समय, इस पर ध्यान केंद्रित किया जाना चाहिए:

• विशिष्ट अनुप्रयोग परिदृश्यों के आधार पर कार्यक्षमता को अनुकूलित करना
• यह सुनिश्चित करना कि मॉडल को सरल और अच्छी तरह से प्रलेखित इंटरफेस प्रदान किए जाएं

एंथ्रोपिक द्वारा हाल ही में जारी किया गया मॉडल संदर्भ प्रोटोकॉल AI मॉडल के तीसरे पक्ष के टूल इकोसिस्टम के साथ एकीकरण को सरल बनाता है।

वर्कफ़्लो: प्रॉम्प्ट चेन

प्रॉम्प्ट चेन जटिल कार्यों को कई चरणों में विभाजित करती है, प्रत्येक चरण में एक बार बड़े मॉडल को कॉल किया जाता है, और बाद के चरण पिछले चरण के परिणामों पर आधारित होते हैं। डेवलपर्स यह सुनिश्चित करने के लिए मध्यवर्ती लिंक में चेकपॉइंट जोड़ सकते हैं कि प्रक्रिया अपेक्षा के अनुरूप आगे बढ़े।

प्रॉम्प्ट चेन उन परिदृश्यों के लिए उपयुक्त हैं जहां जटिल कार्यों को स्पष्ट रूप से निश्चित उप-कार्यों की एक श्रृंखला में विभाजित किया गया है। प्रत्येक मॉडल एक सरल कार्य को पूरा करने पर केंद्रित है। हालांकि समग्र प्रतिक्रिया समय थोड़ा लंबा हो सकता है, लेकिन सटीकता में काफी सुधार होगा।

विशिष्ट अनुप्रयोग मामले:

• पहले एक मार्केटिंग कॉपी जनरेट करें, फिर इसे अन्य भाषाओं में अनुवाद करें।
• पहले एक दस्तावेज़ की रूपरेखा लिखें और अनुपालन जांच करें, फिर रूपरेखा के आधार पर एक पूर्ण दस्तावेज़ लिखें।

वर्कफ़्लो: इंटेलिजेंट ट्राइएज

ट्राइएज तकनीक इनपुट कार्यों के प्रकारों का न्याय करती है और उन्हें संबंधित मॉड्यूल को सौंपती है। यह डिज़ाइन प्रत्येक मॉड्यूल को विशिष्ट कार्यों के लिए अनुकूलित करने की अनुमति देता है, जिससे विभिन्न प्रकार के कार्यों के बीच हस्तक्षेप से बचा जा सकता है। इंटेलिजेंट ट्राइएज उन परिदृश्यों के लिए उपयुक्त है जहां कार्यों में स्पष्ट वर्गीकरण विशेषताएं हैं। AI सिस्टम बड़े भाषा मॉडल या पारंपरिक एल्गोरिदम के माध्यम से कार्य प्रकारों को सटीक रूप से पहचान और ट्राइएज कर सकते हैं।

विशिष्ट अनुप्रयोग मामले:

• ग्राहक सेवा प्रणालियों में, सामान्य पूछताछ, धनवापसी अनुरोध और तकनीकी सहायता जैसे मुद्दों को संबंधित प्रक्रियाओं में निर्देशित करें।
• छोटे मॉडलों को सरल सामान्य समस्याओं और मजबूत मॉडलों को कठिन दुर्लभ समस्याओं को असाइन करें, लागत और गति को अनुकूलित करने के लिए।

वर्कफ़्लो: समानांतर

बड़े भाषा मॉडल एक साथ कार्यों को संसाधित कर सकते हैं और प्रोग्रामेटिक रूप से आउटपुट को एकत्रित कर सकते हैं। समानांतर वर्कफ़्लो की विशेषताएं:

• कार्य विभाजन: कार्यों को समानांतर में चलने योग्य उप-कार्यों में विभाजित करें और अंत में परिणामों को एकीकृत करें।
• वोटिंग तंत्र: एक ही कार्य को कई बार चलाएं, सर्वश्रेष्ठ परिणाम चुनें या कई उत्तरों को संश्लेषित करें।

जब उप-कार्यों को गति बढ़ाने के लिए समानांतर में निष्पादित किया जा सकता है, या उच्च आत्मविश्वास के परिणाम प्राप्त करने के लिए कई कोणों से प्रयास करने की आवश्यकता होती है, तो समानांतर विधियां बहुत प्रभावी होती हैं। जटिल कार्यों के लिए, प्रत्येक कॉल को एक विशिष्ट पहलू को संसाधित करने पर ध्यान केंद्रित करने से बेहतर परिणाम प्राप्त होंगे।

विशिष्ट अनुप्रयोग मामले:

• कार्य विभाजन:
  • सुरक्षा सुरक्षा: एक मॉडल उपयोगकर्ता अनुरोधों को संसाधित करता है, और दूसरा सामग्री की समीक्षा करता है।
  • प्रदर्शन मूल्यांकन: विभिन्न मॉडल सिस्टम प्रदर्शन संकेतकों का मूल्यांकन करते हैं।
• वोटिंग तंत्र:
  • कोड सुरक्षा जांच: कई डिटेक्शन मॉडल मिलकर कोड कमजोरियों को ढूंढते हैं।
  • सामग्री समीक्षा: कई मॉडल विभिन्न कोणों से सामग्री सुरक्षा का आकलन करते हैं।

वर्कफ़्लो: लीडर - एग्जीक्यूटर

एक केंद्रीय बड़ा भाषा मॉडल गतिशील रूप से कार्यों को तोड़ता है, उन्हें निष्पादक मॉडल को सौंपता है, और परिणामों को सारांशित करता है।

यह वर्कफ़्लो उन जटिल कार्यों के लिए उपयुक्त है जिनके लिए विशिष्ट चरणों को पहले से निर्धारित करना मुश्किल है। कार्य विभाजन निश्चित नहीं है, बल्कि AI प्रणाली द्वारा परिस्थितियों के आधार पर गतिशील रूप से निर्धारित किया जाता है।

विशिष्ट अनुप्रयोग मामले:

• प्रोग्रामिंग अनुप्रयोगों के लिए कई फाइलों में जटिल संशोधन करने की आवश्यकता है।
• कई स्रोतों से प्रासंगिक जानकारी एकत्र करने और विश्लेषण करने की आवश्यकता वाले खोज कार्य।

वर्कफ़्लो: मूल्यांकन - अनुकूलन

एक LLM कॉल प्रतिक्रिया उत्पन्न करता है, और दूसरा मूल्यांकन और प्रतिक्रिया प्रदान करता है, एक चक्र बनाता है।

जब स्पष्ट मूल्यांकन मानदंड होते हैं, और पुनरावृति शोधन के माध्यम से महत्वपूर्ण मूल्य लाया जा सकता है, तो यह वर्कफ़्लो विशेष रूप से प्रभावी होता है। LLM प्रतिक्रिया प्रदान करने में सक्षम है, जो मानव लेखकों द्वारा बार-बार किए जाने वाले संशोधन के समान है।

विशिष्ट अनुप्रयोग मामले:

• साहित्यिक अनुवाद: मूल्यांकन मॉडल उन भाषाई अंतरों को ढूंढता है जिन्हें अनुवाद में छोड़ा गया था और संशोधन सुझाव प्रदान करता है।
• जटिल खोज: मूल्यांकन मॉडल यह निर्धारित करता है कि आगे गहन खोज जारी रखने की आवश्यकता है या नहीं।

एजेंट

LLM के जटिल इनपुट को समझने, तर्क करने, योजना बनाने, उपकरण का उपयोग करने और त्रुटि पुनर्प्राप्ति जैसी प्रमुख क्षमताओं के परिपक्व होने के साथ ही एजेंट उभरे हैं।

एजेंट का कार्य मानव उपयोगकर्ताओं के आदेशों या इंटरैक्टिव चर्चाओं से शुरू होता है। एक बार कार्य स्पष्ट हो जाने के बाद, एजेंट स्वतंत्र रूप से योजना बनाते हैं और संचालित करते हैं, और उन्हें मानव से अधिक जानकारी मांगने या निर्णय लेने के लिए मानव की आवश्यकता हो सकती है।

निष्पादन प्रक्रिया में प्रत्येक चरण के लिए, पर्यावरण से "वास्तविक स्थिति" प्राप्त करना महत्वपूर्ण है। एजेंट चेकपॉइंट पर या रुकावटों का सामना करने पर मानव प्रतिक्रिया प्राप्त करने के लिए रुक सकते हैं। कार्य आमतौर पर पूरा होने पर समाप्त हो जाता है, लेकिन इसमें आमतौर पर समाप्ति की शर्तें भी शामिल होती हैं।

एजेंट जटिल कार्यों को संभालने में सक्षम हैं, लेकिन उनका कार्यान्वयन आमतौर पर सरल होता है, आमतौर पर पर्यावरण प्रतिक्रिया के आधार पर उपकरणों का उपयोग करने वाले बड़े भाषा मॉडल के चक्र में। इसलिए, उपकरण सेट को डिजाइन करना और उनकी प्रलेखन स्पष्ट और अच्छी तरह से विचार किया जाना महत्वपूर्ण है।

एजेंट खुले अंत वाली समस्याओं के लिए उपयुक्त हैं, जिनके लिए आवश्यक चरणों की संख्या का अनुमान लगाना मुश्किल है और निश्चित पथों को हार्ड-कोड नहीं किया जा सकता है। एजेंटों की स्वायत्तता उन्हें विश्वसनीय वातावरण में कार्यों को बढ़ाने के लिए एक आदर्श विकल्प बनाती है। एजेंटों की स्वायत्तता का अर्थ है उच्च लागत, और त्रुटि संचय का जोखिम हो सकता है। यह अनुशंसा की जाती है कि सैंडबॉक्स वातावरण में व्यापक परीक्षण किया जाए और उचित सुरक्षा उपाय किए जाएं।

एजेंटों के अनुप्रयोग उदाहरण:

• एक कोड एजेंट, जिसका उपयोग SWE-बेंच कार्यों को हल करने के लिए किया जाता है जिसमें कार्य विवरण के आधार पर कई फ़ाइलों को संपादित करना शामिल है।
• एंथ्रोपिक का "कंप्यूटर उपयोग" फ़ंक्शन, जहां क्लाउड कार्यों को पूरा करने के लिए कंप्यूटर का उपयोग करता है।

संयोजन और अनुकूलन

ये निर्माण ब्लॉक निर्धारित नहीं हैं, और डेवलपर्स उपयोग के मामलों के आधार पर उन्हें आकार और संयोजित कर सकते हैं। सफलता की कुंजी प्रदर्शन को मापना और इसे दोहराना है। जटिलता को तभी जोड़ा जाना चाहिए जब सरल समाधान संभव न हों। LLM क्षेत्र में सफलता सबसे जटिल प्रणाली बनाने में नहीं है, बल्कि उस प्रणाली को बनाने में है जो जरूरतों के लिए उपयुक्त हो। सरल संकेतों से शुरू करें, उन्हें व्यापक मूल्यांकन के साथ अनुकूलित करें, और केवल तभी बहु-चरणीय एजेंट सिस्टम जोड़ें जब सरल समाधान संभव न हों।

एजेंटों को तैनात करते समय, निम्नलिखित सिद्धांतों का पालन किया जाना चाहिए:

• एजेंट डिज़ाइन को सरल रखें।
• एजेंट की पारदर्शिता सुनिश्चित करना प्राथमिकता दें, प्रत्येक नियोजित चरण को स्पष्ट रूप से दिखाएं।
• व्यापक उपकरण प्रलेखन और परीक्षण के माध्यम से, एक सावधानीपूर्वक तैयार किया गया एजेंट-कंप्यूटर इंटरफ़ेस (ACI) बनाएं।