مستقبل النماذج اللغوية الكبيرة: الرئيس التنفيذي لـ Anthropic يؤكد استمرار قانون التوسع

استمرار قانون التوسع في نماذج الذكاء الاصطناعي

على الرغم من المخاوف بشأن قيود البيانات، يعتقد داريو أمودي، الرئيس التنفيذي لشركة Anthropic، أن قوانين التوسع لنماذج الذكاء الاصطناعي لم تصل بعد إلى حدودها. يقترح أن البيانات الاصطناعية ونماذج الاستدلال يمكن أن تساعد في التغلب على قيود البيانات.

• تجاوز قيود البيانات: يمكن للبيانات الاصطناعية ونماذج الاستدلال أن تلعب دورًا حاسمًا في التغلب على قيود البيانات التي قد تعيق تطوير نماذج الذكاء الاصطناعي الكبيرة.
• تحسينات مستمرة: شهدت قدرات نماذج الذكاء الاصطناعي تحسينات كبيرة، حيث ارتفع الأداء في معايير مثل SWE-bench من 3-4٪ إلى 50٪ في غضون عشرة أشهر. ومن المتوقع إجراء المزيد من التحسينات.
• أهمية التدريب اللاحق: من المرجح أن تتجاوز تكلفة التدريب اللاحق التكلفة الأولية في المستقبل. الطرق التي تعتمد على البشر فقط لتحسين جودة النموذج غير قابلة للتوسع، مما يستلزم طرق إشراف أكثر قابلية للتوسع.
• اختلافات النماذج: لا يتم دائمًا التقاط خصائص النماذج واختلافاتها بواسطة المعايير. تلعب عوامل مثل الأدب، والصراحة، والاستجابة، والاستباقية أيضًا دورًا.
• دور التعلم المعزز من التغذية الراجعة البشرية (RLHF): يعمل التعلم المعزز من التغذية الراجعة البشرية على سد فجوة التواصل بين البشر والنماذج، بدلاً من جعل النماذج أكثر ذكاءً بطبيعتها.
• تصورات المستخدمين: قد لا تكون مشاعر المستخدمين بأن النماذج أصبحت "أغبى" خاطئة بالضرورة. قد تنبع من تعقيد النماذج والعديد من العوامل التي تؤثر على أدائها.
• تصميم النموذج: تم تصميم النماذج لتعمل وتكمل المهام، وليس لتكون مفهومة بسهولة من قبل البشر.
• التجربة العملية: يعد التفاعل المباشر مع النماذج أمرًا بالغ الأهمية لفهمها، بدلاً من مجرد قراءة الأوراق البحثية.
• الذكاء الاصطناعي الدستوري: هذا النهج هو أداة لتحسين النماذج، وتقليل الاعتماد على التعلم المعزز من التغذية الراجعة البشرية، وتعزيز استخدام كل نقطة بيانات للتعلم المعزز من التغذية الراجعة البشرية.

الخلفية والسياق

• خبرة داريو أمودي: يعمل أمودي في مجال الذكاء الاصطناعي منذ حوالي 10 سنوات، بدءًا بأنظمة التعرف على الكلام. لقد لاحظ أن زيادة حجم النموذج والبيانات ووقت التدريب أدى إلى تحسين الأداء.
• تأكيد قانون التوسع: كان التحول من 2014 إلى 2017 محوريًا، مما يؤكد أن توسيع حجم النموذج يمكن أن يحقق مهام معرفية معقدة.
• مكونات التوسع: يتضمن التوسع التوسع الخطي لحجم الشبكة ووقت التدريب والبيانات. يجب زيادة المكونات الثلاثة بشكل متناسب.
• التوسع خارج اللغة: ينطبق قانون التوسع على طرق أخرى مثل الصور ومقاطع الفيديو والرياضيات. كما أنه ينطبق على التدريب اللاحق ونماذج إعادة التصميم الجديدة.
• فهم قانون التوسع: يرتبط المفهوم بـ "ضوضاء 1/f" و "توزيع 1/x" في الفيزياء، حيث يكون للعمليات الطبيعية مقاييس مختلفة، وتلتقط النماذج الأكبر أنماطًا أكثر تعقيدًا.
• حدود التوسع: في حين أن الحدود الدقيقة غير معروفة، يعتقد أمودي أن التوسع يمكن أن يصل إلى مستوى الذكاء البشري. قد يكون لبعض المجالات حدود قريبة من القدرات البشرية، بينما يوجد لدى مجالات أخرى مجال أكبر بكثير للتحسين.
• قيود البيانات: يعد ندرة البيانات حدًا محتملاً، ولكن البيانات الاصطناعية والنماذج المنطقية يمكن أن تساعد.
• القيود الحسابية: المقاييس الحسابية الحالية بمليارات، ومن المتوقع أن تصل إلى عشرات المليارات في العام المقبل، وربما مئات المليارات بحلول عام 2027.

تطوير النماذج وخصائصها

• سلسلة Claude 3: أصدرت شركة Anthropic نماذج Claude 3 بأحجام وقدرات مختلفة: Opus (الأقوى)، و Sonnet (متوسط المدى)، و Haiku (سريع وفعال من حيث التكلفة).
• تسمية النماذج: الأسماء مستوحاة من الشعر، حيث يكون Haiku هو الأقصر و Opus هو الأكثر شمولاً.
• تطور النماذج: يهدف كل جيل جديد من النماذج إلى تحسين التوازن بين الأداء والتكلفة.
• عملية تدريب النموذج: تتضمن العملية التدريب المسبق (طويل ومكثف حسابيًا)، والتدريب اللاحق (RLHF وطرق RL الأخرى)، واختبار السلامة.
• إعادة استخدام بيانات RLHF: يمكن استخدام بيانات التفضيل من النماذج القديمة لتدريب النماذج الجديدة.
• الذكاء الاصطناعي الدستوري: تستخدم هذه الطريقة مجموعة من المبادئ لتوجيه تدريب النموذج، مما يسمح للنماذج بتدريب نفسها.
• شخصيات النموذج: تتمتع النماذج بخصائص فريدة لا يتم دائمًا التقاطها بواسطة المعايير، مثل الأدب والاستجابة.

البرمجة وبيئات التطوير المتكاملة

• قدرات Sonnet 3.5 في البرمجة: أظهر هذا النموذج تحسينات كبيرة في البرمجة، مما يوفر على المهندسين الوقت في المهام التي كانت تستغرق ساعات سابقًا.
• أداء SWE-bench: ارتفع معدل نجاح النموذج في معيار SWE-bench من 3٪ إلى 50٪ في 10 أشهر.
• تأثير الذكاء الاصطناعي على البرمجة: من المتوقع أن تتغير البرمجة بسرعة بسبب علاقتها الوثيقة بتطوير الذكاء الاصطناعي.
• دور الذكاء الاصطناعي في البرمجة: يمكن للذكاء الاصطناعي كتابة التعليمات البرمجية وتشغيلها وتحليلها، مما يخلق نظامًا مغلقًا لتحقيق تقدم سريع.
• مستقبل البرمجة: من المتوقع أن يتعامل الذكاء الاصطناعي مع معظم مهام البرمجة الروتينية بحلول عام 2026 أو 2027، مما يسمح للبشر بالتركيز على تصميم الأنظمة والهندسة المعمارية عالية المستوى.
• بيئات التطوير المتكاملة المستقبلية: تتمتع بيئات التطوير المتكاملة بإمكانات كبيرة للتحسين، ولكن لا تخطط شركة Anthropic لتطوير بيئة التطوير المتكاملة الخاصة بها. إنهم يفضلون توفير واجهات برمجة التطبيقات للآخرين لبناء الأدوات.

استخدام الكمبيوتر والسلامة

• وظيفة استخدام الكمبيوتر: تتيح هذه الميزة للنماذج تحليل لقطات الشاشة وتنفيذ الإجراءات بالنقر أو الضغط على المفاتيح.
• التعميم: القدرة على استخدام لقطات الشاشة هي مثال جيد على التعميم، حيث يمكن لنموذج قوي مدرب مسبقًا أن يتكيف بسهولة مع المهام الجديدة.
• إصدار واجهة برمجة التطبيقات: يتم إصدار استخدام الكمبيوتر في البداية كواجهة برمجة تطبيقات بسبب مخاوف تتعلق بالسلامة.
• تدابير السلامة: من المهم استخدام هذه النماذج القوية بأمان ومنع إساءة استخدامها.
• سياسة التوسع المسؤولة (RSP): تُستخدم هذه السياسة لاختبار النماذج بحثًا عن المخاطر المحتملة.
• مستويات سلامة الذكاء الاصطناعي (ASL): يتم تصنيف النماذج إلى مستويات ASL مختلفة بناءً على قدراتها والمخاطر المحتملة.
• الحماية: يتم استخدام الحماية أثناء التدريب لمنع النماذج من التفاعل مع العالم الحقيقي.
• تفسير الآلية: هذا أمر بالغ الأهمية لفهم النماذج والتحكم فيها، خاصة في مستويات ASL الأعلى.

التعلم المعزز من التغذية الراجعة البشرية (RLHF) وسلوك النموذج

• الغرض من RLHF: يساعد RLHF النماذج على التواصل بشكل أفضل مع البشر، بدلاً من جعلها أكثر ذكاءً بطبيعتها.
• إلغاء القيود: يمكن أن يؤدي RLHF إلى "إلغاء تقييد" النماذج، وإزالة بعض القيود ولكن ليس كلها.
• تكاليف التدريب اللاحق: من المتوقع أن تتجاوز تكاليف التدريب اللاحق تكاليف التدريب المسبق في المستقبل.
• الإشراف القابل للتطوير: الطرق التي تعتمد على البشر فقط لتحسين جودة النموذج غير قابلة للتطوير، مما يستلزم طرق إشراف أكثر قابلية للتطوير.
• "غباء" النموذج: قد تكون تصورات المستخدمين بأن النماذج أصبحت "أغبى" بسبب تعقيد النماذج وحساسيتها للمطالبات.
• شخصيات النموذج: يصعب التحكم في سلوك النموذج، وهناك مفاضلات بين الخصائص المختلفة.
• ملاحظات المستخدمين: تعد ملاحظات المستخدمين أمرًا بالغ الأهمية لفهم سلوك النموذج، ولكن من الصعب جمعها وتفسيرها.

المنافسة والاتجاهات المستقبلية

• السباق نحو القمة: تهدف شركة Anthropic إلى تقديم مثال للشركات الأخرى لتتبعه، وتعزيز تطوير الذكاء الاصطناعي المسؤول.
• تفسير الآلية: هذا مجال رئيسي للبحث في Anthropic، يهدف إلى فهم كيفية عمل النماذج داخليًا.
• تصميم النموذج: تم تصميم النماذج لتعمل وتكمل المهام، وليس لتكون مفهومة بسهولة من قبل البشر.
• موهبة الذكاء الاصطناعي: تعتبر الكثافة العالية للمواهب المتميزة أمرًا بالغ الأهمية للنجاح، وليس مجرد فريق كبير.
• العقلية المنفتحة: تعتبر العقلية المنفتحة والرغبة في التجربة من الصفات المهمة لباحثي ومهندسي الذكاء الاصطناعي.
• التجربة العملية: يعد التفاعل المباشر مع النماذج أمرًا بالغ الأهمية لفهمها.
• الذكاء الاصطناعي الدستوري: تتيح هذه الطريقة للنماذج تدريب نفسها بناءً على مجموعة من المبادئ.
• مواصفات النموذج: يحدد هذا المفهوم، المشابه للذكاء الاصطناعي الدستوري، أهداف وسلوكيات النموذج.
• إساءة الاستخدام الكارثية: هذا مصدر قلق كبير، ويتضمن إساءة استخدام النماذج في مجالات مثل الأمن السيبراني والأسلحة البيولوجية.
• مخاطر الاستقلالية: مع اكتساب النماذج مزيدًا من الاستقلالية، من المهم التأكد من توافقها مع النوايا البشرية.
• مستويات ASL: تصنف هذه المستويات النماذج بناءً على قدراتها والمخاطر المحتملة.
• الجدول الزمني للذكاء الاصطناعي العام (AGI): الجدول الزمني لتحقيق الذكاء الاصطناعي العام غير مؤكد، ولكنه قد يكون في السنوات القليلة القادمة.
• الذكاء الاصطناعي العام في علم الأحياء والطب: يتمتع الذكاء الاصطناعي العام بالقدرة على إحداث ثورة في هذه المجالات من خلال تسريع البحث والتطوير.
• الذكاء الاصطناعي كمساعد بحثي: في المراحل المبكرة، سيعمل الذكاء الاصطناعي كمساعد بحثي، ومساعدة العلماء في التجارب وتحليل البيانات.
• تأثير الذكاء الاصطناعي على الإنتاجية: في حين أن الذكاء الاصطناعي لديه القدرة على زيادة الإنتاجية بشكل كبير، إلا أن هناك أيضًا تحديات تتعلق بالهياكل التنظيمية والتبني البطيء للتقنيات الجديدة.