قفزة نموذج O3 من OpenAI في الاستدلال واختراق ARC AGI

مقدمة

شهد عام 2024 تطورات هامة في مجال الذكاء الاصطناعي، حيث برز نموذج O3 من OpenAI كإنجاز غير متوقع في قدرات الاستدلال. هذا النموذج، الذي يمثل قفزة نوعية مقارنة بنموذج O1 السابق، يثير تساؤلات حول مستقبل الذكاء الاصطناعي وقدرته على حل المشكلات المعقدة. في هذا المقال، سنستعرض أهم النقاط المتعلقة بنموذج O3، بما في ذلك إنجازاته في تحدي ARC AGI، وتقنيات التدريب المستخدمة، وتأثيره المحتمل على مستقبل الذكاء الاصطناعي.

أبرز النقاط

• إجماع متعدد التوليد: يعتبر الإجماع الناتج عن توليدات متعددة أمرًا بالغ الأهمية لتحقيق أفضل أداء لنموذج O1. هذا المبدأ ينطبق على جميع مراحل الاستدلال، حيث لا يمكن الاعتماد على مخرجات تدفق واحد فقط للحصول على أفضل النتائج.
• لا تغيير في بنية الاستدلال: لا يوجد دليل يشير إلى أن نموذج O3 قد أجرى تغييرًا في بنية الاستدلال عن طريق إضافة البحث الشجري. جميع الادعاءات في هذا الصدد هي مجرد تكهنات. القاعدة الأساسية في قوانين توسيع نطاق الاستدلال هي أن أخذ عينات أكثر من نفس التدفق الواحد للتوليد يمكن أن يحسن الأداء.
• عودة التعلم المعزز: يشهد هذا العام عودة قوية للتعلم المعزز (RL) والأساليب ذات الصلة كجزء أساسي من الذكاء الاصطناعي.
• إعلان نموذج O3: كشفت OpenAI النقاب عن نموذج O3، الذي يمثل تطورًا ملحوظًا في تدريب نماذج اللغة باستخدام O1 للاستدلال. ستتوفر هذه النماذج للجمهور ابتداءً من O3-mini، والمتوقع في نهاية يناير 2025.
• عام التوحيد: يعتبر عام 2024 عامًا لتوحيد الذكاء الاصطناعي، حيث وصل العديد من المشاركين إلى مستوى مماثل لـ GPT-4 وبدأوا في استكشاف كيفية تطبيق هذه النماذج عمليًا.
• مفاجأة O3: يعتبر ظهور O3 مفاجئًا أكثر من ظهور O1، مما يشير إلى تقدم سريع في نماذج الاستدلال. كان وصول O1 متوقعًا بعد فترة إعداد طويلة، بينما جاء إطلاق O3 سريعًا وفعالًا، مما يثير التفاؤل بشأن تطورات عام 2025.
• تطبيقات واسعة النطاق: على الرغم من التشكيك في مدى ملاءمة نماذج O1 في مجالات غير الرياضيات والبرمجة والفيزياء والعلوم الأساسية، إلا أن هذه النماذج ستستخدم على نطاق واسع في نظام أبحاث الذكاء الاصطناعي، مما يسرع وتيرة التقدم.
• إمكانيات غير مستكشفة: لا يزال هناك الكثير من الوقت لاستكشاف استخدامات هذه النماذج، ولا توجد طرق تدريب معززة متاحة لتوسيع نطاق نماذج الاستدلال لتشمل مجالات أخرى.
• تجاوز حدود التدريب المسبق: يشير نموذج O3 إلى أن الصناعة تتجاوز حدود التدريب المسبق القائم على نصوص الإنترنت فقط.
• إنجازات في تقييم الاستدلال: حقق O3 اختراقات كبيرة في تقييم الاستدلال، بما في ذلك:
  • كونه أول نموذج يتجاوز نسبة إنجاز 85% في جائزة ARC AGI.
  • قفزة نوعية في أداء اختبار Frontier Math من 2% إلى 25%.
  • تحسينات كبيرة في جميع معايير البرمجة الرائدة.
  • كل ذلك في غضون ثلاثة أشهر فقط من الإعلان عن الإصدار الأول للنموذج.
• تأثيرات مستقبلية: ستظهر هذه التغييرات قريبًا من خلال تسريع تقدم أبحاث الذكاء الاصطناعي. ومع انخفاض تكاليف الاستدلال، سيؤدي ذلك إلى تغيير العديد من أدوار هندسة البرمجيات كما نعرفها اليوم.
• أبحاث السلامة والمواءمة: نشرت OpenAI مقالًا بحثيًا حول المواءمة الحذرة، يوضح كيف يمكن لنموذج O1 تعزيز أبحاث السلامة والمواءمة.
• إمكانيات خارج المجالات القابلة للتحقق: يوفر ذلك دليلًا إيجابيًا مبدئيًا على سؤال مفتوح أوسع: هل يمكن لقدرات الاستدلال المحسنة أن توفر قيمة خارج المجالات القابلة للتحقق؟ سيتم إعادة النظر في هذا السؤال عدة مرات في عام 2025.

نظرة عامة على O3

تم الإعلان عن نموذج O3 من OpenAI في اليوم الأخير من "حدث إطلاق OpenAI لمدة 12 يومًا". وقد رافق هذا الإعلان تحقيق النموذج لإنجازات مذهلة في مجالات متعددة، متجاوزًا النماذج الأكثر تقدمًا السابقة.

التفاصيل المخفية في الرسوم البيانية

في مقالات المدونات والمناقشات المتعلقة بنماذج O1، غالبًا ما يتم تجاهل تفصيل هام وهو معنى التظليل في الرسوم البيانية. في أول مدونة حول O1، أشير إلى هذا في شرح الرسم البياني الأول: تشير الأعمدة الصلبة إلى دقة pass@1، بينما تشير المناطق المظللة إلى الأداء باستخدام تصويت الأغلبية (الإجماع) لـ 64 عينة.

أهمية الإجماع المتعدد

يشير هذا التفصيل إلى أن الإجماع الناتج عن توليدات متعددة أمر بالغ الأهمية لتحقيق أفضل أداء لنموذج O1. هذا المبدأ ينطبق على جميع مراحل الاستدلال، حيث لا يمكن الاعتماد على تدفق واحد فقط للمخرجات للحصول على أفضل النتائج. ومع ذلك، هذا لا يعني بالضرورة استخدام البحث الشجري أو نوع من التمثيل المتوسط. يعتمد الوضع الاحترافي لنموذج O1 ونتائج جائزة ARC التي سنناقشها، على هذا التوليد المتوازي لتحقيق أعلى الدرجات المطلقة.

تقييم اختبار Frontier Math

يمكن الرجوع إلى تعليقات اثنين من الحائزين على ميدالية فيلدز للتعرف على التقييم النوعي لاختبار Frontier Math. تركز تعليقاتهم على الجزء الأصعب من الاختبار، لكنها تعكس بشكل جيد أهدافه النوعية:

• "هذه المسائل صعبة للغاية... أعتقد أنها ستجعل الذكاء الاصطناعي عاجزًا لسنوات عديدة قادمة على الأقل." - تيرينس تاو، الحائز على ميدالية فيلدز لعام 2006.
• "لا تقع هذه المشكلات التي أراها ضمن مجال بحثي، ويبدو أنها خارجة تمامًا عن قدرتي على الحل... يبدو أنها أعلى مستوى من صعوبة مسائل IMO (أولمبياد الرياضيات الدولي)." - تيموثي جاورز، الحائز على ميدالية فيلدز لعام 2006.

تم إدخال هذا الاختبار في 7 نوفمبر، وأدرج كواحد من الحدود المفتوحة القليلة التي لم يتم التغلب عليها في قدرات الذكاء الاصطناعي. يضع هذا الإطلاق نموذج O3 من OpenAI باعتباره النموذج الوحيد الذي حقق درجة مكونة من رقمين، حيث قفز مباشرة إلى 25%.

الإنجازات في البرمجة

ظهرت النتيجة الرائدة الثانية في مجال البرمجة. في بث مباشر، عرضت OpenAI درجة 71.7% في SWE-Bench Verified (وهي إلى حد ما أحدث ما توصلت إليه التكنولوجيا)، بالإضافة إلى نتائج واسعة النطاق في Codeforces (موقع لمسابقات البرمجة).

إنجازات في مسابقات البرمجة

حقق O3 درجة 2727 في تصويت الإجماع عند قيمة N غير مكشوف عنها، ووصل إلى مستوى أستاذ دولي كبير، ليحتل المرتبة بين أفضل 200 مبرمج متسابق بشري في العالم. يتفوق أداء O3-mini على O1، مع انخفاض كبير في التكلفة. بالنظر إلى الاتجاهات التي لاحظناها في عام 2024، قد يصبح هذا نموذجًا أكثر تأثيرًا يستخدمه جمهور أوسع. وقد مكن ذلك من تحقيق الإنجاز النهائي في البث المباشر لـ O3، وهو الحل الفعال لتحدي ARC AGI.

التعامل مع تقييم ARC

مقدمة عن ARC

مجموعة البيانات المجردة والاستدلالية (ARC) هي طريقة لتقييم الذكاء الاصطناعي اقترحها فرانسوا شوليه في ورقته البحثية لعام 2019 بعنوان "حول مقياس الذكاء". تم تصميم تقييم ARC ليكون أقرب إلى تقييم الذكاء البشري:

• تعريف الذكاء: لقد قدمنا تعريفًا جديدًا للذكاء قائمًا على نظرية المعلومات الخوارزمية، حيث وصفنا الذكاء بأنه كفاءة اكتساب المهارات، مع التركيز على مفاهيم النطاق، وصعوبة التعميم، والمعرفة المسبقة، والخبرة.
• مبادئ تصميم المعايير: بناءً على هذا التعريف، اقترحنا مجموعة من المبادئ التوجيهية لتصميم معيار ذكاء اصطناعي عام.
• مجموعة بيانات ARC: أخيرًا، عرضنا معيارًا يتبع هذه المبادئ بدقة - مجموعة البيانات المجردة والاستدلالية (ARC)، والتي تم بناؤها بناءً على مجموعة من المعارف المسبقة المحددة، قدر الإمكان، قريبة من المعرفة المسبقة الفطرية للبشر.
• قياس الذكاء العام: نعتقد أن ARC يمكن استخدامها لقياس نوع من الذكاء السائل العام الشبيه بالبشر، وتمكين مقارنات ذكاء عام عادلة بين أنظمة الذكاء الاصطناعي والبشر.

جائزة ARC AGI

تم إطلاق جائزة ARC AGI في يونيو 2024، حيث تم تخصيص جائزة قدرها مليون دولار لأول حل يفي بمعايير محددة ويحل مجموعة من مهام ARC الخاصة. كان الحد الأدنى المطلوب لـ "حل" المهمة هو تحقيق دقة 85%. اليوم، شاركت OpenAI و ARC Prize النتائج التالية:

• ملاحظة: انظر بعناية إلى محور x الخاص بالأسعار، وسنعود إلى هذا الموضوع لاحقًا.

التقدم السريع لـ OpenAI

قبل نماذج O1، حقق أفضل نموذج لـ OpenAI، وهو GPT-4o، دقة 5% فقط. تم تلخيص التقدم السريع الذي أحرزته OpenAI في نماذج الاستدلال الجديدة بواسطة مايك كنوب، المؤسس المشارك لجائزة ARC، على النحو التالي:

• GPT-2 (2019): 0%
• GPT-3 (2020): 0%
• GPT-4 (2023): 2%
• GPT-4o (2024): 5%
• O1-preview (2024): 21%
• O1 high (2024): 32%
• O1 Pro (2024): حوالي 50%
• O3 tuned low (2024): 76%
• O3 tuned high (2024): 87%

تغيير المفاهيم

في شهر يونيو من هذا العام، كان الاعتقاد السائد هو أن حل ARC-AGI سيكون صعبًا للغاية. ومع ذلك، في غضون أشهر قليلة فقط، تم تغيير هذا التصور تمامًا. حتى أولئك الذين كانوا متفائلين بشأن Q* وطرق الاستدلال الأخرى لم يتوقعوا تحقيق هذا المستوى من النجاح.

تفاصيل إضافية

شارك شوليه المزيد من التفاصيل على الموقع الرسمي لجائزة ARC:

لقد قمنا باختبار O3 باستخدام مجموعتي بيانات ARC-AGI:

• تقييم شبه خاص: 100 مهمة خاصة لتقييم التجاوز.
• تقييم عام: 400 مهمة عامة.

بتوجيه من OpenAI، أجرينا الاختبارات على مستويين من الحوسبة، مع أحجام عينات متغيرة: 6 (الوضع الفعال) و 1024 (الوضع غير الفعال، 172 ضعفًا من قوة الحوسبة السابقة).

نتائج الاختبار

فيما يلي نتائج الاختبار:

• ملاحظة: لم يتم الكشف عن البيانات المحددة للتكلفة الحسابية العالية لـ O3، لأن التسعير وتوافر الميزات لا يزال قيد التحديد. تبلغ قوة الحوسبة حوالي 172 ضعفًا لتكوين الحوسبة المنخفضة.

مثال لمشكلة غير محلولة

على سبيل المثال، إليكم مشكلة غير محلولة:

• ملاحظة: العديد من المشكلات بديهية للغاية بالنسبة للبشر. لإدخال هذه المشكلات في النموذج، يتم ترميز الألوان كأرقام وإدخالها في شكل شبكة، كما أكد جريج كمرادت:

استمرار المنافسة

من الناحية الفنية، لم يتم استلام الجائزة بعد لأن تكلفة الحل تجاوزت الحد الأدنى ولم يتم فتح المصدر. المنافسة لا تزال مستمرة. في غضون سنوات قليلة، سيصبح هذا النوع من الذكاء مجانيًا تقريبًا. مجاني، بمعنى أن تكلفة تشغيل الاستدلال ستكون أقل من القيمة النقدية لبيانات إعلانات المستخدمين.

تفاصيل حول O3

تكشف أسعار O3 المذكورة في مدونة جائزة ARC (والتي تم تغييرها في اتصالات OpenAI إلى أسعار نسبية لـ O1) عن العديد من التفاصيل حول كيفية عمل تقنية O3.

هيكل O3 وتكلفته وطريقة التدريب

تقديرات الأسعار

تعاون فريق ARC AGI مباشرة مع OpenAI للحصول على تقديرات أسعار النموذج. من المرجح أن يختلف السعر النهائي لـ O3 عند إطلاقه رسميًا في واجهة برمجة التطبيقات (API). بناءً على أهمية قانون توسيع نطاق الاستدلال، أضاف فريق ARC-AGI شرطًا إضافيًا لتقديم الحلول للتقييم الخاص. في مدونتهم، سجل الفريق التكلفة الإجمالية والتكلفة لكل مهمة، كمؤشر بديل لـ FLOPs أو حساب مباشر لاستخدام الموارد الحسابية.

قاعدة التكلفة

يتماشى هذا مع قاعدة في إعلان جائزة ARC حول لوحة المتصدرين العامة (والتي لا تتعلق بجائزة المليون دولار):

• 10000 دولار أمريكي هي الحد الأقصى لتكلفة التشغيل التي يمكن إنفاقها لحل 500 مهمة (بما في ذلك 400 مهمة في مجموعة التقييم العامة و 100 مهمة في مجموعة تقييم شبه خاصة جديدة)، والتي تشمل تكاليف استدعاء واجهات برمجة التطبيقات التجارية.

تجاوز التكلفة

تجاوزت تكلفة O3 هذا الحد بكثير في 500 مهمة من مجموعة التقييم العامة أو شبه العامة. أظهرت جائزة ARC أن تكلفة الاستعلام عن O3 تتجاوز 1000 دولار لكل مرة. لقد وضعوا أيضًا افتراضات حول طبيعة النموذج. يهدف ما يلي إلى تهدئة التكهنات حول ما إذا كانت O3 قد استخدمت تقنيات تدريب مختلفة عن O1. على وجه التحديد، أوضح شوليه أنه كان يخمن:

تخمينات حول طريقة عمل O3

• في الوقت الحالي، يمكننا فقط تخمين كيفية عمل O3 تحديدًا. ولكن يبدو أن الآلية الأساسية لـ O3 هي إجراء بحث وتنفيذ لبرنامج اللغة الطبيعية في مساحة الرموز - أثناء الاختبار، يبحث النموذج في مساحة سلاسل الأفكار (CoTs) المحتملة، والتي تصف الخطوات المطلوبة لحل المهمة، بطريقة قد تكون مشابهة إلى حد ما للبحث الشجري مونت كارلو على غرار AlphaZero. في حالة O3، قد يتم توجيه البحث بواسطة نموذج تقييم من نوع ما.

توضيحات حول MCTS

مرة أخرى، فإن الإشارة والافتراضات المتعلقة بـ MCTS (بحث مونت كارلو الشجري) مضللة، ولكنها مفهومة لأن العديد من الأشخاص الأذكياء صدموا بقدرة O1 و O3 على تحقيق الإمكانات من خلال التمرير الأمامي لنموذج لغة واحد فقط.

التعلم المعزز

لقد أوضحت في مقال حديث كيف يمكن تحقيق ذلك من خلال التدريب المكثف للتعلم المعزز، وأوضحت لماذا تكون بعض الرسوم البيانية لـ OpenAI مضللة بشأن تكاليف الحوسبة في مرحلة الاستدلال. أكد موظفو OpenAI أيضًا أن O3 "مجرد نموذج تم تدريبه من خلال التعلم المعزز".

تحليل التكلفة

ومع ذلك، لا نزال نحلل التكاليف التي سجلها فريق ARC، جنبًا إلى جنب مع تسعير OpenAI لـ O1 (60.00 دولارًا لكل مليون رمز ناتج). وفقًا للرسم البياني لنتائج جائزة ARC، تبلغ تكلفة كل استعلام كامل لـ O3 حوالي 5000 دولار. بقسمة التكلفة الإجمالية على السعر لكل رمز، تكون النتيجة أن النموذج قد أنتج 80 مليون رمز في كل إجابة، وهو أمر غير ممكن بدون تحسينات كبيرة في نماذج السياق الطويل. وبالتالي، ظهرت التكهنات حول هياكل البحث المختلفة.

تفاصيل هامة

يكمن المفتاح في بعض التفاصيل في مدونة جائزة ARC، التي ذكرت:

• بتوجيه من OpenAI، أجرينا الاختبارات على مستويين من الحوسبة، مع أحجام عينات متغيرة: 6 (الوضع الفعال) و 1024 (الوضع غير الفعال، 172 ضعفًا من قوة الحوسبة السابقة).

توافق ذاتي

وفقًا لـ SemiAnalysis، استخدم O1 pro طريقة التوافق الذاتي أو فحص consensus@N البسيط، عن طريق اختيار الإجابة الأكثر شيوعًا من بين الاستجابات المتوازية المتعددة لنفس الاستعلام لتحسين الأداء. هنا، قد يتوافق حجم العينة N مع قيمة consensus@N، مما يشير إلى أن تكوينات التقييم لـ O3 قريبة من تكوينات O1 pro التي يمكن للعملاء استخدامها، أي 6 أضعاف قوة الحوسبة، وتكوين فائق مع 1024 ضعفًا من قوة الحوسبة لكل مشكلة.

قيود الوصول

لن يكون هذا الحجم من الاستدلال متاحًا للمستخدمين العاديين ذوي الاشتراكات المدفوعة لفترة طويلة. سيتمكن معظم المستخدمين من الوصول إلى نتيجة توليد واحد إلى consensus@10، اعتمادًا على مواصفات الإصدار "الاحترافي" من نموذج O1.

تحليل عدد الرموز

بافتراض أن السعر لا يزال 60 دولارًا لكل مليون رمز ناتج، فإن قسمة ذلك على 1024 تدفقًا يعني أن النموذج ينتج حوالي 78000 رمز في كل استجابة. في الواقع، يبدو أن O3 يستفيد أيضًا من نموذج أساسي أكبر، لأنه من جميع محاور x الخاصة بالحوسبة اللوغاريتمية التي عرضتها OpenAI في البث المباشر، زادت تكلفة الحوسبة لـ O1 بشكل ملحوظ. باستخدام نموذج أساسي أكبر، تكون هذه الأرقام معقولة تمامًا، ولا تشير إلى إضافة عنصر "بحث" إضافي.

التقدم في التعلم العميق

القصة الأساسية التي دفعت التقدم في التعلم العميق في السنوات الأخيرة هي العثور على مجال غني بالإمكانات والتسلق عليه باستمرار. جاءت الموجة الأولى من التقدم من التدريب المسبق على نطاق الإنترنت. الآن، وجدت OpenAI اتجاهًا جديدًا للتسلق من خلال توسيع نطاق التدريب المعزز والاستدلال ذي السياق الطويل. نظرًا لأن O3 يبعد حوالي ثلاثة أشهر فقط عن إطلاق OpenAI لـ O1، فإن أبسط تفسير هو أنه استخدم نفس البنية وطرق التدريب، ولكن على نطاق أوسع.

لا تغيير في البنية

لا يوجد دليل يشير إلى أن O3 قد أجرى تغييرًا في بنية الاستدلال عن طريق إضافة البحث الشجري. جميع الادعاءات في هذا الصدد هي مجرد تكهنات. القاعدة الأساسية في قوانين توسيع نطاق الاستدلال هي أن أخذ عينات أكثر من نفس التدفق الواحد للتوليد يمكن أن يحسن الأداء.

النموذج الأساسي لـ O3

السؤال الأساسي هو ما إذا كان النموذج الأساسي لـ O3 هو Orion (اسم رمزي داخلي لـ OpenAI، ربما GPT-5)، أو ما إذا كان النموذج الأساسي الجديد يستفيد فقط من Orion أثناء التدريب. إذا زاد حجم النموذج الأساسي من 2 إلى 5 أضعاف، فإن هذه البيانات تتوافق تمامًا مع أسعار واجهة برمجة التطبيقات التي تم الإبلاغ عنها من جائزة ARC.

شكوك حول O3

لا تزال هناك شكوك حول التفاصيل المحددة لـ O3. في الرسوم البيانية التي نشرها فريق ARC، تم وضع علامة "(tuned)" بجوار نموذج O3، ولكن لم يتم تقديم تفاصيل حول O3. ومع ذلك، عندما نركز على اتجاه التقدم، فمن الواضح أن نماذج مستوى O1 ستكون موجودة على المدى الطويل.

مثال لمشكلة لم يحلها O3

أخيرًا، للحفاظ على التواضع، إليكم مثال لمشكلة في جائزة ARC لم يحلها O3. إنها بسيطة للغاية.

مستقبل الذكاء الاصطناعي

من الواضح أن أمامنا طريق طويل لنقطعه، ولكن يجب أن تكون متحمسًا وتتطلع إلى أن يصبح استخدام هذه النماذج على نطاق واسع حقيقة في وقت أقرب مما يتوقعه معظم الناس. إن افتراض أن الذكاء الاصطناعي سيستمر في التقدم هو الخيار الأكثر أمانًا.

2024: عودة التعلم المعزز

مشاركة أنثروبيك

في وقت سابق من اليوم، أصدرت أنثروبيك مقطع فيديو حول عملية إنشاء أنثروبيك، بمشاركة العديد من المؤسسين المشاركين. كان هناك تفصيل غير متوقع شاركه المؤسس المشارك والرئيس التنفيذي داريو أمودي:

• "... إن السبب الكامل لتوسيع نطاق هذه النماذج هو أن ذكائها لا يزال غير كافٍ للسماح لنا بإجراء RLHF (التعلم المعزز باستخدام ردود الفعل البشرية) على أساسها."

رؤية داريو

بصفته أحد مؤسسي مفهوم RLHF الحديث، ربما كان داريو قد أدرك بالفعل أن جميع التطورات المتعلقة بتقنيات الضبط الدقيق قادمة. هذه النظرة إلى إمكانات RLHF أوسع وأعمق من إدراك معظم الممارسين.

أهمية التعلم المعزز

هذا العام، لا شك أن التعلم المعزز (RL) والأساليب ذات الصلة قد أعادت ترسيخ نفسها كجزء أساسي من الذكاء الاصطناعي.

التحضير للعام القادم

كانت عملية كتابة هذا المقال هي إقناعي بتدريب نموذج لغة قائم على الاستدلال مشابه في عام 2025. هذا الشعور يشبه كيف أصبح التدريب المسبق القياسي مطلبًا أساسيًا للصناعة لشركات التكنولوجيا في عام 2024. من المتوقع أن تصبح النماذج المشابهة لـ O1 الأداة الافتراضية في صندوق أدوات الذكاء الاصطناعي لفترة طويلة في المستقبل. أنا أتطلع بشدة إلى تبني هذا التصور الجديد والتعرف شخصيًا على كيفية عمل تدريب هذه النماذج.