המודלים הגדולים הטובים ביותר מנכ'ל לא חושב שחוק ההרחבה מגיע לקצה

חוק ההרחבה ממשיך

דריו אמודי, מנכ"ל אנתרופיק, סבור שחוקי ההרחבה של מודלים של בינה מלאכותית עדיין לא הגיעו לגבולותיהם, למרות החששות לגבי מגבלות הנתונים. הוא מציע שניתן להתגבר על מגבלות הנתונים באמצעות נתונים סינתטיים ומודלים של הסקה. משמעות הדבר היא שניתן להמשיך ולשפר את הביצועים של מודלים על ידי הגדלת גודלם, כמות הנתונים עליהם הם מאומנים ומשך האימון.

שיפורים במודלים

יכולות המודלים של בינה מלאכותית השתפרו באופן משמעותי, כאשר הביצועים במדדים כמו SWE-bench עלו מ-3-4% ל-50% תוך עשרה חודשים. שיפורים נוספים צפויים בעתיד. זה מצביע על כך שהמודלים הופכים ליותר ויותר יעילים בביצוע משימות מורכבות, כמו כתיבת קוד.

חשיבות האימון שלאחר מכן

עלות האימון שלאחר מכן צפויה לעלות על עלות האימון המוקדם בעתיד. שיטות המבוססות על בני אדם בלבד לשיפור איכות המודלים אינן ניתנות להרחבה, מה שמצריך שיטות פיקוח הניתנות להרחבה יותר. זה מדגיש את החשיבות של פיתוח טכניקות יעילות יותר לאימון מודלים לאחר האימון המקדים הראשוני.

הבדלים בין מודלים

מאפיינים והבדלים בין מודלים לא תמיד נלכדים על ידי מדדים. גורמים כמו נימוס, ישירות, היענות ופרואקטיביות גם משחקים תפקיד. זה מראה שהערכת איכות המודל צריכה לכלול יותר מסתם ביצועים טכניים במדדים.

תפקיד ה-RLHF

למידת חיזוק ממשוב אנושי (RLHF) מגשרת על הפער התקשורתי בין בני אדם למודלים, ולא הופכת את המודלים לחכמים יותר באופן מהותי. RLHF עוזר למודלים להבין את ההעדפות האנושיות ולהגיב בצורה המתאימה יותר.

תפיסות משתמשים

תחושות המשתמשים שהמודלים הופכים ל"טיפשים" יותר אינן בהכרח שגויות. הם עשויים לנבוע מהמורכבות של המודלים ומהגורמים הרבים המשפיעים על הביצועים שלהם. מודלים מורכבים מאוד עשויים להיות יותר רגישים לניואנסים ולכן עשויים להציג התנהגות לא צפויה.

עיצוב מודלים

מודלים מעוצבים לתפקד ולהשלים משימות, ולא כדי להיות מובנים בקלות על ידי בני אדם. זה מדגיש את הצורך בשיטות להבנת פעולת המודלים, במיוחד כאשר הם הופכים למורכבים יותר.

ניסיון מעשי

אינטראקציה ישירה עם מודלים היא חיונית להבנתם, ולא רק קריאת מאמרים מחקריים. זה מצביע על כך שהניסיון המעשי הוא חלק חשוב בהבנת האופן שבו מודלים מתנהגים וכיצד ניתן ליישם אותם בצורה הטובה ביותר.

בינה מלאכותית חוקתית

גישה זו היא כלי לשיפור מודלים, הפחתת התלות ב-RLHF ושיפור ניצול כל נקודת נתונים של RLHF. בינה מלאכותית חוקתית מאפשרת למודלים ללמוד מתוך עקרונות מוגדרים מראש, מה שיכול להוביל להתנהגות עקבית ואמינה יותר.

רקע והקשר

דריו אמודי פועל בתחום הבינה המלאכותית כ-10 שנים, החל ממערכות זיהוי דיבור. הוא צפה כי הגדלת גודל המודל, הנתונים וזמן האימון שיפרו את הביצועים. המעבר משנת 2014 לשנת 2017 היה מרכזי, ואישר כי הגדלת גודל המודל יכולה להשיג משימות קוגניטיביות מורכבות. ההרחבה כוללת הרחבה לינארית של גודל הרשת, זמן האימון והנתונים. כל שלושת הרכיבים חייבים להיות מוגדלים באופן יחסי. חוק ההרחבה חל על אופנויות אחרות כמו תמונות, סרטונים ומתמטיקה. זה חל גם על אימון שלאחר מכן ומודלים חדשים. הרעיון קשור ל"רעש 1/f" ו"התפלגות 1/x" בפיזיקה, שבהם לתהליכים טבעיים יש סולמות שונים, ומודלים גדולים יותר לוכדים דפוסים מורכבים יותר.

מגבלות ההרחבה

למרות שהגבולות המדויקים אינם ידועים, אמודי מאמין שההרחבה יכולה להגיע לאינטליגנציה ברמה אנושית. ייתכן שלחלק מהתחומים יש מגבלות קרובות ליכולות אנושיות, בעוד שלאחרים יש הרבה יותר מקום לשיפור. מחסור בנתונים הוא מגבלה פוטנציאלית, אך נתונים סינתטיים ומודלים של הסקה יכולים לעזור. קנה המידה החישובי הנוכחי הוא במיליארדים, והוא צפוי להגיע לעשרות מיליארדים בשנה הבאה, ואולי למאות מיליארדים עד 2027.

פיתוח מודלים ומאפיינים

אנתרופיק שחררה את מודלי Claude 3 בגדלים ויכולות שונים: אופוס (החזק ביותר), סונט (בינוני) והייקו (מהיר וחסכוני). השמות בהשראת שירה, כאשר הייקו הוא הקצר ביותר ואופוס הוא הנרחב ביותר. כל דור מודל חדש שואף לשפר את האיזון בין ביצועים לעלות. תהליך האימון כולל אימון מקדים (ארוך ואינטנסיבי מבחינה חישובית), אימון שלאחר מכן (RLHF ושיטות RL אחרות) ובדיקות בטיחות. ניתן להשתמש בנתוני העדפה ממודלים ישנים יותר כדי לאמן מודלים חדשים. שיטה זו משתמשת בסט של עקרונות כדי להנחות את אימון המודל, ומאפשרת למודלים לאמן את עצמם. למודלים יש מאפיינים ייחודיים שלא תמיד נלכדים על ידי מדדים, כמו נימוס והיענות.

יכולות קידוד וסביבות פיתוח משולבות (IDE)

למודל Sonnet 3.5 יש שיפורים משמעותיים בקידוד, וחוסך למהנדסים זמן במשימות שבעבר ארכו שעות. קצב ההצלחה של המודל במדד SWE-bench עלה מ-3% ל-50% תוך 10 חודשים. הקידוד צפוי להשתנות במהירות עקב הקשר ההדוק שלו עם פיתוח בינה מלאכותית. בינה מלאכותית יכולה לכתוב, להריץ ולנתח קוד, וליצור מערכת סגורה להתקדמות מהירה. בינה מלאכותית צפויה לטפל ברוב משימות הקידוד השגרתיות עד 2026 או 2027, מה שיאפשר לבני אדם להתמקד בעיצוב מערכות ברמה גבוהה ובארכיטקטורה. לסביבות פיתוח משולבות יש פוטנציאל משמעותי לשיפור, אך אנתרופיק אינה מתכננת לפתח סביבת פיתוח משולבת משלה. הם מעדיפים לספק ממשקי API לאחרים כדי לבנות כלים.

שימוש במחשב ובטיחות

תכונה זו מאפשרת למודלים לנתח צילומי מסך ולבצע פעולות על ידי לחיצה או לחיצה על מקשים. היכולת להשתמש בצילומי מסך היא דוגמה טובה להכללה, כאשר מודל חזק שאומן מראש יכול להסתגל בקלות למשימות חדשות. השימוש במחשב משוחרר בתחילה כממשק API עקב חששות בטיחותיים. חשוב להשתמש במודלים רבי עוצמה אלה בבטחה ולמנוע שימוש לרעה. מדיניות הרחבה אחראית (RSP) משמשת לבדיקת מודלים לסיכונים פוטנציאליים. מודלים מסווגים לרמות ASL שונות בהתבסס על היכולות והסיכונים הפוטנציאליים שלהם. ארגז חול משמש במהלך האימון כדי למנוע ממודלים ליצור אינטראקציה עם העולם האמיתי. יכולת פענוח מנגנון היא חיונית להבנה ולשליטה במודלים, במיוחד ברמות ASL גבוהות יותר.

RLHF והתנהגות מודל

RLHF עוזר למודלים לתקשר טוב יותר עם בני אדם, ולא הופך אותם לחכמים יותר באופן מהותי. RLHF יכול "לשחרר" מודלים, להסיר מגבלות מסוימות אך לא את כולן. עלויות האימון שלאחר מכן צפויות לעלות על עלויות האימון המוקדם בעתיד. שיטות המבוססות על בני אדם בלבד לשיפור איכות המודלים אינן ניתנות להרחבה, מה שמצריך שיטות פיקוח הניתנות להרחבה יותר. תפיסות המשתמשים שהמודלים הופכים ל"טיפשים" עשויות לנבוע מהמורכבות של המודלים ומהרגישות שלהם להנחיות. שליטה בהתנהגות המודל היא קשה, ויש פשרות בין מאפיינים שונים. משוב משתמשים הוא חיוני להבנת התנהגות המודל, אך קשה לאסוף ולפרש אותו.

תחרות וכיוונים עתידיים

אנתרופיק שואפת להוות דוגמה לחברות אחרות, ולקדם פיתוח אחראי של בינה מלאכותית. יכולת פענוח מנגנון היא תחום מחקר מרכזי עבור אנתרופיק, שמטרתו להבין כיצד מודלים פועלים באופן פנימי. מודלים מעוצבים לתפקד ולהשלים משימות, ולא כדי להיות מובנים בקלות על ידי בני אדם. צפיפות גבוהה של כישרונות מובילים היא חיונית להצלחה, ולא רק צוות גדול. חשיבה פתוחה ונכונות להתנסות הן תכונות חשובות עבור חוקרי ומהנדסי בינה מלאכותית. אינטראקציה ישירה עם מודלים היא חיונית להבנתם. שיטה זו מאפשרת למודלים לאמן את עצמם על סמך סדרה של עקרונות. מושג זה מגדיר את מטרות והתנהגויות המודל. שימוש לרעה קטסטרופלי הוא דאגה מרכזית, הכוללת שימוש לרעה במודלים בתחומים כמו אבטחת סייבר ונשק ביולוגי. ככל שהמודלים צוברים יותר אוטונומיה, חשוב לוודא שהם תואמים לכוונות האנושיות. רמות ASL מסווגות מודלים בהתבסס על היכולות והסיכונים הפוטנציאליים שלהם. ציר הזמן להשגת AGI אינו ודאי, אך הוא עשוי להיות בתוך השנים הקרובות. ל-AGI יש פוטנציאל לחולל מהפכה בתחומים אלה על ידי האצת מחקר ופיתוח. בשלבים המוקדמים, בינה מלאכותית תשמש כעוזר מחקר, ותסייע למדענים בניסויים וניתוח נתונים. למרות שלבינה מלאכותית יש פוטנציאל להגדיל משמעותית את הפרודוקטיביות, ישנם גם אתגרים הקשורים למבנים ארגוניים ולאימוץ איטי של טכנולוגיות חדשות.