אלק רדפורד: האדריכל הבלתי מוכר של עידן ה-GPT

מגזין "Wired" השווה את מעמדו של אלק רדפורד ב-OpenAI לזה של לארי פייג' עם המצאת PageRank שחוללה מהפכה בחיפוש באינטרנט. עבודתו של רדפורד, במיוחד בתחום ה-Transformer וה-GPT, שינתה באופן יסודי את האופן שבו מודלים של שפה בינה מלאכותית עובדים.

לאחרונה, OpenAI הכריזה על שינוי מבני, תוך פיצול לחברה למטרות רווח ולארגון ללא מטרות רווח. במקביל, מנכ"ל OpenAI, סם אלטמן, פרסם פוסט ברשת החברתית X, בו הודה למספר דמויות ותיקות ב-OpenAI, ושיבח במיוחד את אלק רדפורד, וכינה אותו "גאון ברמה של איינשטיין", וציין שרבים מההתקדמות בתחום הבינה המלאכותית כיום ניתנים לייחוס למחקריו.

על פי הדיווחים, רדפורד עזב את OpenAI בחודש שעבר כדי להמשיך במחקר עצמאי.

הישגים אקדמיים:

מספר הציטוטים למאמרים של רדפורד עולה על 190,000.
מספר מאמרים שלו צוטטו יותר מ-10,000 פעמים.

רקע מפתיע:

לרדפורד אין תואר דוקטור, ואפילו לא תואר שני.
רבים מהמחקרים החדשניים שלו בוצעו בתחילה ב-Jupyter Notebook.

סיפורו של אלק רדפורד מעורר שוב עניין רב בתחום הבינה המלאכותית, והוא זוכה לשבחים רבים.

הקריירה של אלק רדפורד

אלק רדפורד הוא חוקר בולט בתחום עיבוד השפה הטבעית וראייה ממוחשבת. הוא עבד ב-OpenAI כמפתח למידת מכונה וחוקר, ולפני כן שימש כמנהל מחקר בחברת indico.

במהלך שהותו ב-OpenAI, רדפורד השתתף בכתיבת מספר מאמרים על מודלים של שפה מבוססי אימון מוקדם גנרטיבי (GPT), ופרסם מאמרים רבים בכנסים ובכתבי עת מהשורה הראשונה כמו NeurIPS, ICLR, ICML ו-Nature.

הוא גם שיתף את תובנותיו על הבינה המלאכותית ב-X/Twitter, אך לא היה פעיל מאז מאי 2021, כאשר הציוץ האחרון שלו הסביר את הסיבה להגדרת רוחב השכבה של GPT-1 ל-768. על פי מידע מ-LinkedIn, אלק רדפורד למד במכללת פרנקלין וו. אולין להנדסה בין השנים 2011 ל-2016 וקיבל תואר ראשון. מכללה פרטית זו להנדסה, הממוקמת בנידהאם, מסצ'וסטס, ידועה בשיעורי הקבלה הנמוכים שלה ובחינוך האליטיסטי.

המערכת האקדמית של מכללת אולין מכונה "משולש אולין", וכוללת בסיס מדעי והנדסי, יזמות וספרות. המכללה מציעה רק ארבעה תארים: הנדסת מכונות, הנדסת חשמל ומחשבים, מדעי המחשב והנדסה ביו-רפואית.

המכללה שמה דגש על חינוך מעשי, מעודדת את הסטודנטים לשלב ידע עם אתגרים מעשיים ולרדוף אחר תחומי העניין שלהם.

במהלך לימודיו לתואר ראשון, רדפורד התלהב מלמידת מכונה. הוא השתתף עם חבריו לתחרות Kaggle וזכה בהצלחה, ובסופו של דבר קיבל הון סיכון. בשנת 2013, רדפורד הקים עם שותפיו את indico במעונות, וסיפק פתרונות למידת מכונה לעסקים.

במהלך שהותו ב-indico, רדפורד היה אחראי בעיקר על זיהוי, פיתוח ושיפור טכנולוגיות מבטיחות של למידת מכונה לתמונות וטקסט, וקידומן משלב המחקר ליישומים תעשייתיים.

הוא ביצע מחקרים הקשורים לרשתות גנרטיביות אדברסריות (GAN), והציע את DCGAN כדי לשפר את יכולת האימון של GAN, דבר שנחשב לפריצת דרך חשובה בתחום ה-GAN.

מכיוון שלאזור בוסטון לא הייתה השפעה רבה בתחום הבינה המלאכותית כמו לענקיות הטכנולוגיה בחוף המערבי, ובנוסף היו לו משאבים מוגבלים, רדפורד הצטרף ל-OpenAI בשנת 2016.

הוא תיאר את העבודה החדשה "כדומה להצטרפות לתוכנית לימודים לתואר שני", עם סביבת מחקר בינה מלאכותית פתוחה וללא לחץ.

רדפורד הוא בעל אופי צנוע ואינו מעוניין ליצור קשר עם התקשורת. הוא הגיב במייל ל"Wired" לגבי עבודתו המוקדמת ב-OpenAI, וציין שהדבר שהכי עניין אותו היה לאפשר לרשתות עצביות לנהל שיחה ברורה עם בני אדם.

הוא האמין שלרובוטים הצ'אט של אותה תקופה (מ-ELIZA ועד Siri ו-Alexa) היו מגבלות, ולכן הוא הקדיש את עצמו לחקר היישומים של מודלים של שפה במשימות, הגדרות, תחומים ותרחישים שונים.

הניסוי הראשון שלו היה שימוש ב-2 מיליארד תגובות Reddit כדי לאמן מודל שפה, ולמרות שהוא נכשל, OpenAI נתנה לו מספיק מקום לניסוי וטעייה. זה הניח את היסוד לסדרת פריצות דרך מהפכניות, כגון ה-GPT הראשוני הידוע, וכן פיתוח ה-GPT-2 בראשותו.

עבודות אלו הניחו את היסוד למודלים גדולים של שפה מודרניים. מגזין "Wired" השווה לכן את תפקידו של אלק רדפורד ב-OpenAI להמצאת PageRank על ידי לארי פייג'. ראוי לציין שלמרות ש-PageRank היה תוצר עבודתו של לארי פייג' במהלך לימודי הדוקטורט שלו בסטנפורד, הוא לא סיים את לימודי הדוקטורט שלו.

אלק רדפורד גם השתתף בכתיבת המאמר על GPT-3, וכן בעבודת המחקר על נתוני האימון המוקדם והארכיטקטורה של GPT-4.

בסוף שנת 2024, לפני היום האחרון מתוך 12 ימי ההודעות הרצופים של OpenAI, פורסמו ידיעות על כך שאלק רדפורד עומד לעזוב את OpenAI, אך כרגע לא ברור האם יש לכך קשר לשינוי המבני של OpenAI.

נכון לעכשיו, ידוע לנו רק שהוא יהפוך לחוקר עצמאי. ייתכן שהוא יבחר להיכנס לאוניברסיטה כדי ללמוד לתואר דוקטור, או שהוא יחזור עם תוצאות מחקר חדשות לאחר תקופה של שקט. בכל מקרה, העתיד שאלק רדפורד השתתף ביצירתו מתקרב. בין אם הבינה המלאכותית הכללית (AGI), אותה חזה אלטמן, תתממש השנה או לא, שנת 2025 תהיה שנה קריטית לתחום הבינה המלאכותית.