Published on

الک ردفورد: معمار ناشناخته GPT بدون دکترا، انقلاب در عصر هوش مصنوعی

نویسندگان
  • avatar
    نام
    Ajax
    Twitter

الک ردفورد: معمار ناشناخته GPT

مجله وایرد جایگاه الک ردفورد در OpenAI را با اختراع PageRank توسط لری پیج مقایسه کرده است که انقلابی در جستجوی اینترنتی ایجاد کرد. کار ردفورد، به ویژه در زمینه ترنسفورمر و GPT، اساساً شیوه کار مدل‌های زبان هوش مصنوعی را تغییر داده است.

OpenAI اخیراً از یک بازسازی سازمانی خبر داده و به یک شرکت انتفاعی و یک سازمان غیرانتفاعی تقسیم شده است. در همین حال، سام آلتمن، مدیرعامل OpenAI، در پلتفرم X پستی منتشر کرد و از چندین تن از اعضای قدیمی OpenAI تشکر کرد و به ویژه از الک ردفورد به عنوان «نابغه در سطح انیشتین» تمجید کرد و اشاره کرد که بسیاری از پیشرفت‌های امروزی در زمینه هوش مصنوعی را می‌توان به دستاوردهای تحقیقاتی او نسبت داد.

بر اساس گزارش‌ها، ردفورد ماه گذشته OpenAI را ترک کرد تا به تحقیقات مستقل بپردازد.

دستاورد‌های علمی:

  • مقالات ردفورد بیش از 190000 بار استناد شده است.
  • چندین مقاله او بیش از 10000 بار استناد شده است.

زمینه شگفت انگیز:

  • ردفورد مدرک دکترا ندارد، حتی مدرک کارشناسی ارشد هم ندارد.
  • بسیاری از یافته‌های تحقیقاتی پیشگامانه او در ابتدا در Jupyter Notebook انجام شده است.

داستان الک ردفورد بار دیگر توجه گسترده‌ای را در زمینه هوش مصنوعی به خود جلب کرده و افراد از او بسیار تمجید می‌کنند.

زندگی حرفه‌ای الک ردفورد

الک ردفورد یک محقق برجسته در زمینه پردازش زبان طبیعی و بینایی کامپیوتر است. او قبلاً در OpenAI به عنوان توسعه‌دهنده و محقق یادگیری ماشین فعالیت می‌کرد و پیش از آن به عنوان مدیر تحقیقات شرکت indico کار می‌کرد.

در طول حضورش در OpenAI، ردفورد در نگارش چندین مقاله در مورد مدل‌های زبان پیش‌آموزشی تولیدی (GPT) مشارکت داشت و مقالات متعددی را در کنفرانس‌ها و مجلات معتبری مانند NeurIPS، ICLR، ICML و Nature منتشر کرد.

او همچنین دیدگاه‌های خود را در مورد هوش مصنوعی در X/Twitter به اشتراک می‌گذاشت، اما از ماه مه 2021 دیگر فعال نیست. آخرین توییت او توضیح دلیل تنظیم عرض لایه GPT-1 به 768 بود. بر اساس اطلاعات لینکدین، الک ردفورد از سال 2011 تا 2016 در دانشکده مهندسی فرانکلین دبلیو. اولین تحصیل کرده و مدرک لیسانس دریافت کرده است. این دانشکده مهندسی خصوصی واقع در نیدهام، ماساچوست، به دلیل نرخ پذیرش پایین و آموزش نخبگان مشهور است.

سیستم آکادمیک دانشکده مهندسی اولین به عنوان "مثلث اولین" شناخته می‌شود که شامل مبانی علوم و مهندسی، کارآفرینی و ادبیات است. این دانشکده فقط چهار مدرک مهندسی مکانیک، مهندسی برق و کامپیوتر، علوم کامپیوتر و مهندسی پزشکی ارائه می‌دهد.

این دانشکده بر آموزش عملی تأکید دارد و دانشجویان را تشویق می‌کند تا دانش را با چالش‌های واقعی ترکیب کرده و علایق خود را دنبال کنند.

در دوران کارشناسی، ردفورد به یادگیری ماشین علاقه زیادی داشت. او با همکلاسی‌های خود در مسابقات Kaggle شرکت کرد و موفق شد و در نهایت سرمایه خطرپذیر دریافت کرد. در سال 2013، ردفورد و شرکایش شرکت indico را در خوابگاه خود تأسیس کردند و راه‌حل‌های یادگیری ماشین را به شرکت‌ها ارائه دادند.

در indico، ردفورد عمدتاً مسئول شناسایی، توسعه و بهبود فن‌آوری‌های یادگیری ماشین امیدوارکننده تصویر و متن بود و انتقال آن‌ها را از مرحله تحقیق به کاربردهای صنعتی پیش می‌برد.

او تحقیقاتی را در مورد شبکه‌های مولد متخاصم (GAN) انجام داد و DCGAN را برای بهبود قابلیت آموزش GAN پیشنهاد کرد که به عنوان یک پیشرفت مهم در زمینه GAN در نظر گرفته می‌شود.

از آنجا که منطقه بوستون در زمینه هوش مصنوعی به اندازه غول‌های فناوری ساحل غربی تأثیرگذار نبود و منابع محدودی داشت، ردفورد در سال 2016 به OpenAI پیوست.

او این شغل جدید را "شبیه پیوستن به یک دوره تحصیلات تکمیلی" توصیف کرد که دارای یک محیط تحقیقاتی هوش مصنوعی باز و کم فشار است.

ردفورد شخصیتی کم‌حرف دارد و تمایلی به تعامل با رسانه‌ها ندارد. او از طریق ایمیل به سوالات وایرد در مورد کارهای اولیه خود در OpenAI پاسخ داد و گفت که بیشترین علاقه او این است که شبکه‌های عصبی را قادر سازد تا گفتگوی واضحی با انسان داشته باشند.

او معتقد بود که ربات‌های چت آن زمان (از ELIZA تا سیری و الکسا) محدودیت‌هایی داشتند، بنابراین او به بررسی کاربردهای مدل‌های زبان در وظایف، تنظیمات، حوزه‌ها و سناریوهای مختلف اختصاص داده شد.

اولین آزمایش او استفاده از 2 میلیارد نظر Reddit برای آموزش یک مدل زبانی بود. اگرچه این آزمایش ناموفق بود، اما OpenAI فضای کافی برای آزمون و خطا در اختیار او قرار داد. این امر زمینه را برای یک سری پیشرفت‌های انقلابی بعدی، مانند اولین GPT که همه می‌شناسند و توسعه GPT-2 به رهبری او فراهم کرد.

این کارها پایه و اساس مدل‌های زبان بزرگ مدرن را بنا نهاد. مجله وایرد به همین دلیل نقش الک ردفورد در OpenAI را با اختراع PageRank توسط لری پیج مقایسه کرد. شایان ذکر است که اگرچه PageRank نتیجه کار لری پیج در زمان تحصیل در مقطع دکترا در استنفورد بود، اما او بعداً مدرک دکترای خود را تکمیل نکرد.

الک ردفورد همچنین در نگارش مقاله GPT-3 و همچنین کارهای مربوط به داده‌های پیش‌آموزشی و معماری GPT-4 مشارکت داشت.

در اواخر سال 2024، قبل از آخرین روز از 12 روز انتشار اخبار متوالی OpenAI، اخباری مبنی بر خروج قریب الوقوع الک ردفورد از OpenAI منتشر شد، اما هنوز مشخص نیست که آیا این موضوع به بازسازی سازمانی OpenAI مرتبط است یا خیر.

در حال حاضر، ما فقط می‌دانیم که او به یک محقق مستقل تبدیل خواهد شد. او ممکن است تصمیم بگیرد وارد دانشگاه شود و مدرک دکترا بگیرد یا پس از مدتی سکوت با یافته‌های تحقیقاتی جدید ظاهر شود. در هر صورت، آینده‌ای که الک ردفورد در ایجاد آن مشارکت داشته در حال فرا رسیدن است. صرف نظر از اینکه آیا هوش مصنوعی عمومی (AGI) پیش‌بینی‌شده توسط آلتمن امسال محقق می‌شود یا خیر، سال 2025 سال بسیار مهمی برای حوزه هوش مصنوعی خواهد بود.