Published on

Alec Radford: Kiến trúc sư thầm lặng của GPT, người không có bằng Tiến sĩ

Tác giả
  • avatar
    Tên
    Ajax
    Twitter

Alec Radford: Kiến trúc sư thầm lặng của GPT

Tạp chí Wired đã so sánh vị thế của Alec Radford tại OpenAI với việc Larry Page phát minh ra PageRank, một cuộc cách mạng trong tìm kiếm trên internet. Công việc của Radford, đặc biệt là nghiên cứu về Transformer và GPT, đã thay đổi cơ bản cách các mô hình ngôn ngữ trí tuệ nhân tạo hoạt động.

OpenAI gần đây đã công bố tái cơ cấu tổ chức, chia thành công ty vì lợi nhuận và tổ chức phi lợi nhuận. Đồng thời, CEO của OpenAI, Sam Altman, đã đăng trên X (trước đây là Twitter) để cảm ơn nhiều nhân vật kỳ cựu của OpenAI, đặc biệt ca ngợi Alec Radford là "thiên tài tầm cỡ Einstein," đồng thời chỉ ra rằng nhiều tiến bộ trong lĩnh vực trí tuệ nhân tạo ngày nay đều có thể bắt nguồn từ những thành tựu nghiên cứu của ông.

Theo báo cáo, Radford đã rời OpenAI vào tháng trước để theo đuổi nghiên cứu độc lập.

Thành tựu học thuật

  • Các bài báo của Radford đã được trích dẫn hơn 190.000 lần.
  • Ông có nhiều bài báo được trích dẫn hơn 10.000 lần.

Bối cảnh đáng ngạc nhiên

  • Radford không có bằng tiến sĩ, thậm chí không có bằng thạc sĩ.
  • Nhiều thành tựu nghiên cứu đột phá của ông ban đầu được thực hiện trên Jupyter Notebook.

Câu chuyện của Alec Radford một lần nữa thu hút sự chú ý rộng rãi trong lĩnh vực trí tuệ nhân tạo, với những lời khen ngợi dành cho ông.

Sự nghiệp của Alec Radford

Alec Radford là một nhà nghiên cứu xuất sắc trong lĩnh vực xử lý ngôn ngữ tự nhiên và thị giác máy tính. Ông từng là nhà phát triển và nghiên cứu máy học tại OpenAI, trước đó là trưởng nhóm nghiên cứu tại công ty indico.

Trong thời gian làm việc tại OpenAI, Radford đã tham gia viết nhiều bài báo về mô hình ngôn ngữ tiền huấn luyện tạo sinh (GPT), và đã công bố nhiều bài báo tại các hội nghị và tạp chí hàng đầu như NeurIPS, ICLR, ICML và Nature.

Ông cũng từng chia sẻ những hiểu biết của mình về trí tuệ nhân tạo trên X/Twitter, nhưng đã không còn hoạt động kể từ tháng 5 năm 2021. Bài đăng cuối cùng của ông là giải thích lý do độ rộng lớp của GPT-1 được đặt là 768. Theo thông tin từ LinkedIn, Alec Radford theo học tại Học viện Kỹ thuật Franklin W. Olin từ năm 2011 đến 2016 và nhận bằng cử nhân. Trường kỹ thuật tư nhân này ở Needham, Massachusetts nổi tiếng với tỷ lệ trúng tuyển thấp và nền giáo dục ưu tú.

Hệ thống học thuật của Học viện Olin được gọi là "Tam giác Olin," bao gồm các nền tảng khoa học và kỹ thuật, tinh thần kinh doanh và văn học. Trường chỉ cung cấp bốn bằng cấp: Kỹ thuật cơ khí, Kỹ thuật điện và máy tính, Khoa học máy tính và Kỹ thuật y sinh.

Trường coi trọng giáo dục thực hành, khuyến khích sinh viên kết hợp kiến thức với những thách thức thực tế và theo đuổi sở thích của mình.

Trong thời gian học đại học, Radford đã rất đam mê máy học. Ông cùng các bạn tham gia các cuộc thi Kaggle và đạt được thành công, cuối cùng nhận được đầu tư mạo hiểm. Năm 2013, Radford và các đối tác thành lập indico trong ký túc xá, cung cấp các giải pháp máy học cho doanh nghiệp.

Tại indico, Radford chịu trách nhiệm chính trong việc xác định, phát triển và cải tiến các công nghệ máy học hình ảnh và văn bản đầy hứa hẹn, đồng thời thúc đẩy chúng từ giai đoạn nghiên cứu sang ứng dụng trong ngành.

Ông đã tiến hành nghiên cứu liên quan đến mạng đối kháng tạo sinh (GAN), đề xuất DCGAN để cải thiện khả năng đào tạo của GAN, được coi là một bước đột phá quan trọng trong lĩnh vực GAN.

Do ảnh hưởng của khu vực Boston trong lĩnh vực trí tuệ nhân tạo không bằng các gã khổng lồ công nghệ ở Bờ Tây, cộng với nguồn lực hạn chế, Radford đã gia nhập OpenAI vào năm 2016.

Ông mô tả công việc mới này "tương tự như tham gia khóa học sau đại học," với một môi trường nghiên cứu AI mở và ít áp lực.

Radford là người kín đáo, không muốn tiếp xúc với giới truyền thông. Ông đã trả lời các câu hỏi của Wired về công việc ban đầu của mình tại OpenAI qua email, cho biết điều ông quan tâm nhất là làm cho mạng thần kinh có thể giao tiếp rõ ràng với con người.

Ông cho rằng các chatbot thời đó (từ ELIZA đến Siri và Alexa) đều có những hạn chế, vì vậy ông đã nỗ lực khám phá ứng dụng của mô hình ngôn ngữ trong nhiều nhiệm vụ, cài đặt, lĩnh vực và tình huống khác nhau.

Thí nghiệm đầu tiên của ông là sử dụng 2 tỷ bình luận Reddit để đào tạo mô hình ngôn ngữ, mặc dù thất bại, nhưng OpenAI đã cho ông đủ không gian thử sai. Điều này đã đặt nền móng cho một loạt các đột phá mang tính cách mạng sau đó, như GPT đời đầu quen thuộc, và sự phát triển của GPT-2 do ông lãnh đạo.

Những công việc này đã đặt nền móng cho các mô hình ngôn ngữ lớn hiện đại. Tạp chí Wired do đó đã so sánh vai trò của Alec Radford tại OpenAI với việc Larry Page phát minh ra PageRank. Điều đáng nói là mặc dù PageRank là thành quả của Larry Page trong thời gian theo học tiến sĩ tại Stanford, nhưng sau này ông đã không hoàn thành bằng tiến sĩ.

Alec Radford cũng tham gia viết bài báo về GPT-3, cũng như nghiên cứu dữ liệu và kiến trúc tiền huấn luyện của GPT-4.

Cuối năm 2024, trước ngày cuối cùng trong 12 ngày liên tiếp OpenAI đưa ra thông báo, tin tức về việc Alec Radford sắp rời OpenAI đã được lan truyền, nhưng hiện tại vẫn chưa rõ liệu điều này có liên quan đến việc tái cơ cấu tổ chức của OpenAI hay không.

Hiện tại, chúng ta chỉ biết rằng ông sẽ trở thành một nhà nghiên cứu độc lập. Ông có thể chọn vào đại học để theo học tiến sĩ, hoặc sau một thời gian im hơi lặng tiếng sẽ trở lại với những thành quả nghiên cứu mới. Dù thế nào đi nữa, tương lai do Alec Radford tham gia tạo ra đang đến. Dù năm nay có đạt được trí tuệ nhân tạo tổng quát (AGI) như dự đoán của Altman hay không, năm 2025 sẽ là một năm quan trọng đối với lĩnh vực trí tuệ nhân tạo.