Published on

博士号を持たないOpenAIの先駆者アレック・ラドフォード、GPT時代を革命的に変える

著者
  • avatar
    名前
    Ajax
    Twitter

アレック・ラドフォード：GPTの知られざる立役者

『WIRED』誌は、アレック・ラドフォードのOpenAIでの役割を、ラリー・ペイジがPageRankを発明し、インターネット検索を革新したことに匹敵すると評しました。特にTransformerとGPTに関するラドフォードの研究は、人工知能言語モデルの動作方法を根本的に変えました。

OpenAIは最近、組織構造の再編を発表し、営利企業と非営利組織に分割しました。同時に、OpenAIのCEOであるサム・アルトマンは、ソーシャルプラットフォームXで、OpenAIの創設メンバーに感謝の意を表し、特にアレック・ラドフォードを「アインシュタイン級の天才」と称賛し、今日の人工知能分野における多くの進歩は彼の研究に遡ることができると指摘しました。

報道によると、ラドフォードは先月、OpenAIを離れて独立研究を行っています。

学術的業績

ラドフォードの論文は19万回以上引用されています。 彼の論文の中には、1万回以上引用されているものが複数あります。

驚くべき背景

ラドフォードは博士号はおろか、修士号さえ持っていません。 彼の多くの画期的な研究成果は、もともとJupyter Notebookで完成しました。

アレック・ラドフォードの物語は、人工知能分野で再び広く注目を集めており、彼に対する称賛の声が上がっています。

アレック・ラドフォードのキャリア

アレック・ラドフォードは、自然言語処理とコンピュータビジョンの分野で傑出した研究者です。彼はOpenAIで機械学習の開発者および研究員を務め、以前はindico社の研究責任者を務めていました。

OpenAI在籍中、ラドフォードは生成式事前学習（GPT）言語モデルに関する複数の論文の執筆に携わり、NeurIPS、ICLR、ICML、Natureなどのトップレベルの会議やジャーナルで論文を発表しました。

彼はまた、X（旧Twitter）で人工知能に関する自身の見解を共有していましたが、2021年5月以降は活動を停止しており、最後のツイートはGPT-1の層の幅が768に設定された理由を説明するものでした。LinkedInの情報によると、アレック・ラドフォードは2011年から2016年までフランクリン・W・オリン工科大学に在籍し、学士号を取得しました。マサチューセッツ州ニーダムにあるこの私立工科大学は、低い入学率とエリート教育で知られています。

オリン工科大学の学術システムは「オリン・トライアングル」と呼ばれ、科学と工学の基礎、起業家精神、文学が含まれています。学校では、機械工学、電気・コンピュータ工学、コンピュータサイエンス、生物医学工学の4つの学位のみを提供しています。

同校は実践教育を重視し、学生が知識を実際の課題と結びつけ、自分の興味を追求することを奨励しています。

学部時代、ラドフォードは機械学習に情熱を燃やしていました。彼は学生仲間とKaggleコンテストに参加して成功を収め、最終的にはベンチャーキャピタルを獲得しました。2013年、ラドフォードは共同経営者と共に寮でindicoを設立し、企業に機械学習ソリューションを提供しました。

indico在籍中、ラドフォードは主に、有望な画像およびテキスト機械学習技術の特定、開発、改善を担当し、それらを研究段階から業界アプリケーションへの転換を推進しました。

彼は敵対的生成ネットワーク（GAN）に関する研究を行い、GANのトレーニング可能性を改善するためにDCGANを提案しました。これは、GAN分野における重要なブレークスルーとされています。

ボストン地域は、人工知能分野における影響力が西海岸のテクノロジー大手ほどではなく、リソースも限られていたため、ラドフォードは2016年にOpenAIに加わりました。

彼はこの新しい仕事を「大学院に入学するようなものだ」と表現し、オープンで低ストレスなAI研究環境を享受しました。

ラドフォードは控えめな性格で、メディアとの接触を避けています。彼は、OpenAIでの初期の仕事に関する『WIRED』からの質問にメールで回答し、最も興味があるのはニューラルネットワークが人間と明確な対話を行うことだと述べました。

彼は、当時のチャットボット（ELIZAからSiri、Alexaまで）には限界があると考え、さまざまなタスク、設定、ドメイン、シナリオでの言語モデルの応用を探求することに専念しました。

彼の最初の実験は、20億件のRedditのコメントを使用して言語モデルをトレーニングすることでした。これは失敗に終わりましたが、OpenAIは彼に十分な試行錯誤の機会を与えました。これが、よく知られている初代GPTや、彼が主導したGPT-2の開発など、その後の数々の画期的な進歩の基礎を築きました。

これらの業績は、現代の大規模言語モデルの基礎を築きました。『WIRED』誌は、アレック・ラドフォードのOpenAIでの役割を、ラリー・ペイジがPageRankを発明したことに例えました。注目すべきは、PageRankはラリー・ペイジがスタンフォード大学で博士号を取得している間に得た成果でしたが、彼は後に博士号を修了しなかったということです。

アレック・ラドフォードは、GPT-3の論文の執筆や、GPT-4の事前トレーニングデータとアーキテクチャの研究にも携わりました。

2024年末、OpenAIが12日連続で発表したニュースの最終日の直前に、アレック・ラドフォードがOpenAIを退職するというニュースが流れましたが、これがOpenAIの組織再編と関係があるかどうかは不明です。

現在、彼が独立研究者になることだけがわかっています。彼は大学に進学して博士号を取得するか、しばらく沈黙した後、新しい研究成果を持って再び現れるかもしれません。いずれにせよ、アレック・ラドフォードが創造に携わった未来が到来しつつあります。今年、アルトマンが予測する汎用人工知能（AGI）が実現するかどうかに関わらず、2025年は人工知能分野にとって非常に重要な年となるでしょう。