Published on

o1はチャットモデルではない?AltmanとBrockmanが見守る新たなモデルの可能性

著者
  • avatar
    名前
    Ajax
    Twitter

o1:従来のチャットモデルとは異なる存在

最近話題のo1モデルについて、多くのユーザーがチャットモデルとして利用しようとしている現状が語られています。しかし、ブログ記事「o1 isn’t a chat model (and that’s the point)」が注目を集め、OpenAIのCEOであるSam Altman氏や社長のGreg Brockman氏もこの事実に注目しています。

誤解と不満:ユーザーの初期体験

SpaceXの元ソフトウェアエンジニアであり、Apple VisionOSのインタラクションデザイナーであるBen Hylak氏は、o1モデルの利用で不満を抱きました。応答が遅く、矛盾が多く、要求していないアーキテクチャ図や長所短所のリストが提供されたからです。彼は当初、o1モデルを「ゴミ」だと感じました。

  • 5分間の応答待ち時間
  • 自己矛盾し、意味不明な応答
  • 要求していない図やリストの提供

彼はソーシャルメディアで不満を表明し、o1 proを「本当に悪い」と述べ、その出力は「ほとんど意味不明」だと批判しました。リファクタリングのアドバイスを求めたところ、ファイルのマージを提案し、実際にはマージしないコードを提供し、関係のない結論に飛躍した例を挙げています。

視点の転換:o1の真の姿

しかし、Hylak氏の経験は全てではありませんでした。一部のユーザーはo1モデルを非常に効果的だと感じており、議論が深まりました。その結果、Hylak氏は自分の間違いに気づきました。彼はo1モデルをチャットモデルとして利用していたのです。

Altman氏は、o1モデル(プロ版を含む)の利用方法を学ぶにつれて人々の態度が変化するのを「興味深く見守っている」と述べ、この視点の変化を歓迎しました。Greg Brockman氏も、o1モデルは異なる種類のモデルであり、最適なパフォーマンスを得るには異なるアプローチが必要だと指摘しました。

o1:レポートジェネレーターとしての役割

この記事では、o1モデルをチャットモデルではなく「レポートジェネレーター」として捉えることを提案しています。十分なコンテキストと明確な出力要件を与えれば、o1モデルは効果的なソリューションを提供できます。重要なのは、モデルの利用方法です。

プロンプトからブリーフへ:コンテキストの重要性

一般的なチャットモデルでは、簡単な質問から始めて必要に応じてコンテキストを追加する、反復的なやり取りが行われます。しかし、o1モデルは追加のコンテキストを求めません。ユーザーは「大量」の情報、つまり標準的なプロンプトの約10倍のコンテキストを事前に提供する必要があります。

  • 試みた解決策の詳細を全て提供
  • 完全なデータベーススキーマダンプを含める
  • 企業固有のビジネス、規模、用語を説明

o1モデルを新しい従業員のように扱い、最初から必要な情報をすべて提供することが推奨されます。

求める出力に焦点を当てる:具体的な指示

豊富なコンテキストを提供した後、ユーザーは求める出力を明確に定義する必要があります。他のモデルではペルソナや思考プロセスを指定するかもしれませんが、o1モデルでは「どのように」ではなく「何を」求めるかに焦点を当てるべきです。これにより、o1モデルは必要な手順を自律的に計画し実行し、より迅速かつ効率的な結果が得られます。

o1の強みと弱み:特徴を理解する

o1モデルはいくつかの分野で優れています。

  • **ファイル全体の処理:**大きなコードブロックや広範なコンテキストを処理し、エラーを最小限に抑えながらファイル全体を完成させることができます。
  • **ハルシネーションの低減:**カスタムクエリ言語(ClickHouseやNew Relicなど)の分野で正確であり、他のモデルが構文を混同する可能性がある中で、その精度を発揮します。
  • **医学的診断:**画像や説明に基づいて、驚くほど正確な予備診断を提供できます。
  • **概念の説明:**複雑なエンジニアリング概念を例を挙げて説明することに優れています。
  • **アーキテクチャ計画の生成:**複数の計画を作成し、比較し、長所と短所をリスト化できます。
  • **評価:**結果を評価するための効果的なツールとしての可能性を示しています。

しかし、o1モデルには限界もあります。

  • **特定のスタイルでの記述:**学術的または企業的なスタイルでレポートを作成する傾向があり、特定のトーンに適応するのが苦手です。
  • **アプリケーション全体の構築:**ファイル全体を生成することには長けていますが、反復的なやり取りを通じて完全なSaaSアプリケーションを構築することはできません。ただし、特にフロントエンドや単純なバックエンド機能など、機能全体を完了させることができます。

遅延の重要性:製品に対する認識の変化

この記事では、遅延が製品に対する認識を根本的に変えることを指摘しています。例えば、電子メールとテキストメッセージ、音声メッセージと電話など、遅延によって利用方法や期待値が変わります。

Hylak氏は、o1モデルの応答遅延を電子メールに例えています。この遅延により、高遅延で長時間実行されるバックグラウンドインテリジェンスから恩恵を受ける新しいタイプの製品が可能になります。重要なのは、人々が5分、1時間、1日、あるいは3〜5営業日待つことができるタスクは何か、という点です。

o1-previewとo1-miniはストリーミングをサポートしますが、構造化された生成やシステムプロンプトはサポートしていません。一方、o1は構造化された生成とシステムプロンプトをサポートしますが、ストリーミングはサポートしていません。これらの違いを理解することが、2025年の製品設計において開発者にとって非常に重要になります。