OpenAI AI fundamentals overview

TL;DR

OpenAIは、AIの定義、大規模言語モデル（LLM）の仕組み、事前学習と事後学習の概要、推論モデルと非推論モデルの違い、そしてChatGPTがその階層の中でどのように位置づけられるかを示す「AI fundamentals」という教育ガイドを公開しました。

What is AI?

人工知能（AI）は、パターンを認識し、データから学習し、有用な出力を生成できるソフトウェアの広範なカテゴリです。

"Artificial intelligence (AI) is a broad category of software that can recognize patterns, learn from data, and produce useful outputs." AIは、渋滞を避けてルートを再設定する地図アプリ、異常な購入をフラグ立てする銀行、一般的な質問に答えるカスタマーサポートのチャットボットなど、日常的なツールの中に存在しています。AIは単一のツールではなく、カテゴリです。その中には、音声、視覚、予測などのタスクに特化したモデルが含まれています。初心者は、大規模言語モデルによって駆動するChatGPTのような対話型AIツールから始めることがよくあります。

How large language models work

大規模言語モデル（LLM）は、言語を扱うように設計されたモデルです。多くのソースからの大量のテキストからパターンを学習し、役立つ方法でテキストを生成・変換できるようにします。

"A large language model (LLM) is a model designed to work with language. It learns patterns from large amounts of text from many sources so it can generate and transform text in helpful ways." LLMは、人間のように物事を「知っている」わけではありません。代わりに、文脈に基づいて次にくる可能性が最も高い言語の断片を予測します。計算能力、学習方法、大規模データセットへのアクセスの進歩により、より大規模で有能なLLMの構築が可能になりました。OpenAIのような最先端の研究所がこれらのモデルを構築し、ChatGPTやCodexのような製品、および開発者向けのAPIを通じて提供しています。

How models evolve over time

新しいモデルは、学習が行われ、内部評価と安全性テストに合格した後に利用可能になります。学習は2つの段階で構成されます：事前学習（pre‑training）と事後学習（post‑training）です。

"The first stage is pre‑training, when the model learns general patterns from a huge amount of text, which gives it broad skills like summarizing, drafting, translating, and explaining." 事前学習は、新しい従業員が仕事の全体像を理解するために、マニュアル、例、過去のプロジェクトを読むことに似ています。事前学習の後、モデルは事後学習に入り、より明確に、適切なフォローアップを行い、適切なトーンに合わせ、会社のポリシーに従うように指導されます。この段階では、有害な出力を減らし、不要な要求を避け、機密性の高いトピックや不確実なトピックに対して慎重に回答するように設計された安全性チェックも重視されます。モデルが更新されるにつれて、ユーザーはトーンや回答の変化に気づくことがあります。目標、対象、形式、制約を明示することは、特に安全性や不確実性が関わる場合に、一貫した結果を得るのに役立ちます。

Reasoning and non‑reasoning models

モデルは、速度、深さ、多段階の指示に従う能力など、異なるトレードオフに合わせて調整されています。

"Non‑reasoning models (sometimes labeled as ‘Instant’) are optimized for fast, fluent output. They’re a good default when the task is straightforward and you mainly want momentum." "Reasoning models (sometimes labeled as ‘Thinking’) are trained to do better at deliberate, step‑by‑step problem solving—things like planning, complex analysis, tricky debugging, or decisions with constraints and edge cases." 非推論モデルは、ドラフト作成、要約、書き換え、ブレインストーミングなどの日常的なタスクに対して、速度と流暢さを優先します。推論モデルは、回答する前に問題を深く考えるために、より多くの計算リソースを割り当てます。これにより、より困難な多段階の作業における信頼性が向上しますが、回答に時間がかかる場合があります。初心者向けには、デフォルトのChatGPT体験ではモードが自動的に切り替わるため、ユーザーは設定よりも質問に集中できます。使い続けるうちに、ユーザーはオプションのコントロールを試すことができ、ほとんどの場合は「Auto」を選択し、複雑なタスクや重要なタスクには「Thinking」に切り替えることができます。

Summary

このガイドは、シンプルな階層構造を提示しています：

• AI = 全体的な分野
• Models = 特定のタスクを実行するために学習されたシステム
• Large language models (LLMs) = 言語の理解と生成に焦点を当てたモデルで、AI研究室によって継続的に学習されているもの
• ChatGPT = LLMを効果的に使用するのを助ける製品 この階層を理解することで、AIと効果的にコミュニケーションをとる方法を学び、ChatGPTのようなツールから素晴らしい結果を得る準備が整います。