✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 1,214 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
DALL·E Outpainting 機能リリース
OpenAIはDALL·E向けにOutpaintingを導入し、ユーザーが自然言語の説明を用いて画像を元の境界を超えて拡張し、視覚的一貫性を保つことができるようにしました。
OpenAI、ヒューマンフィードバックからの強化学習とInstructGPTを用いたアラインメント戦略を発表
OpenAI は、ヒューマンフィードバックからの強化学習と InstructGPT を、言語モデルに人間の意図に従わせる効果的かつ低コストな手法として位置付け、現在の限界と AI 主導のアラインメント研究に向けた将来目標を示しました。
OpenAI モデレーションエンドポイントのリリース
OpenAI は、開発者がアプリケーション内の禁止コンテンツを検出・ブロックできるようにする GPT ベースの分類器を提供する無料の Moderation エンドポイントをリリースしました。
OpenAI、フィルイン・ザ・ミドル（FIM）向け言語モデルの効率的なトレーニングを発表
OpenAI は、自己回帰言語モデルがフィルイン・ザ・ミドルタスクを実行できる新しいトレーニング手法を公開しました。この手法は左から右への生成品質を犠牲にせず、インフィリング機能をシンプルかつ効率的に追加できる点が特徴です。
コード合成大型言語モデルのためのハザード分析フレームワーク
OpenAIは、Codexのような高度なコード生成モデルの展開に伴う技術的、社会的、政治的、経済的リスクを特定し軽減するためのハザード分析フレームワークを導入しました。
OpenAI DALL·E ベータリリース
OpenAIは、DALL·Eがベータ版として100万人の招待ユーザーに利用可能になり、無料の月間クレジットと商業利用権が提供されることを発表しました。
DALL·E 2 におけるバイアスの削減と安全性の向上
OpenAI は、生成される人物の多様性を高め、欺瞞的なコンテンツの作成を防止するために、安全フィルタを強化した DALL·E 2 用のシステムレベルの手法を実装しました。
DALL·E 2: 創造性の拡張
OpenAI の DALL·E 2 リサーチプレビューは、118 カ国以上の 3,000 人以上のアーティストに採用され、医療支援からハイエンド料理芸術まで多様なクリエイティブワークフローに AI 生成画像を統合しています。
DALL·E 2 事前学習における緩和策
OpenAIはデータフィルタリングのためにアクティブラーニングを導入し、バイアス増幅を防止するための重み付けスキーム、そして画像の再現を排除するためのクラスタリングベースの重複除去プロセスをDALL·E 2に実装しました。
OpenAI ビデオ事前学習 (VPT) for Minecraft
OpenAI は、Video PreTraining (VPT) という半教師あり模倣学習手法を導入し、人間のプレイの大量のラベルなしビデオデータセットで学習することで、エージェントが Minecraft で複雑な行動を学習できるようにしました。
OpenAI 大規模モデルによる進化 (ELM) 研究
OpenAI は、LLM を使用して遺伝的プログラミングを人間らしいコード変異で近似し、未知のドメインで機能的なプログラムを生成する手法「大規模モデルによる進化 (ELM)」を紹介します。
AIが書いた批評が人間に欠陥に気付かせる
OpenAIの研究は、AIが生成した批評が人間の評価者に要約の欠陥を大幅に多く特定させることを示し、複雑なAIタスクに対する人間の監督をスケーラブルに行う道筋を示唆しています。
OpenAI 大規模ニューラルネットワークのトレーニング手法
OpenAI は、データ並列、パイプライン並列、テンソル並列、エキスパート並列という主要な並列化戦略と、巨大な AI モデルのトレーニングのために GPU クラスタを調整する際に使用されるメモリ節約技術を概説しています。
OpenAI、Cohere、AI21 Labs の言語モデル展開に関するベストプラクティス
OpenAI、Cohere、AI21 Labs は、大規模言語モデルの責任ある開発と展開に向けたリスク軽減と誤用防止のための、初期的なベストプラクティスを共同で発表しました。
OpenAI研究：モデルに不確実性を言葉で表現させる
OpenAIの研究者は、GPT-3がモデルのロジットに依存せずに、自然言語で回答の校正された不確実性を表現できるように訓練できることを実証しました。
OpenAI Codex のアプリケーションと統合
OpenAI Codex は GPT-3 を基盤とした自然言語からコードへの変換システムで、GitHub Copilot を含む 70 以上のアプリケーションに搭載され、英語の指示をコードに変換することで開発者の生産性を向上させます。
OpenAI DALL·E 2 研究プレビューの更新
OpenAIは、300万枚以上の画像を生成した限定的な研究プレビューに続き、待機リストに登録されたユーザーへのDALL·E 2へのアクセスを週に1,000人のペースで拡大しています。
OpenAI リーダーシップチームの更新
OpenAIは、Greg Brockman、Brad Lightcap、Mira Murati、Chris Clarkの役員職務変更を発表し、リーダーシップを会社の成長と戦略的マイルストーンに合わせました。
AIアラインメントにおけるグッドハートの法則の測定
OpenAI は、AI モデルにおける代理目的の最適化が真の目的の性能低下（グッドハートの法則）を引き起こす可能性を検証し、ベスト・オブ・n サンプリングを分析手法として提案しています。
CLIP潜在変数を用いた階層的テキスト条件付き画像生成
OpenAIは、テキストからCLIP画像埋め込みを生成するプライアと、その埋め込みから画像を生成するデコーダの二段階生成モデルを導入し、多様性の向上とゼロショット画像操作を実現しました。
GPT-3とCodexの編集および挿入機能
OpenAIは、単純なテキスト補完を超えて、既存のテキストを編集したり、ドキュメントの中間にコンテンツを挿入したりできる、GPT-3とCodexの新しいバージョンをリリースしました。
OpenAI 経済影響研究イニシアチブ
OpenAI は、GPT‑3、ChatGPT、DALL‑E 2 などの大規模言語モデルの経済的影響を研究するため、研究者と企業からの関心表明を募集しています。
OpenAI コード生成モデルの経済的影響に関する研究アジェンダ
OpenAIは、展開、システム設計、および公共政策に情報を提供するために、Codexのようなコード生成モデルが生産性、雇用、および経済的不平等にどのように影響するかを研究する研究アジェンダを提案しました。
OpenAI 言語モデルの安全性と悪用に関する教訓
OpenAIは、GPT-3およびCodexのデプロイメントから得られた洞察を共有しており、現実世界の悪用は理論的なリスクとは異なる場合が多いこと、そして安全性研究が商業的有用性を高めることが多いという点を強調しています。
OpenAI Formal Math Olympiad Problem Solving
OpenAIは、形式的な証明アシスタントを使用して、AMC12、AIME、およびIMOといった競技会の形式的な数学オリンピック問題を解くモデルの能力を実証しました。
OpenAI InstructGPT: 言語モデルを指示に従うように調整する
OpenAIは、GPT-3と比較して、ユーザーの意図をより良く理解し、真実性を高め、有害性を低減するために、人間からのフィードバックによる強化学習（RLHF）を用いて訓練された一連のモデル、InstructGPTを導入しました。
OpenAI Text and Code Embeddings Release
OpenAIは、GPT-3の派生モデルに基づいた新しい埋め込みモデルのセットをリリースしました。これらは、テキストとコードの数値表現を提供し、意味的な検索、クラスタリング、およびコードの検索を向上させます。
対照学習による事前学習によるOpenAIのテキストおよびコードのEmbeddings
OpenAIは、大規模な教師なしデータに対する対照学習による事前学習を用いて、高品質なテキストおよびコードのembeddingsが生成される手法を開発しました。これにより、線形プローブ分類やセマンティック検索において最先端の結果を達成しています。
WebGPT: WebブラウジングによるGPT-3の事実正確性の向上
OpenAIは、GPT-3をWebGPTへとファインチューニングしました。これは、テキストベースのWebブラウザを使用して情報を調査し、出典を引用することで、オープンエンドな質問への回答におけるハルシネーションを低減するプロトタイプです。
アプリケーション向けにGPT-3をカスタマイズする
OpenAIはGPT-3のファインチューニング機能を提供開始し、開発者が独自のデータを使用してモデルをトレーニングすることで、信頼性の向上、コスト削減、およびレイテンシの改善を実現できるようにしました。
OpenAI Residency Program Announcement
OpenAIは、他の分野の研究者やエンジニアを同社のフルタイムのAI職務へと移行させるために設計された、6ヶ月間の有償プログラム「OpenAI Residency」を開始しました。
OpenAI API アクセス: GPT-3 ウェイトリスト 削除
OpenAI は、サポートされている国の開発者がすぐにサインアップして実験を開始できるように、GPT-3 API のウェイトリストを削除しました。
OpenAIによる算数の文章題の解決とGSM8Kデータセット
OpenAIは、トレーニング済みの検証器を使用して、微調整されたGPT-3のほぼ2倍の精度で小学校レベルの算数の文章題を解決するシステムを開発しました。9〜12歳の子どもの60%の精度と比較して、55%の精度を達成しました。
OpenAI 人間のフィードバックを使った書籍の要約 (2021)
OpenAIは、人間のフィードバックからの強化学習と再帰的タスク分解を組み合わせた技術を導入し、評価が難しいタスクにおけるAIの監督というアライメントの課題に対処しながら、書籍全体の要約を生成しました。
TruthfulQA: モデルがどのように人間の誤った情報を模倣するかを測定する
OpenAIは、38のカテゴリにわたって言語モデルが一般的な人間の誤解や誤った情報を模倣しているかどうかを測定するために設計されたベンチマーク、TruthfulQAを導入しました。
Helen Toner joins OpenAI board of directors
OpenAIは、安全で責任あるAI展開へのコミットメントを強化するため、2021年9月8日にAI政策とグローバル戦略の専門家であるHelen Tonerを理事会に任命しました。
OpenAI Codex: コード生成のための GPT-3 の後継モデル
OpenAI Codex は、自然言語と数十億行の公開ソースコードの両方でトレーニングされた GPT-3 の後継モデルであり、英語のコマンドから動作するコードの生成を可能にします。
OpenAI Triton 1.0 リリース
OpenAIは、研究者が深いCUDAの専門知識なしに、非常に効率的なGPUカーネルを記述できるようにする、オープンソースのPythonライクな言語およびコンパイラであるTriton 1.0をリリースしました。
コードでトレーニングされた大規模言語モデルの評価: OpenAI Codex
OpenAIは、GitHubのコードで微調整されたGPTモデルであるCodexを導入しました。これは、HumanEval問題の28.8%を1回の試行で解決し、繰り返しサンプリングを使用すると最大70.2%を解決します。
OpenAI Research: 厳選されたデータセットのファインチューニングによる言語モデルの振る舞いの改善
OpenAIの研究者たちは、100例未満の小規模で厳選されたデータセットでGPT-3をファインチューニングすることで、ダウンストリームのパフォーマンスを損なうことなく、モデルが特定の行動的価値観に沿うようにすることを大幅に改善できることを見出しました。
OpenAI Scholars 2021: 最終プロジェクト
OpenAIは、2021 Scholarsプログラムの最終プロジェクトを発表しました。多様な研究者グループによるスケーリング法則、報酬モデリング、強化学習の研究が特徴です。
Will Hurd が OpenAI の取締役会に加入
OpenAI は、公共政策の専門知識を技術的な AI 開発と統合するために、元米国下院議員の Will Hurd を取締役会に任命しました。
GPT-3 API Ecosystem and Application Growth
OpenAIは、300以上のアプリケーションと数万人の開発者が、多様な業界においてGPT-3を利用し、1日平均45億語を生成していると報告しています。
CLIPにおけるマルチモーダル・ニューロン
OpenAIは、CLIPにおいて、提示されたものが文字通りか、記号的か、あるいは概念的かに関わらず、同じ概念に反応するニューロンを発見しました。これは、人間の脳に見られるマルチモーダル・ニューロンを反映しています。
大規模言語モデルの能力、限界、および社会的影響の理解
OpenAIは、GPT-3およびその他の大規模言語モデルに関連する技術的境界と社会的リスクを探求する、多角的なワークショップの概要をまとめています。
OpenAI が Kubernetes を 7,500 ノードにスケール
OpenAI は単一の Kubernetes クラスタを 7,500 ノードにスケールし、機械学習研究向けのシンプルでスケーラブルなインフラを提供しました。ネットワーク、API サーバー負荷、モニタリングの課題を克服しています。
CLIP: テキストと画像を接続する
OpenAIは、多様なデータセットにわたってゼロショット画像分類を可能にするため、自然言語の監督を通じて視覚的概念を学習するニューラルネットワークであるCLIPを発表しました。
DALL·E: テキストから画像を生成
OpenAIは、画像とテキストを単一のトークンストリームとして扱うことで、テキストの説明から多様な画像を生成できる120億パラメータのトランスフォーマーモデルであるDALL·Eを発表しました。
OpenAI 組織アップデート 2020年12月
OpenAIは、リサーチ担当VPであるDario Amodeiの離脱と、セーフティとプロダクト開発をより良く統合するためにMira Muratiをリサーチ、プロダクト、およびパートナーシップ担当SVPに任命したことを発表しました。
OpenAIがGPT-3テクノロジーをマイクロソフトにライセンス供与
OpenAIは、サードパーティ開発者向けの独立したAPIアクセスを維持しながら、マイクロソフト製品およびサービスへの統合のためにGPT-3言語モデル技術をマイクロソフトにライセンス供与しました。