✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,431 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
OpenAI とジャーナリズム：ニューヨーク・タイムズ訴訟への対応
OpenAIは、公共のインターネットデータでAIモデルを訓練することはフェアユースであると主張し、著作権で保護されたコンテンツの再現は稀なバグであると説明し、ニューヨーク・タイムズからの訴訟に対応しています。
WHOOP Coach: GPT-4 を活用したパーソナライズド ヘルス コーチング
WHOOP は OpenAI の GPT-4 を統合し、WHOOP Coach を立ち上げました。これは、ユーザー固有の生理データに基づいてパーソナライズドかつオンデマンドのガイダンスを提供する AI を活用したフィットネスおよびヘルス コーチです。
aMUSEd: 効率的なテキストから画像への生成
Hugging Face は、Masked Image Modeling (MIM) に基づく効率的な非拡散テキストから画像へのモデルであり、Google の MUSE のオープン再現である aMUSEd をリリースしました。
Hugging Face SDXL Dreambooth LoRA 高度トレーニングガイド
Hugging Face は、SDXL Dreambooth LoRA 用の高度なトレーニングスクリプトを導入し、Pivotal Tuning と Prodigy オプティマイザを組み合わせてコンセプト捕捉と画像品質を向上させます。
推測デコードで Whisper 推論が 2× 速くなる
Hugging Face は、推測デコードが Whisper の転写レイテンシを半減させ、出力と精度を同一に保つことを実証しました。
Anthropic API Updates: Expanded Legal Protections and Messages API Beta
Anthropicは、Commercial Terms of Serviceにおいて拡張された著作権補償を導入し、開発者体験をストリームライン化し、function callingのような将来の機能を可能にするための新しいベータ版Messages APIを導入しました。
2023年 オープンLLM年次レビュー
Hugging Faceの2023年の振り返りは、オープンソースLLMの急増、高性能な小型モデルの登場、そしてアクセスの拡大とコミュニティの参加を劇的に広げる新しいファインチューニング技術について示しています。
エージェントAIシステムのガバナンスに関するOpenAIの実践
OpenAIは、エージェントAIシステム（限定的な監督下で複雑な目標を追求するAI）を社会に責任ある形で統合するための、基本的な責任と安全ベストプラクティスのフレームワークを提案しています。
OpenAI Superalignment Fast Grants
OpenAIは、超知能AIシステムの整合性と安全性に関する技術研究に資金を提供するため、1,000万ドルの助成金プログラムを開始しました。
Summer HealthはGPT-4を使用して小児診療ノートを自動化
Summer HealthはGPT-4を統合し、小児科医の観察を明確で専門用語のない診療ノートに変換し、ノート1件あたりの事務時間を10分から2分に短縮しました。
OpenAI 弱から強への一般化研究
OpenAIの研究者は、より小さく能力の低いモデルが大規模モデルを監督し、GPT-3.5レベルに近い能力を引き出すことができることを実証し、超人的AIシステムを整合させるための潜在的な道筋を示しました。
AIジャーナリズムに向けたOpenAIとAxel Springerのパートナーシップ
OpenAIとAxel Springerは、POLITICOやBusiness Insiderなどの権威あるニュースコンテンツをChatGPTに統合し、Axel SpringerのコンテンツをLLMのトレーニングに活用するために提携しました。
Mistral AI La Plateforme リリース
Mistral AIは、パフォーマンスと価格のトレードオフが異なる3つの生成チャットエンドポイントと1つの埋め込みエンドポイントへのアクセスを提供するベータ版APIサービス、La Plateformeをリリースしました。
Mixtral 8x7B リリースノート
Mistral AI は、多くのベンチマークで Llama 2 70B を上回る性能を発揮しながら、6 倍高速な推論を実現するスパース・ミックスチャート・オブ・エキスパートモデルである Mixtral 8x7B をリリースしました。
Mixture of Experts (MoE) の解説
Mixture of Experts (MoE) は、トランスフォーマーモデルがパラメータをスケールさせつつ、トークンごとにニューラルネットワークのエキスパートの一部だけを活性化することで、効率的な事前学習と高速な推論を維持できるようにします。
Mixtral 8x7B リリースノート
Mistral AI は Mixtral 8x7B をリリースしました。この Mixture of Experts (MoE) モデルは Llama 2 70B を上回り、ほとんどのベンチマークで GPT-3.5 と同等の性能を示しながら、Apache 2.0 の下で商業的に許容可能です。
Anthropic Research: 言語モデルの意思決定における差別を評価し、軽減する
Anthropicは、言語モデルにおける差別的影響を事前に評価し、軽減するための手法を導入し、プロンプトエンジニアリングが、社会的に重要な意思決定シナリオにおけるバイアスをどのように減少させることができるかを示しています。
SetFitABSA: 少数ショットのアスペクトベース感情分析
Hugging Face と Intel Labs は、プロンプト不要で少数ショットのアスペクトベース感情分析フレームワークである SetFitABSA を導入しました。このフレームワークは、データが少ないシナリオにおいて、Llama 2 や T5 などの大規模生成モデルを上回る性能を示します。
Optimum-NVIDIA リリースノート
Hugging Face は、FP8 量子化と TensorRT-LLM を使用して NVIDIA プラットフォーム上の LLM 推論を最大 28 倍に高速化する推論ライブラリ Optimum-NVIDIA をリリースしました。
Hugging Face LoRA 動的ロードで推論速度が300%向上し、レイテンシを削減
Hugging Face は、ウォームアップ時間を 25 秒から 3 秒に短縮し、LoRA 推論を最大 300 % 高速化、総応答時間を 35 秒から 13 秒に削減する動的 LoRA ローディングシステムを発表しました。
Hugging Face と AMD GPU 加速 for LLMs
Hugging Face と AMD は、Transformers ライブラリと Text Generation Inference に AMD Instinct GPU 用の即時サポートを統合し、コード変更なしで高性能な LLM 実行を可能にしました。
Hugging Face Open LLM Leaderboard DROP ベンチマーク分析
Hugging Face は、誤った正規化とストップトークンの設定によりほとんどのモデルが誤って低いスコアになることを発見した後、Open LLM Leaderboard から DROP ベンチマークを削除しました。
OpenAI リーダーシップ アップデート: サム・アルトマンが CEO に復帰
サム・アルトマンは、新しい初期取締役会の支援と企業ガバナンスの強化へのコミットメントにより、OpenAI の CEO に復帰しました。
Claude 2.1 リリースノート
Anthropicは、200Kトークンのコンテキストウィンドウ、ハルシネーション率の2倍の低減、および新しいベータ機能であるツール使用を特徴とするClaude 2.1をリリースしました。
OpenAI リーダーシップ移行: ミラ・ムラティが暫定CEOに任命
OpenAIは、CEO役職と取締役会の両方を離れたサム・アルトマンの退任後に、ミラ・ムラティを暫定CEOに任命しました。
OpenAI データパートナーシップ
OpenAIは、組織と協力して公共およびプライベートなデータセットを作成し、AIモデルのトレーニングに使用することで、ドメイン固有の理解を向上させ、AGIへの進展を目指すデータパートナーシッププログラムを立ち上げました。
SDXL と Stable Diffusion の 高速 推論 と Latent Consistency LoRAs
Hugging Face は、SDXL と Stable Diffusion モデルで 4 ～ 8 ステップの 高品質 画像 生成 を 可能 に する LCM LoRAs という 手法 を 紹介 し、推論 時間 を 大幅 に 短縮 しました。
Prodigy-HF 統合リリースノート
Explosionは、注釈付きデータ上でHugging Faceトランスフォーマーモデルの直接ファインチューニングを可能にし、Hugging Face Hubへのデータセットの直接アップロードを可能にするプラグインProdigy-HFをリリースしました。
optimum-neuron を使用した AWS Inferentia2 上への Llama 2 のデプロイ
Hugging Face は、高性能なテキスト生成のために、Llama 2 モデルを AWS Inferentia2 アクセラレータ上でデプロイできるように、optimum-neuron を AWS Neuron SDK と統合しました。
LoRAを用いた災害ツイート分類におけるRoBERTa、Llama 2、およびMistralの比較
Low-Rank Adaptation (LoRA) を用いてファインチューニングした場合、小規模なRoBERTaモデルが災害ツイートの二値分類においてLlama 2およびMistral 7Bよりも優れた性能を示すことが比較研究により明らかになりました。
OpenAI が GPTs を発表
OpenAI は、コーディング不要で特定の目的のためにユーザーが作成できる ChatGPT のカスタムバージョンである GPTs をローンチし、個人、職場、エンタープライズ向けのカスタマイズされた AI アシスタントを可能にしました。
OpenAI DevDay 2023: GPT-4 Turbo, Assistants API, and Multimodal Updates
OpenAIは、128Kのコンテキストウィンドウを備えたGPT-4 Turbo、エージェントのような体験を実現する新しいAssistants API、そしてDALL·E 3やTTSを含む拡張されたマルチモーダル機能を発表しました。
xAI PromptIDE 発表のお知らせ
xAIは、Grok-1モデルのプロンプトエンジニアリングと解釈可能性研究を加速させるために設計された、統合開発環境およびSDKであるPromptIDEをリリースしました。
Anthropicによる米大統領令、G7行動規範、およびブレッチリー・パーク・サミットの分析
Anthropicは、2023年第4四半期のAI政策における3つの主要な節目：米国のAIに関する大統領令、G7国際行動規範、およびブレッチリー宣言について、その支持を概説しています。
Hugging Face Hub ストレージリージョン
Hugging Faceは、Enterprise Hubの顧客向けにストレージリージョンを導入し、組織がモデルとデータセットの保存場所を選択できるようになり、規制遵守とデータ転送パフォーマンスの向上を実現します。
xAI Grok リリースノート
xAIは、Xプラットフォームを介したリアルタイムの世界知識と、『Hitchhiker's Guide to the Galaxy』をモデルにしたパーソナリティを備えた、Grok-1 LLMを搭載したAIアシスタント、Grokを発表しました。
Anthropic 責任あるスケーリング・ポリシー (RSP) フレームワーク
Anthropicは、AIモデルが危険な能力を獲得するにつれて、特定の安全策を起動させるために、AI 安全レベル (ASL) を使用する責任あるスケーリング・ポリシー (RSP) を導入しました。
パーソナル Copilot: 自分専用のコーディングアシスタントを訓練する
Hugging Faceは、QLoRAおよびフルファインチューニング技術を使用してStarCoderを特定のコードベースでファインチューニングすることにより、パーソナライズされたコーディングアシスタントであるHugCoderを作成する方法を実証しています。
OpenAI フロンティアリスクと準備フレームワーク
OpenAIは、フロンティアAIモデルに関連する災害的リスクを特定、評価、軽減するため、専門のPreparednessチームとRisk-Informed Development Policyを設立しました。
フロンティアモデルフォーラム アップデート
OpenAI、Anthropic、Google、およびMicrosoftは、Chris Meseroleをフロンティアモデルフォーラムのエグゼクティブディレクターに任命し、1000万ドルのAIセーフティファンドを設立して、能力のあるAIモデルの評価に関する研究を推進しました。
Hugging Face と Renumics Spotlight の統合によるスケーラブルなデータ検査
Hugging Face は Renumics Spotlight と統合し、1 行のコードで機械学習データセットのインタラクティブな可視化と検査を可能にし、マルチモーダルデータとモデル結果のサポートも含みます。
Stable Diffusion XL (SDXL) の推論速度とメモリ使用量の最適化
Hugging Faceは、Stable Diffusion XL (SDXL) のメモリ使用量を28GBから最小11.47GBまで削減し、推論レイテンシを72.2秒から約10.3秒まで短縮する方法を示す、いくつかの最適化手法を調査しています。
Hugging Face Inference Endpoints を使用したエンベディングモデルのデプロイ
Hugging Face は、Inference Endpoints を通じて Text Embeddings Inference (TEI) を導入し、RAG やセマンティック検索向けのオープンソースエンベディングモデルを高パフォーマンスかつコスト効率よくデプロイする方法を提供します。
PPOを用いたRLHFの実装詳細 – Hugging Face Blog 要約
Hugging Faceのブログ記事は、OpenAIの2019年のRLHFコードベースを再現して学習曲線の一致を確認し、よりアグレッシブな更新を引き起こすPyTorch Adamオプティマイザの重要な違いを含む、詳細な実装仕様を記述しています。
Anthropic Research: Specific versus General Principles for Constitutional AI
Anthropicの研究は、「do what's best for humanity」のような単一の一般的な原則は広範な有害な行動を軽減できるものの、詳細な憲法は特定のAIの害に対して優れたきめ細かな制御を提供することを示しています。
Anthropic Research: Understanding Sycophancy in Language Models
Anthropicの研究者たちは、RLHFでトレーニングされたAIアシスタントが、真実性よりもユーザーの信念を反映する傾向があることを見つけました。これは「sycophancy（追従性）」と呼ばれる行動であり、人間の選好判断によって引き起こされます。
ChatGPT PlusおよびEnterpriseでのDALL·E 3の統合
OpenAIはChatGPT PlusおよびEnterpriseにDALL·E 3を統合し、視覚的忠実度が高く、プロンプトへの従順性が向上し、テキスト、手、顔のレンダリングが改善されたモデルを導入しました。
Gradio-Lite: ブラウザ内で完全に動作するサーバーレス Gradio
Hugging Face は、Pyodide を使用して Gradio アプリケーションをウェブブラウザで直接実行し、サーバーサイドインフラストラクチャの必要性をなくす JavaScript ライブラリである Gradio-Lite (@gradio/lite) を紹介します。
集団的憲法AI：パブリックインプットによる言語モデルの調整
AnthropicとCollective Intelligence Projectは、約1,000人の米国市民による憲法を用いて言語モデルを調整する手法を開発しました。その結果、企業内部の憲法で調整されたモデルよりも、社会的バイアスが低いモデルが実現しました。
クライアントサイド技術を用いたLLM搭載Webアプリの構築
Ollamaは、ブラウザベースのツールとローカルLLM実行のためのOllamaを組み合わせて、完全にローカルなRetrieval-Augmented Generation (RAG) Webアプリケーションを構築することの実現可能性を探索しています。