✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,060 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
Hugging Face Open LLM Leaderboard DROP ベンチマーク分析
Hugging Face は、誤った正規化とストップトークンの設定によりほとんどのモデルが誤って低いスコアになることを発見した後、Open LLM Leaderboard から DROP ベンチマークを削除しました。
OpenAI リーダーシップ アップデート: サム・アルトマンが CEO に復帰
サム・アルトマンは、新しい初期取締役会の支援と企業ガバナンスの強化へのコミットメントにより、OpenAI の CEO に復帰しました。
Claude 2.1 リリースノート
Anthropicは、200Kトークンのコンテキストウィンドウ、ハルシネーション率の2倍の低減、および新しいベータ機能であるツール使用を特徴とするClaude 2.1をリリースしました。
OpenAI リーダーシップ移行: ミラ・ムラティが暫定CEOに任命
OpenAIは、CEO役職と取締役会の両方を離れたサム・アルトマンの退任後に、ミラ・ムラティを暫定CEOに任命しました。
OpenAI データパートナーシップ
OpenAIは、組織と協力して公共およびプライベートなデータセットを作成し、AIモデルのトレーニングに使用することで、ドメイン固有の理解を向上させ、AGIへの進展を目指すデータパートナーシッププログラムを立ち上げました。
SDXL と Stable Diffusion の 高速 推論 と Latent Consistency LoRAs
Hugging Face は、SDXL と Stable Diffusion モデルで 4 ～ 8 ステップの 高品質 画像 生成 を 可能 に する LCM LoRAs という 手法 を 紹介 し、推論 時間 を 大幅 に 短縮 しました。
Prodigy-HF 統合リリースノート
Explosionは、注釈付きデータ上でHugging Faceトランスフォーマーモデルの直接ファインチューニングを可能にし、Hugging Face Hubへのデータセットの直接アップロードを可能にするプラグインProdigy-HFをリリースしました。
optimum-neuron を使用した AWS Inferentia2 上への Llama 2 のデプロイ
Hugging Face は、高性能なテキスト生成のために、Llama 2 モデルを AWS Inferentia2 アクセラレータ上でデプロイできるように、optimum-neuron を AWS Neuron SDK と統合しました。
LoRAを用いた災害ツイート分類におけるRoBERTa、Llama 2、およびMistralの比較
Low-Rank Adaptation (LoRA) を用いてファインチューニングした場合、小規模なRoBERTaモデルが災害ツイートの二値分類においてLlama 2およびMistral 7Bよりも優れた性能を示すことが比較研究により明らかになりました。
OpenAI が GPTs を発表
OpenAI は、コーディング不要で特定の目的のためにユーザーが作成できる ChatGPT のカスタムバージョンである GPTs をローンチし、個人、職場、エンタープライズ向けのカスタマイズされた AI アシスタントを可能にしました。
OpenAI DevDay 2023: GPT-4 Turbo, Assistants API, and Multimodal Updates
OpenAIは、128Kのコンテキストウィンドウを備えたGPT-4 Turbo、エージェントのような体験を実現する新しいAssistants API、そしてDALL·E 3やTTSを含む拡張されたマルチモーダル機能を発表しました。
xAI PromptIDE 発表のお知らせ
xAIは、Grok-1モデルのプロンプトエンジニアリングと解釈可能性研究を加速させるために設計された、統合開発環境およびSDKであるPromptIDEをリリースしました。
Anthropicによる米大統領令、G7行動規範、およびブレッチリー・パーク・サミットの分析
Anthropicは、2023年第4四半期のAI政策における3つの主要な節目：米国のAIに関する大統領令、G7国際行動規範、およびブレッチリー宣言について、その支持を概説しています。
Hugging Face Hub ストレージリージョン
Hugging Faceは、Enterprise Hubの顧客向けにストレージリージョンを導入し、組織がモデルとデータセットの保存場所を選択できるようになり、規制遵守とデータ転送パフォーマンスの向上を実現します。
xAI Grok リリースノート
xAIは、Xプラットフォームを介したリアルタイムの世界知識と、『Hitchhiker's Guide to the Galaxy』をモデルにしたパーソナリティを備えた、Grok-1 LLMを搭載したAIアシスタント、Grokを発表しました。
Anthropic 責任あるスケーリング・ポリシー (RSP) フレームワーク
Anthropicは、AIモデルが危険な能力を獲得するにつれて、特定の安全策を起動させるために、AI 安全レベル (ASL) を使用する責任あるスケーリング・ポリシー (RSP) を導入しました。
パーソナル Copilot: 自分専用のコーディングアシスタントを訓練する
Hugging Faceは、QLoRAおよびフルファインチューニング技術を使用してStarCoderを特定のコードベースでファインチューニングすることにより、パーソナライズされたコーディングアシスタントであるHugCoderを作成する方法を実証しています。
OpenAI フロンティアリスクと準備フレームワーク
OpenAIは、フロンティアAIモデルに関連する災害的リスクを特定、評価、軽減するため、専門のPreparednessチームとRisk-Informed Development Policyを設立しました。
フロンティアモデルフォーラム アップデート
OpenAI、Anthropic、Google、およびMicrosoftは、Chris Meseroleをフロンティアモデルフォーラムのエグゼクティブディレクターに任命し、1000万ドルのAIセーフティファンドを設立して、能力のあるAIモデルの評価に関する研究を推進しました。
Hugging Face と Renumics Spotlight の統合によるスケーラブルなデータ検査
Hugging Face は Renumics Spotlight と統合し、1 行のコードで機械学習データセットのインタラクティブな可視化と検査を可能にし、マルチモーダルデータとモデル結果のサポートも含みます。
Stable Diffusion XL (SDXL) の推論速度とメモリ使用量の最適化
Hugging Faceは、Stable Diffusion XL (SDXL) のメモリ使用量を28GBから最小11.47GBまで削減し、推論レイテンシを72.2秒から約10.3秒まで短縮する方法を示す、いくつかの最適化手法を調査しています。
Hugging Face Inference Endpoints を使用したエンベディングモデルのデプロイ
Hugging Face は、Inference Endpoints を通じて Text Embeddings Inference (TEI) を導入し、RAG やセマンティック検索向けのオープンソースエンベディングモデルを高パフォーマンスかつコスト効率よくデプロイする方法を提供します。
PPOを用いたRLHFの実装詳細 – Hugging Face Blog 要約
Hugging Faceのブログ記事は、OpenAIの2019年のRLHFコードベースを再現して学習曲線の一致を確認し、よりアグレッシブな更新を引き起こすPyTorch Adamオプティマイザの重要な違いを含む、詳細な実装仕様を記述しています。
Anthropic Research: Specific versus General Principles for Constitutional AI
Anthropicの研究は、「do what's best for humanity」のような単一の一般的な原則は広範な有害な行動を軽減できるものの、詳細な憲法は特定のAIの害に対して優れたきめ細かな制御を提供することを示しています。
Anthropic Research: Understanding Sycophancy in Language Models
Anthropicの研究者たちは、RLHFでトレーニングされたAIアシスタントが、真実性よりもユーザーの信念を反映する傾向があることを見つけました。これは「sycophancy（追従性）」と呼ばれる行動であり、人間の選好判断によって引き起こされます。
ChatGPT PlusおよびEnterpriseでのDALL·E 3の統合
OpenAIはChatGPT PlusおよびEnterpriseにDALL·E 3を統合し、視覚的忠実度が高く、プロンプトへの従順性が向上し、テキスト、手、顔のレンダリングが改善されたモデルを導入しました。
Gradio-Lite: ブラウザ内で完全に動作するサーバーレス Gradio
Hugging Face は、Pyodide を使用して Gradio アプリケーションをウェブブラウザで直接実行し、サーバーサイドインフラストラクチャの必要性をなくす JavaScript ライブラリである Gradio-Lite (@gradio/lite) を紹介します。
集団的憲法AI：パブリックインプットによる言語モデルの調整
AnthropicとCollective Intelligence Projectは、約1,000人の米国市民による憲法を用いて言語モデルを調整する手法を開発しました。その結果、企業内部の憲法で調整されたモデルよりも、社会的バイアスが低いモデルが実現しました。
クライアントサイド技術を用いたLLM搭載Webアプリの構築
Ollamaは、ブラウザベースのツールとローカルLLM実行のためのOllamaを組み合わせて、完全にローカルなRetrieval-Augmented Generation (RAG) Webアプリケーションを構築することの実現可能性を探索しています。
Typeform Formless: AIを活用した会話型データ収集
Typeformは、GPT-3.5 TurboとGPT-4を基盤とするAIを活用したプラットフォームFormlessを発表しました。これにより、従来のフォーム構造が動的な双方向会話型体験に置き換わります。
Ironclad AI Assist の GPT-4 統合
Ironclad は AI Assist を通じて契約ライフサイクル管理プラットフォームに GPT-4 を統合し、初期の契約レッドライン時間を 40 分から 2 分に短縮しました。
Retool AI と GPT-4 の統合
Retool は、GPT-4 を駆動する機能スイートである Retool AI をローンチしました。これにより、ビジュアル キャンバスを使用してカスタム AI 駆動アプリケーションとワークフローを構築できるようになります。
Anthropic Research: Decomposing Language Models With Dictionary Learning
Anthropicの研究者は、辞書学習を用いて言語モデルの層を単一の意味を持つ特徴量に分解する手法を開発しました。これにより、個々のニューロンレベルでは不可視であった複雑なニューラルネットワークの活性化を解釈することが可能になります。
Anthropic、言語モデルを分解して理解可能なコンポーネントに分解する
Anthropicの研究者たちは、辞書学習を用いてニューラルネットワークの活性化を解釈可能な特徴量に分解する手法を開発しました。これにより、解釈不可能な個々のニューロンの限界を超えようとしています。
Ollama 公式 Docker イメージのリリース
Ollama は、大規模言語モデルのローカルへのデプロイを簡略化するために、公式の Docker スポンサード・オープンソース・イメージをリリースしました。
ONNX Runtime を使用した Hugging Face モデルの高速化
Hugging Face と ONNX Runtime は、130,000 を超えるモデルのパフォーマンス向上を可能にし、PyTorch と比較して whisper-tiny モデルのレイテンシーを最大 74.30% 削減します。
Anthropic: AIシステムの評価における課題
Anthropic は、堅牢な AI 評価の構築における技術的および運用上の困難を概説し、効果的な AI ガバナンスは、これらの測定の課題を克服することに依存すると主張しています。
DALL·E 3 システムカード
OpenAIは、DALL·E 2と比較してキャプションの忠実度と画像品質の改善を詳細に説明したDALL·E 3システムカードをリリースし、広範な安全評価とリスク軽減策も併せて示しました。
Hugging Face チャットテンプレート
Hugging Faceは、チャットモデルがトレーニング時と全く同じ形式で入力を受け取れるようにし、サイレントなパフォーマンス低下を防ぐためのJinjaベースのシステムとして、チャットテンプレートを導入しました。
Cloud TPU v5e上のJAXを使用したStable Diffusion XL推論の高速化
Hugging Face Diffusersは、Cloud TPU v5e上のJAXを使用してStable Diffusion XL（SDXL）の提供をサポートし、TPU v4と比較してドルあたりの性能が最大2.4倍向上します。
Hugging Face Inference API を使用した AI Comic Factory のデプロイ
Hugging Face は、Inference API を使用して AI Comic Factory のプライベート インスタンスをデプロイするガイドを提供しており、Llama-2 と SDXL 1.0 モデルを活用しています。
TRL を用いた DDPO による Stable Diffusion のファインチューニング
Hugging Face は TRL ライブラリに Denoising Diffusion Policy Optimization (DDPO) を統合し、強化学習を使用して Stable Diffusion モデルを人間の好みに合わせることを可能にしました。
Hugging Face 倫理と社会 アップデート 2023年夏
Hugging Faceは、米国、EU、英国におけるAI規制に影響を与えるための2023年夏の取り組みを詳しく説明し、公共の広報活動と技術的研究を通じてオープンソースの倫理を推進しました。
Hugging Face ガイド: コード不要で LLaMA 2 チャットボットをトレーニング
Hugging Face は、Spaces、AutoTrain、ChatUI を使用したノーコード ワークフローを提供し、エンジニアでないユーザーでも LLaMA 2 をファインチューニングし、機能的なチャット アプリケーションとしてデプロイできるようにします。
Mistral AI: オープンなAIモデルを最前線へ
Mistral AIは、13Bパラメータまでの他のオープンモデルを凌駕するMistral 7Bのリリースを開始として、オープンウェイトの生成AIモデルの革命を先導するために立ち上がりました。
Mistral 7B リリースノート
Mistral AI は、すべてのベンチマークで Llama 2 13B を上回る 73 億パラメータの言語モデル Mistral 7B をリリースしました。このモデルは Apache 2.0 ライセンスの下で利用可能です。
Llama 2 on Amazon SageMaker ベンチマーク
Hugging Face は、Amazon SageMaker 上の Llama 2 の 60 種類のデプロイ構成を分析し、コスト、スループット、レイテンシに対して最適なセットアップを特定しました。
GPT-4V(ision) システムカード
OpenAIは、GPT-4のマルチモーダル拡張であるGPT-4V(ision)を導入しました。これにより、モデルは画像入力を分析および処理し、新しいタスクを解決し、新規のユーザーエクスペリエンスを提供できるようになります。
ChatGPT 音声と画像機能アップデート
OpenAIはChatGPTにマルチモーダル機能を導入し、Plusおよびエンタープライズユーザーが音声会話を行い、画像を共有して分析できるようにしました。
Anthropic、Amazonによる40億ドルの投資とAWS Bedrock経由でのClaude 2アクセスの拡大を発表
Anthropicは、Amazonによる最大40億ドルの投資を受け、AWSをモデルの主要なクラウドとして指定し、Amazon Bedrock上でClaude 2の提供範囲を拡大することで、企業向けに、より安全で高性能なAIを提供します。