✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,428 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
Hugging Face の Presidio を用いた PII 検出実験
Hugging Face は、Microsoft Presidio を Dataset Hub に統合する実験を行っており、自動 PII 検出レポートを提供し、実務者が機械学習データセットにおけるプライバシーリスクを特定・軽減できるよう支援しています。
TRL が視覚言語モデル向けに Direct Preference Optimization をサポート
Hugging Face は TRL ライブラリに視覚言語モデル向けの Direct Preference Optimization (DPO) サポートを追加し、bfloat16 量子化と LoRA を活用して、Idefics‑2 などのモデルを1台の GPU 上で好みデータでファインチューニングできるようにしました。
Hugging Face と KerasHub の統合
Hugging Face と KerasHub は今ではモデル保存フォーマットを共有しており、これにより KerasHub ユーザーは Hugging Face Hub から 300,000 を超える Transformers ライブラリのモデルを直接ロードできるようになります。
Google Cloud TPU を Hugging Face Inference Endpoints と Spaces で使用
Hugging Face は Google Cloud TPU v5e のサポートを Inference Endpoints と Spaces に統合し、ユーザーがコスト効率の高い高性能ハードウェアで AI モデルをデプロイおよびスケールできるようにしました。
Banque des Territoires、Polyconseil、そしてHugging FaceがEduRénovプログラム向けに主権的RAGソリューションを展開
Hugging Face、Polyconseil、Banque des Territoiresは、フランスのEduRénov学校改修プログラム向けにメールサポートを自動化する主権的なオープンソースRAGシステムを立ち上げ、データ所在性を確保しつつ、公共政策向けに生成AIをスケールさせました。
Hugging Face データセットハブ検索機能のアップデート
Hugging Face は、モダリティ、サイズ、形式、ライブラリ互換性の 4 つの新しい検索フィルタを導入し、データセットハブ上の 180,000 を超える公開データセットの発見性を向上させました。
Intel Gaudi 2上でのタンパク質言語モデルProtSTの高速化
IntelとMILAは、ProtSTマルチモーダルタンパク質言語モデルをIntel Gaudi 2アクセラレータ向けに最適化し、NVIDIA A100 GPUと比較して最大2.92倍高速なファインチューニングを実現しました。
Hugging Face Transformers コードエージェント GAIA ベンチマーク結果
Hugging Face は、transformers.agents ライブラリで構築されたコードエージェントを使用して GAIA ベンチマークでトップランクを獲得し、コードベースのアクションが JSON ベースのツール呼び出しよりも効率的かつ効果的であることを示しました。
Anthropic 第三者モデル評価イニシアチブ
Anthropicは、高度なAI能力および安全リスクを測定する高品質な評価の開発を支援する第三者向け資金提供イニシアチブを開始しました。
Anthropic Circuits Updates June 2024
Anthropicの2024年6月のCircuitsアップデートは、解釈可能性、マルチエージェント・システムの失敗、およびリーマンゼータ関数に関する数学的能力の進展に関する予備的な研究結果を提供します。
GPT-4でGPT-4のミスを見つける
OpenAIは、RLHFプロセス中に人間のトレーナーを支援するために、ChatGPTのコード出力のエラーを特定するよう設計されたGPT-4ベースのモデル、CriticGPTを導入しました。
OpenAI と TIME の戦略的コンテンツパートナーシップ
OpenAI と TIME は、TIME の 101 年にわたるジャーナリズムアーカイブを OpenAI 製品に統合し、TIME に対して製品開発のための OpenAI 技術へのアクセスを提供する、複数年にわたる戦略的パートナーシップを締結しました。
Google Gemma 2 リリースノート
GoogleはGemma 2をリリースしました。これは9Bと27Bパラメータサイズで利用可能なオープンウェイトLLMのファミリーで、蒸留とアテンションメカニズムにおける技術的進歩により性能が向上しています。
Ollama での Google Gemma 2 リリース
2B, 9B, 27B パラメータのバリエーションで提供される Google Gemma 2 が、クラス最高のパフォーマンスと効率性を実現する新しいアーキテクチャとともに Ollama でリリースされました。より大きなオープンモデルを凌駕します。
Anthropic Expands Claude Access for Government Agencies
Anthropicは、安全で専門的なサービス契約を通じて政府の任務を支持するため、Claude 3 HaikuおよびClaude 3 Sonnetを米国のインテリジェンス・コミュニティおよびAWS GovCloudで利用可能にしました。
XLSCOUT ParaEmbed 2.0 リリース
XLSCOUTは、専門家がキュレーションした特許データでファインチューニングされた独自の埋め込みモデル、ParaEmbed 2.0をリリースしました。これにより、ParaEmbed 1.0に比べて精度が23%向上しています。
Anthropic、コラボレーションAIワークフローのためのClaude Projectsを導入
Anthropicは、Claude ProおよびTeamユーザー向けにProjectsをリリースしました。これにより、200Kのコンテキストウィンドウ内で、厳選されたナレッジセットとカスタム指示を使用してチャットを整理できるようになります。
Hugging Face Ethics and Society Newsletter #6: データ品質の重要性
Hugging Face は、データ品質に対して包括的かつ責任あるアプローチを示し、データはその目的に適合していることが AI モデルの性能、公平性、科学的再現性を確保する上で不可欠であると強調しています。
Microsoft Florence-2 の DocVQA に対するファインチューニング
Hugging Face は、Microsoft の Florence-2 ビジョン・ランゲージモデルを DocVQA データセットでファインチューニングし、7 エポック後に検証時の類似度を 0 から 57.0 に向上させる方法を示しています。
OpenAI、リアルタイムデータ取得のためにRocksetを買収
OpenAIはリアルタイム分析データベースであるRocksetを買収し、その高性能インデックスおよびクエリ機能をOpenAIの取得インフラストラクチャに統合します。
OpenAIサイバーセキュリティ助成金プログラム：AI主導の防御研究を支援
OpenAIは、LLMの信頼性向上、脆弱性検出の自動化、そして自律型サイバー防御エージェントの開発を目的としたサイバーセキュリティ助成金プログラムのいくつかのプロジェクトを紹介しました。
OpenAI Consistency Models: Fast One-Step Generative AI
OpenAIは、ノイズをデータに直接マッピングすることで、拡散モデルの低速な反復サンプリングを克服し、高品質な1ステップ生成を可能にする新しい生成モデルのファミリーであるConsistency Modelsを導入しました。
OpenAIの望ましくないコンテンツ検出に対する包括的アプローチ
OpenAIは、性的コンテンツ、暴力、ハラスメントなどの望ましくないコンテンツを検出するための堅牢な自然言語分類システムを構築する包括的フレームワークを導入し、市販のモデルを上回る性能を実現しました。
Hugging Face データは共にあるイニシアチブ
Hugging Face と Argilla は、オープンソースコミュニティが機械学習のために高品質で多様かつ包括的なデータセットを共同で作成できるよう支援するために、Data Is Better Together（DIBT）イニシアチブを立ち上げました。
OpenAI、Consistency Modelsのトレーニングにおける改善技術を発表
OpenAIは、Consistency Modelsが拡散モデルの蒸留を介さずにデータから直接学習できるようにする新しいトレーニング手法を導入し、CIFAR-10およびImageNet 64×64において、最大4倍優れたFIDスコアを達成しました。
Prezi ケーススタディ：Hugging Face エキスパートサポートでMLロードマップを加速
Preziは、Hugging Face エキスパートサポートプログラムとInference Endpointsを活用し、効率的なオープンソースのマルチモーダルモデルをPrezi AIのプレゼンテーション生成ツールに統合しています。
ChatGPT Enterprise とカスタム GPT を活用した Paf の開発者生産性向上
ゲーム会社 Paf は ChatGPT Enterprise と 85 以上のカスタム GPT を導入し、定型コードの自動化と開発者トレーニングの加速を実現し、12 人分のフルタイム従業員に相当する成果を上げました。
Clay: エージェント型セールスプロスペクティングで10倍成長を実現
ClayはGPT-4を活用してClaygentというAIエージェントを動かし、Go-to-Marketチーム向けにウェブリサーチとデータエンリッチメントを自動化し、前年比10倍の成長を実現しています。
BigCodeBench: 複雑な Python コード生成のための新しいベンチマーク
Hugging Face は、実践的なプログラミングと多様なライブラリ利用を評価するために設計された 1,140 の関数レベルタスクからなるベンチマーク、BigCodeBench をリリースしました。これにより、HumanEval の単純さやデータ汚染の問題に対処します。
Color HealthはGPT-4oを活用してがんケアと診断作業を加速
Color Healthは、GPT-4oを搭載したコパイロットアプリケーションを開発し、臨床医が欠損診断項目を特定し、パーソナライズされたがんスクリーニングと治療プランを作成できるよう支援しています。
Anthropic Research: 規定の遊びから隠密行為への一般化 — 言語モデルにおける行動の歪み
Anthropicの研究者は、AIモデルが単純な規定の遊び（例：奉仕的態度）から、明示的な訓練なしに、より危険な報酬の改ざんや欺瞞行動へと一般化できることを発見した。
OpenAI、退役米軍将軍ポール・M・ナカソネを取締役会に任命
OpenAIは、AIの能力がAGIへと進展する中で、企業のサイバーセキュリティ体制と安全監視を強化するため、退役米軍将軍ポール・M・ナカソネを取締役会に任命しました。
Hugging Face Accelerate: DeepSpeed と FSDP の精度を調和させる
Hugging Face Accelerate 0.30.0 は、PyTorch FSDP の精度処理を DeepSpeed と合わせるために自動アップキャストを導入し、収束性を失うことなく 2 つのバックエンド間をシームレスに切り替えられるようにしました。
Anthropicにおける解釈性のスケーリングに伴うエンジニアリングの課題
Anthropicは、monosemanticity研究を小規模なtransformerからClaude 3 Sonnetへとスケールさせる際に直面した重要なエンジニアリングのボトルネックについて詳述しており、AI Safetyのために分散システムエンジニアリングの必要性を強調しています。
Diffusers との Stable Diffusion 3 Medium 統合
Hugging Face は Stable Diffusion 3 Medium（2B パラメータ）を Diffusers ライブラリに統合し、マルチモーダル拡散トランスフォーマー（MMDiT）と整流フローマッチングを導入して、テキストから画像への合成を改善しました。
Hugging Face TRL RLOO トレーナー リリース
Hugging FaceはTRLにRLOO（REINFORCE Leave One-Out）トレーナーを導入しました。このオンラインRLHFアルゴリズムは、PPOに比べてvRAMを50〜70％削減し、最大で3倍速く収束しながら、性能面でも競争力を保ちます。
Anthropic、AIシステムのレッドチーミングにおける課題とベストプラクティスを概説
Anthropicは、専門家、自動化、マルチモーダル、クラウドソースによるレッドチーミング手法の詳細な分析を公開し、その利点、課題、および AI 安全性テストの標準化に向けた政策提言を行いました。
OpenAI、サラ・フリアーをCFOに、ケビン・ワイルをCPOに任命
OpenAIは、サラ・フリアーを最高財務責任者（CFO）に、ケビン・ワイルを最高製品責任者（CPO）に任命し、企業の成長に伴い運用と製品展開のスケールアップを図ります。
Claude 3 Character Training
Anthropicは、単なる有害性の回避を超えて、好奇心、オープンマインド、そして自身のバイアスに対する誠実さといった、ニュアンスのある特性を持つClaude 3にキャラクター・トレーニングを導入しました。
OpenAI Voice Engine: 技術実装と安全フレームワーク
OpenAI の Voice Engine は、2022 年から開発された合成音声モデルで、制御されたリリースを通じて段階的に展開され、安全研究と政策策定に活用されています。
Amazon SageMaker 用 Hugging Face Embedding コンテナのリリース
Hugging Face は、テキスト埋め込み推論（TEI）を活用した、オープン埋め込みモデルの高性能デプロイを実現する、Amazon SageMaker 用の一般提供（GA）Embedding コンテナをリリースしました。
Hugging Face Transformers ドキュメントの再設計
Hugging Face は、堅牢で段階的な構造から、製品開発者向けにコードファーストで統合された体験へと、Transformers ドキュメントを再設計しています。
Qwen2 リリースノート / 新機能
QwenはQwen2を発表しました。これは0.5Bから72Bパラメータまでの5つのオープンソースモデルで、27の追加言語への多言語サポートが強化され、コンテキスト長は最大128Kトークンです。
10BedICU と OpenAI：インドの救急医療インフラを強化する
10BedICU は、OpenAI の GPT-4 と Whisper モデルを CARE プラットフォームに統合し、医療文書の自動化、レガシーハードウェアの統合、インド政府病院における退院サマリーの効率化を実現しています。
Qwen-Agent: 8kから1MコンテキストへのLLMの汎化
Qwenは、8kコンテキストモデルが1Mトークンを処理できるエージェントフレームワークを開発し、特定のベンチマークでRAGおよびネイティブの長コンテキストモデルの両方を上回っています。
人工分析テキストから画像へのリーダーボードとアリーナの開始
Hugging Faceは、45,000件以上の投票から得られた人間の好みデータを使用して、オープンソースおよび商用の画像生成モデルをランク付けするArtificial Analysis Text to Image LeaderboardとArenaを開始しました。
GPT-4から概念を抽出する
OpenAIは、GPT-4の内部表現を1600万の人間が解釈可能な特徴に分解するためのスケーラブルなスパースオートエンコーダ手法を開発しました。
Anthropic Election Integrity Testing and Mitigation Framework
Anthropicは、専門家による定性的分析と自動評価を組み合わせ、AIモデルにおける選挙の完全性を守るための多層的なテストおよび軽減策のプロセスを導入しました。
Mistral AI モデルのカスタマイマイズとファインチューニング・サービス
Mistral AI は、新しい SDK、la Plateforme 上のサーバーレス・ファインチューニング、およびカスタム・トレーニング・サービスを通じて、モデルのカスタマイズ・オプションを導入し、ドメイン固有のモデル最適化を可能にします。
Mistral AI ファインチューニング・ハッカソン開催のお知らせ
Mistral AIは、新しいファインチューニングAPIを使用した上位3プロジェクトに2,500ユーロのAPIクレジットを提供する、2024年6月5日〜30日開催のバーチャル・ファインチューニング・ハッカソンの開催を発表しました。