✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,431 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
Hugging Face Open LLM Leaderboard MMLU 評価分析
Hugging Faceは、MMLUベンチマークの異なる実装の詳細が同じLLMに対して著しく異なるパフォーマンススコアとランキングをもたらすことを説明しています。
Hugging Face Spaces との Panel 統合
Hugging Face は Hugging Face Spaces に Panel テンプレートを統合し、ユーザーが Python ベースのダッシュボードや複雑なアプリケーションを容易に構築およびデプロイできるようにしました。
Hugging Faceによる、AIの責任に関する米NTIAの意見公募への回答
2023年6月12日、Hugging FaceはAIの責任に関する米NTIAの意見公募に対し、責任のメカニズムはMLライフサイクル全体をカバーし、内部ドキュメントと外部の透明性を組み合わせ、幅広いステークホルダーを関与させるべきであるという推奨事項を含む回答を提出しました。
低リソースASRのためのMMSアダプターモデルのファインチューニング
Hugging Faceは、Meta AIのMassive Multilingual Speech (MMS) モデルのアダプター層をファインチューニングすることで、わずか数分のトレーニングで低リソース言語に対して最先端の単語誤り率 (WER) を達成し、フルモデルのファインチューニングよりもメモリ効率が高いことを発表しました。
Autoformer – Transformersは時系列予測に効果的
Hugging Faceは、Autoformerモデルが🤗 Transformersライブラリで今利用可能になったことを発表し、Transformerベースのモデルが時系列予測のベンチマークにおいてDLinearなどの単純な線形ベースラインを上回っていることを示しています。
Hugging Face コンテンツガイドラインとポリシーアップデート
Hugging Face は、機械学習アーティファクトのモデレーションにおける独自の課題に対応し、ユーザーの権利とプライバシーを保護するための核となる価値として同意を確立するため、コンテンツポリシーを更新しました。
LivebookノートブックをHugging Face Spacesのアプリとしてデプロイする
Hugging Faceは、LivebookノートブックをインタラクティブなアプリケーションとしてHugging Face Spacesにデプロイすることをサポートし、Elixirベースの機械学習アプリを簡単に共有できるようになりました。
iPhone、iPad、MacでのCore MLを使った高速なStable Diffusion
Hugging FaceとAppleは、Core MLに6ビットパレタイゼーションと更新された注意層の最適化を導入し、AppleデバイスでのStable Diffusionのメモリ使用量を大幅に削減し、推論速度を向上させました。
OpenAI Function Calling と API のアップデート
OpenAI は、gpt-4-0613 と gpt-3.5-turbo-0613 に対してファンクション コーリングを導入し、モデルが外部ツールおよび API との統合のために構造化された JSON を出力できるようにしました。
Hugging Face と AMD のモデル加速のためのパートナーシップ
Hugging Face と AMD は、トレーニングと推論のコストパフォーマンス基準を向上させるため、AMD の CPU、GPU、AI アクセラレータ向けに最先端のトランスフォーマー モデルを最適化するために提携しました。
NTIAに対するAnthropicのAIアカウンタビリティに関する推奨事項
Anthropicは、標準化された評価、リスクに応じた評価、および大規模なトレーニング・ランの事前登録に焦点を当て、AIアカウンタビリティのための包括的なフレームワークをNTIAに提案しました。
ギャラリー、図書館、アーカイブ、博物館のための Hugging Face Hub
Hugging Face は、ギャラリー、図書館、アーカイブ、博物館が Hub を使用してモデル、データセット、デモを共有し、GLAM セクターにおける機械学習への障壁を下げる方法を示すガイドを公開しました。
ファウンデーションモデルは人間のようにデータにラベルを付けることができるか？ Hugging Face 分析
Hugging Face は、GPT-4 が LLM の好み評価において人間のラベラーを信頼性高く置き換えられるかを調査し、位置バイアスと冗長さバイアスが顕著であることを発見し、これらが人間の判断の代理としての精度を制限していることを明らかにした。
Hugging Face Hub と DuckDB の統合によるデータセット分析
Hugging Face は現在、Hub 上で自動的に Parquet 形式に変換された 50,000 件以上のパブリックデータセットに対して、DuckDB を介して SQL クエリを実行できるようになりました。
fastText と Hugging Face Hub の統合
Hugging Face は現在、157 言語の fastText ワードベクトルと言語識別モデルの公式ミラーをホストしており、モデルへのアクセスとデプロイを簡素化しています。
FalconモデルのリリースとHugging Faceエコシステムの統合
Hugging Faceは、オープンなApache‑2.0ライセンスのFalconファミリーの言語モデルを発表し、Falcon‑40BがOpen LLM Leaderboardでトップランクであることを強調し、Hugging Faceのツールを使ってそれらを実行、量子化、ファインチューンする方法を示しました。
UnityにおけるAI音声認識
Hugging Faceは、Unityゲーム内で最先端の自動音声認識（ASR）を実装し、音声コマンドとNPCとの相互作用を可能にするためのガイドとAPIを提供します。
OpenAI サイバーセキュリティ助成金プログラム
OpenAIは、防御側をエンパワーし、サイバーセキュリティにおけるAIの役割を定量化するため、100万ドルのCybersecurity Grant Programを立ち上げました。その後、GPT-5.3-Codexのリリースとともに、1,000万ドルのAPIクレジットとTrusted Access for Cyberを含むよう進化しました。
Hugging Face オープンソース AI ゲームジャム発表
Hugging Face は、2023 年 7 月 7 日〜9 日にオープンソース AI ゲームジャムを開催し、ゲーム開発者がオープンソースの生成 AI ツールを開発ワークフローおよびゲーム機能に組み込むことを促進します。
OpenAIはプロセススーパービジョンで数学的推論を改善
OpenAIは、最終的な答え（アウトカムスーパービジョン）ではなく、推論の各正しいステップに報酬を与える（プロセススーパービジョン）ことで数学的問題解決を改善する方法を開発し、最先端のパフォーマンスとより良いAIアライメントを達成した。
BERTopic 与 Hugging Face Hub 的集成
Hugging Face 博客文章宣布 BERTopic 与 Hub 的集成，除标题外未提供可读的详细信息。
Hugging Face LLM 推論コンテナ for Amazon SageMaker
Hugging Faceは、オープンソースのLarge Language Modelの高パフォーマンスなデプロイを可能にする、Amazon SageMaker向けの目的別構築LLM推論コンテナ(DLC)をText Generation Inference(TGI)で駆動して発表しました。
OpenAI 民主的入力 AI プログラム
OpenAIは、AIシステムが従うべきルールを決定するための民主的プロセスを開発することを目的とした10件の10万ドルの実験に資金を提供する助成金プログラムを立ち上げました。
NNCFと🤗 Optimumを使ったIntel CPU向けStable Diffusionの最適化
Hugging Faceは、NNCFとOptimumを使用してStable Diffusionを量子化し、Token Mergingを適用するワークフローを発表しました。これにより、Intel CPU上で推論速度が最大5.1倍向上し、モデルのフットプリントが4倍削減されます。
Azure Machine Learning 上の Hugging Face モデル カタログ
Hugging Face と Microsoft は、Azure Machine Learning Studio 内に Hugging Face Hub モデル カタログのネイティブ統合をローンチし、セキュアな Azure インフラストラクチャ上でのオープンソース モデルのデプロイを簡素化しました。
Hugging Face 4ビット量子化とQLoRAリリース
Hugging Faceはbitsandbytesによる4ビット量子化サポートとQLoRA手法を発表し、コンシューマーGPU上で大規模言語モデルの推論とアダプタ微調整を可能にしました。
Anthropic Interpretability Dreams Research Vision
Anthropicは、大規模なニューラルネットワークの分析を可能にするために、重ね合わせの課題の解決に焦点を当てた、メカニズム的解釈可能性に関する長期的なビジョンを概説しています。
Anthropic Circuits Updates May 2023
Anthropicの2023年5月の解釈可能性に関するアップデートは、マルチエージェントシステムの失敗、労働者の再教育プログラムの証拠、および研究用バージョンのClaudeによるリーマンゼータ関数の進展に関する研究をカバーしています。
InstructPix2Pix を用いた Stable Diffusion の指示チューニング
Hugging Face は、InstructPix2Pix を拡張し、マルチタスク指示チューニング手法を通じて Stable Diffusion に特定の画像変換や低レベル処理の指示に従わせることを探求しています。
Hugging Face Safetensors セキュリティ監査とデフォルト採用
Hugging Face、EleutherAI、Stability AI は、Trail of Bits によるセキュリティ監査で任意のコード実行につながる重大な欠陥がないことが確認されたことを受け、safetensors をデフォルトのモデル保存形式へ移行しています。
Hugging Face と IBM の watsonx.ai パートナーシップ
Hugging Face と IBM は提携し、Hugging Face のオープンソースライブラリとモデルを watsonx.ai に統合しました。watsonx.ai は、基盤モデルのトレーニング、チューニング、デプロイを行うエンタープライズ AI スタジオです。
Anthropicが信頼性の高いAI製品を拡大するために4億5000万ドルのシリーズC資金調達を実施
Anthropicは、Claudeアシスタントの開発を加速し、製品ラインナップを拡大し、AI安全性研究に資金を提供するため、Spark Capitalが主導する4億5000万ドルのシリーズC資金調達を実施したと発表しました。
OpenAI 超知能ガバナンス提案
OpenAI は、国際的な調整、IAEA に類似したグローバル規制機関、そして先進的な安全性研究の3本柱からなる超知能管理フレームワークを提案しています。
Q8-Chat: Intel Xeon CPU上の効率的な生成AI
Hugging Face と Intel は、SmoothQuant を使用して LLM を 8 ビット整数に圧縮することで、高品質なチャット体験をシングルソケットの Intel Xeon CPU 上で効率的に実行できることを示しました。
BigCode の背後にある大規模ニア重複除去
Hugging Face は MinHash と Locality Sensitive Hashing (LSH) を活用して BigCode プロジェクト向けに大規模ニア重複除去を実施し、ニア重複データを除去することでモデル性能とトレーニング効率が向上することを示しました。
AnthropicとZoomのパートナーシップおよび投資
AnthropicとZoomは、Claude AIをZoomのエンタープライズ向けコラボレーション製品に統合するために提携し、Zoom VenturesはAnthropicに投資しました。
RWKV アーキテクチャの Hugging Face Transformers への統合
Hugging Face は、RWKV RNN‑Transformer ハイブリッドモデルを Transformers ライブラリに統合したことを発表しました。これにより、RNN の効率性と Transformer の性能を組み合わせた、オープンソースの長文コンテキスト対応言語モデルが利用可能になります。
AMD GPU上で ROCm を使用して Vicuna 13B を実行する
Hugging Face は、ROCｍ と GPTQ 4 ビット量子化を用いて Vicuna 13B オープンソースチャットボットを単一の AMD GPU 上にデプロイする技術ガイドを提供し、メモリ要件を 28 GB から 7.52 GB に削減します。
Hugging FaceがCNIL拡張支援プログラムに選出
Hugging Faceは、フランスのデータ保護機関（CNIL）の拡張支援プログラムに選ばれ、AI開発におけるデータ保護とGDPR遵守の実装を改善します。
低遅延テキスト生成のための Hugging Face アシスト生成
Hugging Face は Assisted Generation を導入しました。これは小さなアシスタントモデルが候補トークンを予測し、より大きなモデルがそれらを検証するデコード手法で、ハードウェア構成によってはレイテンシを最大 10 倍まで削減します。
AnthropicがClaudeに100Kトークンのコンテキストウィンドウを発表
AnthropicはClaudeのコンテキストウィンドウを9Kから100Kトークンに拡大し、モデルが数百ページのテキストを1分未満で取り込み、分析することを可能にしました。
OpenAI、GPT‑4を使用してGPT‑2の自動ニューロン説明データセットを公開
OpenAI は、GPT‑4 を用いて GPT‑2 のすべてのニューロンに対する自然言語説明を生成・スコア付けする手法を発表し、生成されたデータセット、ビューア、コードを研究コミュニティに公開しました。
StarCoderでコーディングアシスタントを作成 – 要約
この記事では、Hugging Face チームが 16 B パラメータの StarCoder コード生成モデルを会話型コーディングアシスタント（StarChat‑α）に変換した方法を説明しています。特別なチャットトークンを追加し、フィルタ済みの Open‑Assistant 対話データセットを準備し、DeepSpeed ZeRO‑3 でファインチューニングすることで、ユーザーのプロンプトを理解し、実行可能なコード（例：プロット、地図、可視化）を生成できるモデルを訓練しました。記事では、トークナイザーの設定、ユーザーターンのロスマスキング、トレーニング環境、評価（ベンチマークと LLM ベースの両方）、制限事項、今後の方向性についても取り上げています。完成したモデルは Hub で公開されています。
Claudeの憲法：モデルのアライメントのための憲法AIの実装
Anthropicは、暗黙的な人間によるフィードバックにのみ頼るのではなく、明示的な一連の書かれた原則に基づいて、Claudeを「有用、誠実、無害」にするためのトレーニング手法である憲法AIを導入しています。
テキストからビデオへのモデルへの深掘り
Hugging Face は、テキストからビデオへの生成モデルの進化について技術的な概要を提供し、GAN から Transformer、Diffusion アーキテクチャへの移行を詳述するとともに、時間的一貫性とデータ不足という独自の課題を強調しています。
StarCoder リリースノート
Hugging Face と ServiceNow の BigCode 共同プロジェクトは、許可されたライセンスのデータで学習された 15B パラメータのコード LLM である StarCoder と StarCoderBase をリリースしました。これらはプログラミングベンチマークで複数のオープンおよびクローズドモデルを上回ります。
Anthropic Research: Distributed Representations, Composition, and Superposition
Anthropicは、分散表現における組成と重ね合わせの区別を明確にし、これら2つのメカニズムがニューラルネットワークの汎化と線形計算可能性にどのように影響するかを説明しています。
Hugging Face Unity API インストールと使用ガイド
Hugging Face Unity API は、専用パッケージと API ウィザードを通じて、開発者が Hugging Face Inference API のモデルを Unity プロジェクトに統合できるようにします。
Hugging Face Transformers、TensorFlow、TPU を使用した言語モデルのトレーニング
Hugging Face は、TensorFlow と TPU ポッドを使用してマスク付き言語モデルをスクラッチからトレーニングするためのスケーラブルなエンドツーエンドガイドを提供し、XLA 互換性を活用して高性能コンピューティングを実現します。
Databricks と Hugging Face が Apache Spark を統合し、LLM のトレーニングを高速化
Databricks は Dataset.from_spark() 関数を通じて Hugging Face Datasets に本格的な Apache Spark サポートを導入し、大規模モデルのトレーニングとチューニングにおけるデータロード時間を最大 40% 短縮しました。