Hugging Face Transformers を使用した Whisper の多言語 ASR ファインチューニング
Hugging Face は、OpenAI の Whisper モデルを多言語自動音声認識（ASR）向けにファインチューニングするための包括的なガイドを提供しており、わずか 8 時間のデータでヒンディー語に対して 31.5% の絶対的な WER 改善を実証しています。
Hugging Face Optimum Intel と OpenVINO の統合
Hugging Face は Intel OpenVINO を Optimum Intel に統合し、Intel ハードウェア上で Transformer モデルの高速推論と量子化を可能にしました。
🤗 Evaluate を用いた言語モデルバイアスの評価
Hugging Face はバイアス測定指標（toxicity、language polarity、HONEST）を 🤗 Evaluate ライブラリに追加し、因果言語モデルにおける有害な言語の体系的測定を可能にしました。
PyTorch DDP、Accelerate、Transformers Trainer を用いた分散トレーニング
Hugging Face は、ネイティブ PyTorch DDP、Accelerate ライブラリ、そして高レベルの Transformers Trainer API の 3 つの抽象化レベルを用いた分散トレーニングの実装方法を解説しています。
OpenAI の報酬モデル過最適化に関するスケーリング法則
OpenAIは、不完全なプロキシ報酬モデルに対して最適化を行うと、最終的に実際の性能が低下し、モデルのパラメータ数やデータセットサイズに基づく予測可能なスケーリング法則に従うことを明らかにした。
MTEB: 大規模テキスト埋め込みベンチマーク
Hugging Face は、テキスト埋め込みモデルの性能を評価するために、8つのタスクにわたる56のデータセットからなる大規模かつ多言語対応のベンチマーク、MTEB を導入しました。
Hugging Face 推論エンドポイント
Hugging Face Inference Endpoints は、ユーザーが Hugging Face Hub から機械学習モデルを数クリックでスケーラブルかつ安全なクラウドインフラへデプロイできるマネージドサービスです。
Stable Diffusion JAX と Flax の統合
Hugging Face Diffusers バージョン 0.5.1 は Flax のサポートを導入し、JAX を介して Google TPU 上で高速な Stable Diffusion 推論を可能にします。
Hugging Face BLOOM 推論最適化
Hugging Face は、Pipeline Parallelism から Tensor Parallelism へ移行し、カスタム CUDA カーネルを実装することで、BLOOM モデルのレイテンシを 5 倍削減し、スループットを 50 倍向上させました。
Hugging Face、モデルとデータセット向けに DOI サポートを導入
Hugging Face は、Hub のモデルやデータセットに対してデジタルオブジェクト識別子（DOI）を生成できるようにし、バージョンを超えて永続的で引用可能なリンクを提供します。
rinnaによる日本語Stable Diffusionのリリース
rinnaはJapanese Stable Diffusionをリリースしました。これはStable Diffusionの日本語向けにファインチューニングされたバージョンで、日本語のプロンプトから文化的に適切な画像を生成します。
Hugging Face ゼロショット評価 on the Hub
Hugging Face は Hub 上で因果言語モデル向けのゼロショット評価を導入し、コードを書かずに最大 660 億パラメータのモデルをベンチマークできるようにしました。
OpenAI DALL·E ベータが待機リストなしで利用可能に
OpenAIはDALL·Eベータの待機リストを撤廃し、現在150万人以上のユーザーが1日200万枚以上の画像を生成しているシステムへの即時サインアップを可能にしました。
Hugging Face AutoTrain 画像分類
Hugging Face は AutoTrain に画像分類を追加し、ユーザーがコードを書いたりハイパーパラメータを設定したりすることなく、カスタム画像カテゴリ分類モデルをトレーニングできるようにしました。
Hugging Face Accelerate: PyTorchで大規模モデルを実行する
Hugging Face Accelerateは、PyTorch の meta デバイスとシャーディングチェックポイントを活用し、GPU、CPU RAM、ディスクにまたがるメモリ管理を行うことで、コンシューマーハードウェア上で巨大な AI モデルの実行を可能にします。
SetFit: プロンプト不要の効率的な少数ショット学習
Hugging Face は、最小限のラベル付きデータで高精度を実現する、プロンプト不要の Sentence Transformer 少数ショットファインチューニングフレームワークである SetFit を紹介します。
Hugging Face Ethics and Society ニュースレター #1
Hugging Face は Ethics and Society ニュースレターを開始し、協働・透明性・責任という価値に基づく分散型のアプローチで AI 倫理を実践化する方法を概説しています。
OpenAI Whisper リリース
OpenAIは、アクセント、ノイズ、言語の違いに対するロバスト性を向上させるために、多言語・マルチタスクの教師ありデータ680,000時間で学習した自動音声認識（ASR）システム「Whisper」をリリースしました。
DeepSpeed と Accelerate を用いた驚異的に高速な BLOOM 推論
Hugging Face は、8×80 GB A100 GPU 上で DeepSpeed‑Inference のテンソル並列と Accelerate のパイプライン並列を使用し、176B パラメータの BLOOM モデルでトークンあたりミリ秒未満の生成を実証しました。
Diffusers 0.3 リリースは、画像から画像への変換、テキストインバージョン、インペインティング、GPU 最適化、Mac MPS、ONNX サポート、そして新しいドキュメントを追加します
Hugging Face は Diffusers バージョン 0.3 を発表し、画像から画像への変換、テキストインバージョン、実験的インペインティング、低スペック GPU 向け最適化、Mac MPS サポート、ONNX エクスポーター、拡張されたドキュメント、そして多数のコミュニティプロジェクトを導入しました。
オフライン強化学習のためのDecision Transformersのトレーニング
Hugging Face は、transformers の Trainer とカスタムデータコレータを使用して、HalfCheetah 環境を解くためにオフライン Decision Transformer をゼロからトレーニングするためのガイドと実装を提供しています。
Megatron-LM を用いた言語モデルのトレーニング
Hugging Face は、NVIDIA の Megatron-LM フレームワークを使用して GPU 上で大規模言語モデルを効率的に事前学習する方法と、Transformers ライブラリとの統合についてのガイドを提供しています。
DALL·E Outpainting 機能リリース
OpenAIはDALL·E向けにOutpaintingを導入し、ユーザーが自然言語の説明を用いて画像を元の境界を超えて拡張し、視覚的一貫性を保つことができるようにしました。
OpenRAIL: オープンで責任あるAIライセンスフレームワークへ向けて
Hugging Face は、オープンアクセスと使用ベースの制限を組み合わせ、機械学習モデルの責任ある展開を促進する AI 特化型ライセンス群「OpenRAIL」を発表しました。
OpenAI、ヒューマンフィードバックからの強化学習とInstructGPTを用いたアラインメント戦略を発表
OpenAI は、ヒューマンフィードバックからの強化学習と InstructGPT を、言語モデルに人間の意図に従わせる効果的かつ低コストな手法として位置付け、現在の限界と AI 主導のアラインメント研究に向けた将来目標を示しました。
Hugging Face Spacesでタンパク質を可視化
Hugging Face は、Gradio を介して 3Dmol.js を Hugging Face Spaces に統合し、ブラウザ上で 3D タンパク質構造の可視化を可能にするガイドを提供しています。
Hugging Face Transformers と Habana Gaudi を使用した BERT の事前学習
Hugging Face は、AWS の Habana Gaudi DL1 インスタンスを使用して BERT-base をスクラッチから事前学習する方法を示し、NVIDIA V100 GPU ベースのトレーニングと比較して 25% のコスト削減を実現しています。
Diffusers を使った Stable Diffusion
Hugging Face は、Diffusers ライブラリを使用してテキストから画像への Stable Diffusion モデルを実行する方法を発表し、コード、ライセンス情報、そしてモデルの潜在拡散アーキテクチャの解説を提供しました。
Vertex AI で Hugging Face ViT をデプロイする
Hugging Face は、Google Cloud の Vertex AI プラットフォーム上で Vision Transformer (ViT) モデルをデプロイし、Kubernetes レベルのスケーラビリティを大幅にコード量を削減して実現する方法を示しています。
Hugging Face Optimum Graphcore 上の Vision Transformers
Hugging Face と Graphcore は、Optimum ライブラリを使用して、Intelligence Processing Units（IPU）上で Vision Transformer（ViT）モデルの効率的なファインチューニングを可能にし、マルチラベル胸部X線分類タスクでその有用性を示しています。
Hugging Face、LLM.int8() 8ビット行列乗算を Transformers と Accelerate に統合
Hugging Face は、LLM.int8() 8ビット量子化手法を Transformers と Accelerate ライブラリに統合し、性能低下なしで非常に大規模な言語モデルの推論を可能にし、最大で 2 倍のメモリ削減を実現しました。
Hugging FaceのTensorFlow哲学
Hugging FaceはTensorFlow統合に対する技術的アプローチを概説し、KerasとXLAとの深い整合性を強調して、トランスフォーマーモデルのパフォーマンスとデプロイメントを最適化しています。
Skops ライブラリは scikit-learn モデルのホスティング、ドキュメント作成、そして Hugging Face Hub 上でのコラボレーションを可能にします
Hugging Face は Skops を発表しました。このライブラリは、ユーザーが scikit-learn モデルをパッケージ化し、ドキュメント化し、Hub に自動生成されたモデルカードと推論ウィジェットと共にプッシュできるようにします。
TF Serving を使用した Kubernetes 上の Hugging Face ViT デプロイ
Hugging Face は、Docker と Kubernetes、TensorFlow Serving を用いて Vision Transformer (ViT) のデプロイをスケールさせる技術ガイドを提供し、プロダクションレベルのオートスケーリングとリソース管理を実現します。
OpenAI モデレーションエンドポイントのリリース
OpenAI は、開発者がアプリケーション内の禁止コンテンツを検出・ブロックできるようにする GPT ベースの分類器を提供する無料の Moderation エンドポイントをリリースしました。
Hugging Face Sentence Transformers トレーニングガイド（歴史的リファレンス）
Hugging Face は、Sentence Transformers モデルのトレーニングとファインチューニングに関する古いチュートリアルを発表し、モデルのアーキテクチャ、データセット形式、損失関数、モデルのアップロード方法を説明するとともに、ユーザーを新しいトレーニング API に案内しています。
Hugging Face Deep RL クラス ユニット8：近接方策最適化（PPO）解説
Hugging Face は近接方策最適化（PPO）の詳細なウォークスルーを公開し、方策更新比率をクリップすることで学習を安定化させる仕組みを示し、CartPole‑v1 と LunarLander‑v2 で検証した、スクラッチからの PyTorch 実装を提供しました。
Hugging Face Private Hub の紹介
Hugging Face は Private Hub（現在は Enterprise Hub）を導入し、企業が機械学習モデル、データセット、Spaces を統一されたツールセットで共同作業できる、安全でコンプライアンスに準拠した環境を提供します。
Nyströmformer: Nyström 法による線形時間とメモリでの自己注意の近似
Nyströmformer は Nyström 法を用いてサンプリングされたランドマークでソフトマックス行列を近似することで、標準的な自己注意の計算量とメモリ使用量を O(n^2) から O(n) に削減します。
米国ナショナルAI研究リソースに対するHugging Faceの提言
Hugging Faceはホワイトハウスと国立科学財団に対し、ナショナルAI研究リソース（NAIRR）が倫理的専門性、標準化されたドキュメンテーション、そしてアクセスしやすいツールを優先し、AI研究の民主化を促進すべきだという回答を提出しました。
OpenAI、フィルイン・ザ・ミドル（FIM）向け言語モデルの効率的なトレーニングを発表
OpenAI は、自己回帰言語モデルがフィルイン・ザ・ミドルタスクを実行できる新しいトレーニング手法を公開しました。この手法は左から右への生成品質を犠牲にせず、インフィリング機能をシンプルかつ効率的に追加できる点が特徴です。
Hugging Face Datasets の音声およびビジョン ドキュメント更新
Hugging Face は 🤗 Datasets ライブラリのドキュメントを拡充し、音声およびビジョンデータセット向けの専用ガイドとツールを追加して、マルチモーダルデータのロードと処理を簡素化しました。
TensorFlow と XLA を使用した高速テキスト生成
Hugging Face は TensorFlow を使用した transformers ライブラリでテキスト生成に XLA コンパイルを有効化し、最大 100 倍の速度向上と、しばしば PyTorch を上回る性能を実現しました。
コード合成大型言語モデルのためのハザード分析フレームワーク
OpenAIは、Codexのような高度なコード生成モデルの展開に伴う技術的、社会的、政治的、経済的リスクを特定し軽減するためのハザード分析フレームワークを導入しました。
Hugging Face で TF Serving を使用した TensorFlow ビジョンモデルのデプロイ
Hugging Face は、Vision Transformer (ViT) などの TensorFlow ビジョンモデルを TensorFlow Serving を使用してデプロイし、REST または gRPC エンドポイントとして公開する方法に関するガイドを提供しています。
Advantage Actor Critic (A2C) の解説
Hugging Face は、ポリシーベースと価値ベースの手法を組み合わせてポリシー勾配推定の分散を低減するハイブリッド強化学習アーキテクチャである Advantage Actor Critic (A2C) を解説しています。
OpenAI DALL·E ベータリリース
OpenAIは、DALL·Eがベータ版として100万人の招待ユーザーに利用可能になり、無料の月間クレジットと商業利用権が提供されることを発表しました。
DALL·E 2 におけるバイアスの削減と安全性の向上
OpenAI は、生成される人物の多様性を高め、欺瞞的なコンテンツの作成を防止するために、安全フィルタを強化した DALL·E 2 用のシステムレベルの手法を実装しました。
MNIST 用 Dynamic Adversarial Data Collection（DADC） – Hugging Face チュートリアル
Hugging Face は、MNIST における Dynamic Adversarial Data Collection（DADC）のステップバイステップチュートリアルを発表し、人間が生成した敵対的サンプルを収集し、モデルを再訓練してロバスト性を向上させる方法を示しました。
DALL·E 2: 創造性の拡張
OpenAI の DALL·E 2 リサーチプレビューは、118 カ国以上の 3,000 人以上のアーティストに採用され、医療支援からハイエンド料理芸術まで多様なクリエイティブワークフローに AI 生成画像を統合しています。