✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 870 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
RWKV アーキテクチャの Hugging Face Transformers への統合
Hugging Face は、RWKV RNN‑Transformer ハイブリッドモデルを Transformers ライブラリに統合したことを発表しました。これにより、RNN の効率性と Transformer の性能を組み合わせた、オープンソースの長文コンテキスト対応言語モデルが利用可能になります。
AMD GPU上で ROCm を使用して Vicuna 13B を実行する
Hugging Face は、ROCｍ と GPTQ 4 ビット量子化を用いて Vicuna 13B オープンソースチャットボットを単一の AMD GPU 上にデプロイする技術ガイドを提供し、メモリ要件を 28 GB から 7.52 GB に削減します。
Hugging FaceがCNIL拡張支援プログラムに選出
Hugging Faceは、フランスのデータ保護機関（CNIL）の拡張支援プログラムに選ばれ、AI開発におけるデータ保護とGDPR遵守の実装を改善します。
低遅延テキスト生成のための Hugging Face アシスト生成
Hugging Face は Assisted Generation を導入しました。これは小さなアシスタントモデルが候補トークンを予測し、より大きなモデルがそれらを検証するデコード手法で、ハードウェア構成によってはレイテンシを最大 10 倍まで削減します。
StarCoderでコーディングアシスタントを作成 – 要約
この記事では、Hugging Face チームが 16 B パラメータの StarCoder コード生成モデルを会話型コーディングアシスタント（StarChat‑α）に変換した方法を説明しています。特別なチャットトークンを追加し、フィルタ済みの Open‑Assistant 対話データセットを準備し、DeepSpeed ZeRO‑3 でファインチューニングすることで、ユーザーのプロンプトを理解し、実行可能なコード（例：プロット、地図、可視化）を生成できるモデルを訓練しました。記事では、トークナイザーの設定、ユーザーターンのロスマスキング、トレーニング環境、評価（ベンチマークと LLM ベースの両方）、制限事項、今後の方向性についても取り上げています。完成したモデルは Hub で公開されています。
テキストからビデオへのモデルへの深掘り
Hugging Face は、テキストからビデオへの生成モデルの進化について技術的な概要を提供し、GAN から Transformer、Diffusion アーキテクチャへの移行を詳述するとともに、時間的一貫性とデータ不足という独自の課題を強調しています。
StarCoder リリースノート
Hugging Face と ServiceNow の BigCode 共同プロジェクトは、許可されたライセンスのデータで学習された 15B パラメータのコード LLM である StarCoder と StarCoderBase をリリースしました。これらはプログラミングベンチマークで複数のオープンおよびクローズドモデルを上回ります。
Hugging Face Unity API インストールと使用ガイド
Hugging Face Unity API は、専用パッケージと API ウィザードを通じて、開発者が Hugging Face Inference API のモデルを Unity プロジェクトに統合できるようにします。
Hugging Face Transformers、TensorFlow、TPU を使用した言語モデルのトレーニング
Hugging Face は、TensorFlow と TPU ポッドを使用してマスク付き言語モデルをスクラッチからトレーニングするためのスケーラブルなエンドツーエンドガイドを提供し、XLA 互換性を活用して高性能コンピューティングを実現します。
Databricks と Hugging Face が Apache Spark を統合し、LLM のトレーニングを高速化
Databricks は Dataset.from_spark() 関数を通じて Hugging Face Datasets に本格的な Apache Spark サポートを導入し、大規模モデルのトレーニングとチューニングにおけるデータロード時間を最大 40% 短縮しました。
Diffusers を使用した無料ティアの Google Colab で DeepFloyd IF を実行する
Hugging Face は、8 ビット量子化、モジュラー パイプラインのロード、Diffusers 統合の最適化を使用して、オープンソースの DeepFloyd IF テキスト‑ツー‑イメージモデルを無料の Google Colab ノートブックで実行する方法を示しています。
Hugging Face、グローバルAIコミュニティを支援するために中国語ブログを開始
Hugging Faceは、翻訳された技術リソースを提供し、中国のAIコミュニティとの協力を深めるために、専用の中国語ブログ（hf.co/blog/zh）を開始しました。
Hugging Face SpacesでUnityゲームをホストする
Hugging Face Spacesは、Static HTMLテンプレートとWebGLビルドターゲットを活用することで、プレイ可能なUnityゲームをホストできます。
AWS Inferentia2 で Hugging Face Transformers を高速化
Hugging Face と AWS は、特定用途向け推論アクセラレータである AWS Inferentia2 用に Transformers を最適化し、大規模モデルのレイテンシを大幅に削減し、スループットを向上させました。
トランスフォーマーによるグラフ分類
Hugging Face は、Transformers ライブラリ内の Graphormer モデルを使用したグラフ分類の実施方法を示し、データのフォーマット、前処理、ファインチューニングについて解説しています。
Substraでプライバシー保護AIを作成する
Hugging Face と Substra は、フェデレーテッドラーニングが分散したデータソース上で AI モデルのトレーニングを可能にし、特に医療などの機密性の高い領域でプライバシーとセキュリティを維持できることを示しています。
エンタープライズ向け基盤モデルのための Snorkel AI と Hugging Face の統合
Snorkel AI は Hugging Face と提携し、Hugging Face Inference Endpoints を Snorkel Flow に統合しました。これにより、エンタープライズは 150,000 以上のオープンソース基盤モデルに簡単にアクセスし、適応させることができます。
StackLLaMA: Stack Exchange向けにRLHFでLLaMAをトレーニング
Hugging Faceは、Supervised Fine-tuning、Reward Modeling、そしてHuman Feedbackによる強化学習（RLHF）を用いてStack Exchangeの質問に回答するために訓練されたモデル、StackLLaMAを発表しました。
Hugging Face Ethics and Society ニュースレター #3: 倫理的オープンネスイニシアチブ
Hugging Face は、6 つの倫理タグ、フラグ機能、閲覧者向けメタデータなどの新しい倫理的オープンネス施策を発表し、オープンソースの機械学習をより安全で包括的にすることを目指しています。
Intel Sapphire Rapids CPUでのStable Diffusion推論の高速化
Hugging Faceは、Optimum Intel、OpenVINO、システムレベルの調整、IPEX BF16、そして高速なスケジューラを使用して、Intel Sapphire Rapids CPU上でStable Diffusionの画像生成を32秒から約5秒に短縮する方法を示しています。
Habana Gaudi2アクセラレータ上でのBLOOMZ推論
Hugging Faceは、Optimum HabanaライブラリとDeepSpeed-inferenceを活用し、Habana Gaudi2アクセラレータがNvidia A100 80GBよりもBLOOMZ 176Bモデルの推論を高速に実行できることを示しました。
Hugging Face と Flower を用いたフェデレーテッドラーニング
Hugging Face は、Flower フレームワークを使用して、事前学習済みの distilBERT モデルを IMDB データセットの感情分析に対してフェデレーテッドラーニングを実行する方法を示しています。
Hugging Face DiffusersでControlNetをトレーニングする
Hugging Faceは、diffusersライブラリを通じて包括的なガイドとトレーニングスクリプトを提供し、ユーザーがStable Diffusion用のカスタムControlNetモデルをトレーニングできるようにしています。これは「Uncanny Faces」ポーズモデルの作成で実証されています。
Hugging Face Hub の Jupyter ノートブックサポートが改善されました
Hugging Face は、Hub にホストされた Jupyter ノートブックに対して人間が読みやすいレンダリングを導入し、機械学習実務者の再現性とアクセシビリティを向上させました。
Informer を用いた多変量確率的時系列予測
Hugging Face は Informer モデルを Transformers ライブラリに統合し、計算およびメモリの複雑性を削減した効率的な多変量確率的時系列予測を可能にしました。
24GB コンシューマ GPU で RLHF による 20B LLM のファインチューニング
Hugging Face は TRL と PEFT の統合をリリースし、8 ビット量子化と低ランクアダプタを用いて、単一の 24 GB GPU 上で 200 億パラメータの言語モデルを強化学習でファインチューニングできるようにしました。
Kakao Brain ViT と ALIGN モデル、COYO 700M データセットでリリース
Kakao Brain と Hugging Face は、最新の 700 M 画像‑テキスト COYO データセットで学習したオープンソースの ViT と ALIGN ビジュアル‑言語モデルをリリースしました。これにより、初の公開 ALIGN モデルと、再現可能な学習データを伴う ViT モデルが提供されます。
Diffusers における ControlNet
Hugging Face は ControlNet を Diffusers ライブラリに統合し、Canny エッジ、深度マップ、人間のポーズなどの条件付けを用いて Stable Diffusion の画像生成を精密に空間制御できるようにしました。
機械学習を活用した災害対応：afetharita プロジェクト
Hugging Face は、ボランティアが Hugging Face エコシステムを活用して OCR、NER、リモートセンシングの機械学習モデルを迅速にデプロイし、2023年2月のトルコ地震の生存者支援に貢献した様子を説明しています。
Hugging Face Diffusers 倫理ガイドライン
Hugging Face は Diffusers ライブラリ向けに倫理フレームワークを導入し、技術的な意思決定とコミュニティの貢献を導くとともに、拡散モデルの潜在的な社会的リスクを軽減します。
Hugging Face エキスパートアクセラレーションプログラム: Witty Works ケーススタディ
Witty Works は Hugging Face エキスパートアクセラレーションプログラムと SetFit を活用し、最小限のラベル付きデータで高精度な文脈依存型インクルーシブ言語分類器を構築しました。
Swift Diffusers for Mac 1.1 リリース
Hugging Face は Diffusers for Mac バージョン 1.1 をリリースしました。これは Core ML を活用して Apple Silicon 上で Stable Diffusion を高速化するネイティブのオープンソースアプリで、特定のハードウェア構成では最大 2 倍の生成速度向上が期待できます。
大規模言語モデルのレッドチーミング
Hugging Face は、LLM の脆弱性を特定し有害な出力を防止するためのレッドチーミングの重要な役割を概説し、協調的かつ適応的な評価手法の必要性を強調しています。
Fetch AI インフラストラクチャ移行：Hugging Face と AWS によるツールの統合
Fetchは、サードパーティのAI「ブラックボックス」からHugging Face と AWS が支える社内MLパイプラインへ移行することで、開発時間を30％削減し、処理レイテンシーを50％削減しました。
Hugging Face と AWS の AI アクセシビリティに向けた戦略的パートナーシップ
Hugging Face と AWS は、Hugging Face のモデルを AWS インフラストラクチャと専用 ML アクセラレータに統合することで、生成的 AI の民主化を推進するために戦略的パートナーシップを拡大しました。
Hugging Face Inference Endpoints ケーススタディ
Hugging Face は、運用の複雑さを削減し、レイテンシを改善するために、CPU ベースの ML モデルを AWS ECS/Fargate から Hugging Face Inference Endpoints に移行しています。
BLIP-2: ゼロショット画像からテキストへの生成
BLIP-2 は、Salesforce Research の視覚言語モデルで、Querying Transformer（Q-Former）を使用して凍結された画像エンコーダと凍結された大規模言語モデルを橋渡しし、効率的なゼロショット画像からテキストへの生成を実現します。
🤗 PEFT ライブラリのリリースにより、パラメータ効率の高いファインチューニングが可能に、数十億規模モデル
Hugging Face は 🤗 PEFT ライブラリを発表しました。このライブラリにより、パラメータのごく一部だけを学習させることで、低リソースハードウェア上でも数十億パラメータのモデルをファインチューニングできるようになります。
SpeechT5: 統合モーダル エンコーダーデコーダーによる音声処理
Hugging Face は、統合されたエンコーダーデコーダーバックボーンを通じてテキスト音声変換、音声間変換、音声文字変換タスクを実行できる、統一された Transformer ベースのモデルである SpeechT5 を統合しました。
Hugging Face AI vs. AI：マルチエージェント強化学習コンペティションシステム
Hugging Faceは、ELOレーティングシステムを用いた継続的なマルチエージェント競争により、深層強化学習モデルをランク付けするオープンソースシステム「AI vs. AI」を導入しました。
ゲーム開発向け Hugging Face AI：ストーリー生成
Hugging Face は、`ChatGPT` のような大規模言語モデル（LLM）を使用してゲームのストーリーやコンテンツを生成するワークフローを概説し、独創性、法的リスク、長期的な一貫性に関する重要な制限点を指摘しています。
Intel Sapphire Rapids を使用した PyTorch トランスフォーマーの高速化
Hugging Face は、Intel Sapphire Rapids CPU と Optimum Intel ライブラリを組み合わせることで、従来の Xeon 世代と比較して PyTorch トランスフォーマーの推論を最大 3 倍高速化できることを示しています。
Vision-Languageモデルへのダイブ
Hugging Face は、Vision‑Languageモデルの技術的概要を提供し、5つの主要な事前学習戦略とそれらがTransformersライブラリに統合され、VQAや画像セグメンテーションといったタスクに活用される方法を詳述しています。
Hugging Face におけるコンピュータビジョンの現状
Hugging Face はエコシステムを拡張し、8 つのコアコンピュータビジョンタスク、3,000 を超えるモデル、100 以上のデータセットをサポートし、Transformer と畳み込みアーキテクチャの両方を統合しています。
ゲーム開発のための Hugging Face 2D アセット生成
Hugging Face は、Stable Diffusion の Image2Image 機能を協働的な 2D ゲームアセット ワークフローに統合し、効率的に製品レベルのアイコンを作成する方法を示しています。
LoRA を使用した効率的な Stable Diffusion ファインチューニング
Hugging Face は Low‑Rank Adaptation（LoRA）を diffusers ライブラリに統合し、VRAM 要求を大幅に削減し、モデルの重みを 3 MB 程度に小さくした、より高速な Stable Diffusion のファインチューニングを可能にしました。
Hugging Face Optimum と ONNX Runtime のトレーニング統合
Hugging Face と Microsoft は ONNX Runtime を Optimum ライブラリに統合し、トランスフォーマーベースのモデルのトレーニング時間を 35％ 以上短縮しました。
対話エージェントを有用にする要素は何か？技術分析
Hugging Face は、ベース言語モデルを有用な対話エージェントへと変換する主要な技術—Instruction Fine-Tuning (IFT)、Supervised Fine-Tuning (SFT)、Reinforcement Learning from Human Feedback (RLHF)、および Chain-of-Thought (CoT)—を分析しています。
ゲーム開発向け Hugging Face AI：3D アセット生成
Hugging Face はテキストから 3D への AI の現状を調査し、DreamFusion や Point‑E のようなツールは存在するものの、まだ迅速なゲーム開発ワークフローに実用的に適用できる段階にないと結論付けました。
Mask2Former と OneFormer: 🤗 Transformers における汎用画像セグメンテーションモデル
Hugging Face は Transformers ライブラリに Mask2Former と OneFormer を追加し、単一モデルでインスタンス、セマンティック、パノプティックのすべてのセグメンテーションを処理できる汎用アーキテクチャを提供しました。