✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 870 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
機械学習で顧客サービスを強化する
Hugging Face は、ファインチューニングされた DeBERTa-v3-base モデルと Transformers および Datasets ライブラリを使用して、不満のある顧客フィードバックのフィルタリングを自動化する方法を示しています。
Hugging Face 教育イニシアチブ 2022 発足
Hugging Face は 2022年4月に、2023年末までに 500万人に機械学習を教えることを目指したマルチトラック教育プログラムを発表し、学習者、講師、一般の人々向けに無料リソースを提供します。
Hugging Face Hub カーボン排出量トラッキング
Hugging Face は、機械学習モデルの CO2 排出量に基づいて追跡、報告、フィルタリングするツールを導入し、AI の環境透明性を向上させました。
Lewis Tunstall インタビュー – Hugging Face 機械学習エキスパート
Hugging Face は、機械学習エンジニアの Lewis Tunstall への詳細なインタビューを発表し、Transformers ライブラリでの彼の取り組み、新しい「NLP with Transformers」書籍、そして拡大中の Hugging Face Course をハイライトしています。
Habana Labs と Hugging Face のトランスフォーマーモデル訓練に関するパートナーシップ
Habana Labs と Hugging Face は、Habana の SynapseAI ソフトウェアスイートを Hugging Face Optimum ライブラリに統合し、Habana Gaudi プロセッサ上でのトランスフォーマーモデル訓練を加速しました。
Hugging Face Transformers の設計哲学
Hugging Face は Transformers ライブラリに対して「単一モデルファイル」ポリシーを採用しており、意図的に DRY（Don't Repeat Yourself）原則を放棄し、可読性、コミュニティ貢献、そして静的な機械学習モデルの安定性を優先しています。
Hugging Face Transformers における Decision Transformer の統合
Hugging Face は、RL を条件付きシーケンスモデリング問題として扱うオフライン強化学習手法である Decision Transformer を transformers ライブラリと Hugging Face Hub に統合しました。
機械学習の専門家：マーガレット・ミッチェル氏インタビュー
Dr. Margaret Mitchellは、倫理的AIの重要な役割、透明性のためのModel Cardsの開発、そして機械学習開発における多様性と包摂性の必要性について論じています。
Hugging Face AI Research Residency Program Announcement
Hugging Faceは、Hugging Face Science Teamと共に機械学習技術を開発し、オープンソースの成果を公開するための、研究者を志す人々のための9ヶ月間のAI Research Residency Programを開始しました。
カスタムデータセットを使用したセマンティックセグメンテーションのためのSegFormerのファインチューニング
Hugging Faceは、Transformersライブラリを使用してSegFormerモデルをファインチューニングし、自動歩道ナビゲーションのようなカスタムユースケースのためにピクセルレベルの画像分類を行うための技術ガイドを提供しています。
Hugging Face datasets による画像検索
Hugging Face は、`datasets` ライブラリ、CLIP 埋め込み、および FAISS を組み合わせて、効率的な類似性検索のための画像検索アプリケーションを構築する方法を実演しています。
Hugging Face Transformers と AWS Inferentia を使用して BERT 推論を加速させる
Hugging Face は、AWS Inferentia と Neuron SDK を使用して BERT 推論を加速させるガイドを提供しており、Amazon SageMaker 上で 5-6ms のレイテンシを実現しています。
Hugging Face Transformersにおける制約付きビームサーチによるテキスト生成の誘導
Hugging Faceは、言語的な一貫性を維持しながら、生成されたテキストに特定の単語やフレーズを強制的に含めることができる制約付きビームサーチをTransformersライブラリに導入しました。
BERT 101: トランスフォーマーからの双方向エンコーダ表現の理解
BERTはGoogle AI Languageが開発した双方向トランスフォーマーベースのモデルで、膨大なデータセットでの教師なし事前学習を活用し、11以上の一般的なNLPタスクで最先端の性能を達成します。
Hugging Face Transformersを使用した画像分類のためのVision Transformer (ViT) のファインチューニング
Hugging Faceは、datasetsおよびtransformersライブラリを使用して、画像分類のためのVision Transformer (ViT) モデルをファインチューニングするためのガイドを提供しており、beansデータセットを使用してそのプロセスを実演しています。
Pythonを使用した感情分析の始め方
Hugging Faceは、Hugging Face Hubからの学習済みモデル、微調整のためのTrainer API、およびノーコードのAutoNLPツールを活用して、Pythonを使用した感情分析を実装するための包括的なガイドを提供しています。
TransformersにおけるWav2Vec2を使用した大容量ファイル向け自動音声認識
Hugging Faceは、Wav2Vec2のConnectionist Temporal Classification (CTC) アーキテクチャを活用したストライディング技術を実装し、任意の長さの音声ファイルやライブ推論における高品質なASRを可能にします。
Hugging Face Hub Search API Updates
Hugging Faceは、ModelSearchArgumentsやModelFilterを含む、huggingface_hubライブラリへの新しいプログラムによる検索機能を紹介しました。これにより、ユーザーがIDEを離れることなく、モデルやデータセットを簡単に見つけられるようになります。
Stable-Baselines3 と Hugging Face Hub の統合
Hugging Face は Stable-Baselines3 を統合し、ユーザーが PyTorch Deep Reinforcement Learning モデルを Hugging Face Hub から直接ホスト、共有、およびロードできるようにしました。
Hugging Face Infinity CPU パフォーマンス ケーススタディ
Hugging Face Infinity は、Intel Ice Lake Xeon CPU において vanilla Transformers と比較して最大 800% 高いスループットとミリ秒単位のレイテンシを実現し、CPU インフラストラクチャ上でのコスト効率の高いリアルタイム Transformer デプロイメントを可能にします。
Hugging Face Transformersにおけるn-gramによるWav2Vec2の強化
Hugging Faceは、pyctcdecodeライブラリをTransformersライブラリに統合し、Wav2Vec2モデルをn-gram言語モデルで強化することで、スペルミスと単語誤り率（WER）を大幅に減少させることが可能になりました。
Amazon SageMaker で Hugging Face Transformers を使用して GPT-J 6B をデプロイする
Hugging Face は、torch.save を使用して EleutherAI の GPT-J 6B モデルを Amazon SageMaker にデプロイする方法を提供しており、モデルのロード時間を 3 分以上から 8 秒未満に短縮できます。
AutoNLPとProdigyによるアクティブラーニング
Hugging Faceは、AutoNLP自動トレーニングフレームワークとProdigyアノテーションツールを組み合わせることで、命名エンティティ認識（NER）のためのアクティブラーニング・パイプラインを構築する方法を実証しています。
Hugging Face が Gradio を買収
Hugging Face は、機械学習のデモと GUI を簡単に構築できるように統合し、エコシステムに組み込むことで、非技術者にも ML のアクセシビリティを拡張するために Gradio を買収しました。
Perceiver IO: あらゆるモダリティに対応するスケーラブルで完全アテンション型のモデル
Perceiver IOは、潜在空間を使用することで計算量を入力サイズから切り離し、テキスト、画像、音声、ビデオ、ポイントクラウドを二次的なスケーリング問題なしに処理することを可能にするTransformerベースのアーキテクチャです。
CodeParrotをスクラッチからトレーニングする
Hugging Faceは、Pythonコードのオートコンプリート機能を可能にするため、2,000万個のPythonファイルのクリーニング済みデータセットでスクラッチからトレーニングされたGPT-2ベースのモデル、CodeParrotを導入しました。
Hugging Face Snowball Fight ML-Agents環境
Hugging Faceは、Unity ML-Agentsで構築され、Hugging Face Spacesでホストされている最初のカスタムDeep Reinforcement Learning環境であるSnowball Fight 1vs1をリリースしました。
Graphcore IPU統合のためのHugging Face Optimum
Hugging Faceは、最適化されたBERTの実装から始まり、Transformerモデルを加速させるためにOptimumライブラリをGraphcore Intelligence Processing Units (IPUs)と統合しました。
Hugging Face データ測定ツール
Hugging Faceは、オープンソースのPythonライブラリおよびノーコードインターフェースであるData Measurements Toolをリリースしました。これにより、開発者はより責任あるAI開発のためにMLデータセットを分析、キュレート、比較することができます。
Intel Technologies による PyTorch 分散ファインチューニングの加速
Hugging Face は、Intel extension for PyTorch と oneCCL を使用して、Intel Xeon Scalable CPU サーバーのクラスターにファインチューニング・ジョブを分散させることで、PyTorch トレーニングを加速する方法を実証しています。
低リソース音声認識のためのXLS-Rファインチューニング
Hugging Faceは、Transformersライブラリを使用して低リソース音声認識（ASR）のためのクロスリンガル音声表現モデルXLS-Rのファインチューニングに関する技術ガイドを提供します。
モダンなCPUにおけるBERTライクなモデルの推論のスケーリング - パート2
Hugging Faceは、Intel Ice Lake Xeon CPU上でのBERTライクなモデルのソフトウェアレベルの最適化を調査し、メモリ割り当て器、並列化ライブラリ、およびベイズ最適化を使用することで、推論レイテンシを大幅に削減できることを示しました。
Hugging Face コース Part 2 とコミュニティイベントの開始
Hugging Face は 2021 年 11 月 15 日に Hugging Face コースの Part 2 をリリースし、技術的な講演と実践的なプロジェクトを特徴とするコミュニティイベントを開催しました。
大規模言語モデル：新たなムーアの法則か？
Hugging Faceは、530BパラメータのMegatron-Turing NLGのようなモデルサイズの指数関数的な増大傾向を批判し、蒸留やファインチューニングのような実用的で効率的な代替案を推奨しています。
10億のトレーニングペアを用いたHugging Face Sentence Embedding Models
Hugging Faceは、JAX/FlaxおよびTPUインフラストラクチャを使用して、最大10億の文ペアを用いてトレーニングを行うことで、最先端の汎用文埋め込み（sentence embedding）モデルを開発しました。
Hugging Face: Machine Learning as Code の時代
Hugging Face は、MLOps を採用し、汎用的な Transformer アーキテクチャを活用し、サンドボックスでの実験よりもプロダクションへのデプロイを優先することで、機械学習をソフトウェアエンジニアリングの規律として扱うことを提唱しています。
CLIPのファインチューニング: リモートセンシングおよび衛星画像向け
研究チームは、RSICDデータセットおよびその他の衛星画像を使用してOpenAIのCLIPモデルをファインチューニングし、リモートセンシングアプリケーションにおけるテキストから画像への検索を大幅に向上させた。
Hugging Face Spaces と Gradio の統合
Hugging Face は Gradio を Spaces に統合し、ユーザーが Inference API またはカスタムモデルチェックポイントを使用して、機械学習モデルのデモを簡単にホストして公開できるようにしました。
Streamlitを使用したHugging Face Spacesでのモデルとデータセットのホスティング
Hugging Face SpacesはStreamlitと統合されており、ユーザーが機械学習モデルやデータの可視化のためのインタラクティブなデモを迅速に構築し、ホストすることを可能にします。
Hugging Face Summer 2021 Update
Hugging Faceは、MLデモホスティングのためのSpaces Beta、TensorBoard統合、およびハードウェアアクセラレーション用のOptimumライブラリのローンチを含む一連のHub拡張を発表しました。
Hugging Face Optimum リリース
Hugging Faceは、さまざまなハードウェアプラットフォームにわたってTransformerモデルをプロダクションパフォーマンス向けに最適化するために設計されたオープンソースのツールキット、Optimumを導入しました。
Hugging FaceとGraphcoreのIPU最適化Transformerに関するパートナーシップ
Hugging FaceとGraphcoreは、Hardware Partner ProgramとOptimumライブラリを通じて、Intelligence Processing Units (IPUs) をHugging Faceのエコシステムに統合し、Transformerモデルのデプロイを加速させるために提携しました。
Hugging Face DeDLOC: インターネットを介した言語モデルの共同トレーニング
Hugging Faceは、ネットワークやハードウェアの制約に適応することで、ボランティアがインターネットを介して大規模言語モデルを共同で事前学習することを可能にする分散トレーニング手法、DeDLOCを導入しました。
spaCy Integration with Hugging Face Hub
Hugging FaceはspaCyをHugging Face Hubに統合し、ユーザーが統一されたプラットフォームを介してspaCyパイプラインを共有、発見、デプロイできるようにしました。
Amazon SageMaker で Hugging Face モデルを簡単にデプロイする
Hugging Face と Amazon SageMaker は、新しい推論 Deep Learning コンテナ (DLC) と推論ツールキットを導入し、Transformer モデルを本番環境のエンドポイントにデプロイする作業を簡素化しました。
Hugging Face Hub における Sentence Transformers の統合
Hugging Face は Sentence Transformers を Hub に統合し、100 以上の言語に対応する 90 以上の学習済みモデルと、特徴抽出および文章の類似性のための新しいインタラクティブなウィジェットを提供します。
GPT-NeoとHugging Face Accelerated Inference APIを使用したFew-Shot Learning
Hugging Faceは、オープンソースのGPT-NeoモデルとAccelerated Inference APIを使用して、広範なラベル付きデータなしでタスクの汎化を可能にするFew-Shot Learningの適用について探求しています。
Gradio 2.0 を使用した Hugging Face モデルの使用と混合
Gradio 2.0 により、機械学習開発者は Hugging Face モデルを一行のコードで GUI としてロードおよび展開することができ、並列および直列のモデル構成をサポートしています。
CPU上でのBERT推論のスケーリング (Part 1)
Hugging Face は、最新の CPU 上での BERT 推論のスループットを、NUMA を意識したアフィニティ設定を介して特定の物理コアにバインドされた複数の独立したモデルインスタンスを使用することで、線形にスケーリングできることを示しています。
Hugging Face Accelerate ライブラリのリリース
Hugging Face は、ボイラープレートコードを書き直すことなく、マルチ GPU や TPU を含むあらゆるデバイス構成上で生のトレーニング・スクリプトを実行できるようにする PyTorch ライブラリ、Accelerate をリリースしました。