DeepSpeed を使用した大規模モデルのトレーニングを加速する
Hugging Face は、Accelerate ライブラリを使用して DeepSpeed の ZeRO 最適化を統合する方法を示し、バッチサイズを大きくし、GPU メモリを超えてしまうようなモデルのトレーニングを可能にします。
OpenAI ビデオ事前学習 (VPT) for Minecraft
OpenAI は、Video PreTraining (VPT) という半教師あり模倣学習手法を導入し、人間のプレイの大量のラベルなしビデオデータセットで学習することで、エージェントが Minecraft で複雑な行動を学習できるようにしました。
埋め込みの入門 – Hugging Face チュートリアル
Hugging Face は、Sentence‑Transformers ライブラリと Hugging Face Hub を使用してベクトル埋め込みを作成、ホスト、クエリする手順を示すガイドを発表し、検索可能な FAQ システムを実演しました。
Hugging Face OptimumでTransformersをONNXに変換
Hugging Face は、低レベルの torch.onnx API からハイレベルの Optimum ライブラリまで、Transformers モデルを ONNX に変換する 3 つの方法を提供しています。
OpenAI 大規模モデルによる進化 (ELM) 研究
OpenAI は、LLM を使用して遺伝的プログラミングを人間らしいコード変異で近似し、未知のドメインで機能的なプログラムを生成する手法「大規模モデルによる進化 (ELM)」を紹介します。
Intel と Hugging Face の機械学習ハードウェアアクセラレーションに関するパートナーシップ
Intel は Hugging Face ハードウェアパートナープログラムに参加し、Optimum Intel ライブラリを開発しています。これにより、Intel プラットフォーム上での Transformer モデルのトレーニング、ファインチューニング、推論におけるハードウェアアクセラレーションが効率化されます。
Hugging Face 機械学習インサイト部ディレクター：金融エディション
U.S. Bank、RBC、Moody's Analytics の専門家は、機械学習が詐欺検出やパーソナライズされた製品を通じて金融を変革していること、そしてレガシーシステムや規制要件といった課題に対処しながら進めていることを議論しています。
AIが書いた批評が人間に欠陥に気付かせる
OpenAIの研究は、AIが生成した批評が人間の評価者に要約の欠陥を大幅に多く特定させることを示し、複雑なAIタスクに対する人間の監督をスケーラブルに行う道筋を示唆しています。
OpenAI 大規模ニューラルネットワークのトレーニング手法
OpenAI は、データ並列、パイプライン並列、テンソル並列、エキスパート並列という主要な並列化戦略と、巨大な AI モデルのトレーニングのために GPU クラスタを調整する際に使用されるメモリ節約技術を概説しています。
スペースインベーダーでのDeep Q-Learning
Hugging Face は、Atari ゲームのような高次元状態空間に対して Q 値を近似するためにニューラルネットワークを使用する強化学習手法、Deep Q-Learning（DQN）について解説しています。
注釈付き拡散モデル – DDPM実装の詳細なウォークスルー
Hugging Face は、拡散モデル（DDPM）を構築、訓練、サンプリングする方法を示す、注釈付きのステップバイステップ PyTorch 実装を公開しました。
OpenAI、Cohere、AI21 Labs の言語モデル展開に関するベストプラクティス
OpenAI、Cohere、AI21 Labs は、大規模言語モデルの責任ある開発と展開に向けたリスク軽減と誤用防止のための、初期的なベストプラクティスを共同で発表しました。
OpenAI研究：モデルに不確実性を言葉で表現させる
OpenAIの研究者は、GPT-3がモデルのロジットに依存せずに、自然言語で回答の校正された不確実性を表現できるように訓練できることを実証しました。
Graphcore と Hugging Face が IPU 対応トランスフォーマーモデルを拡張
Graphcore と Hugging Face は、Graphcore IPU 用に NLP、音声、コンピュータビジョンの分野で 10 の最適化されたトランスフォーマーモデルを含むように Hugging Face Optimum ライブラリを拡張しました。
Hugging Face Hub コミュニティアップデート：プルリクエストとディスカッション
Hugging Face は Hub にプルリクエストとディスカッションを導入し、リポジトリのフォークなしでモデル、データセット、Spaces 全体での協働を可能にしました。
OpenAI Codex のアプリケーションと統合
OpenAI Codex は GPT-3 を基盤とした自然言語からコードへの変換システムで、GitHub Copilot を含む 70 以上のアプリケーションに搭載され、英語の指示をコードに変換することで開発者の生産性を向上させます。
TAPEX: ニューラルSQL実行による効率的なテーブル事前学習
TAPEX は、合成された SQL 実行ペアを用いたテーブル事前学習手法で、テーブル質問応答や事実検証において従来手法よりもはるかに高い効率で最先端の結果を達成します。
Hugging Face Q学習入門
Hugging Face は、Qテーブルを使用して最適な状態-行動ペアを決定する、オフポリシーの価値ベース強化学習手法である Q-Learning に関する技術ガイドを提供しています。
Hugging Face マルチモーダルプロジェクト倫理憲章
Hugging Face は、マルチモーダル学習プロジェクトのために倫理憲章を策定し、倫理原則、透明性、公平性を機械学習研究ライフサイクルに直接組み込んでいます。
Sempre Health ケーススタディ：Hugging Face エキスパートアクセラレーションプログラムでNLPパイプラインを加速
Sempre Healthは、Hugging Face エキスパートアクセラレーションプログラムを活用してNLPパイプラインを導入し、受信患者メッセージの20%以上を自動で処理することで、ビジネスのスケーラビリティを大幅に向上させました。
OpenAI DALL·E 2 研究プレビューの更新
OpenAIは、300万枚以上の画像を生成した限定的な研究プレビューに続き、待機リストに登録されたユーザーへのDALL·E 2へのアクセスを週に1,000人のペースで拡大しています。
Hugging Face Deep RL コース ユニット2 パート1：Q-ラーニング概念の紹介
Hugging Face は Deep Reinforcement Learning コースの第1部を公開し、価値ベース手法、ベルマン方程式、Monte‑Carlo と Temporal‑Difference 学習を Q‑Learning の基礎として解説しました。
Hugging Face フェローシッププログラムのお知らせ
Hugging Face は、リソース、認知、そして個別のサポートを通じて、オープンソース機械学習エコシステムの主要な貢献者を支援し、力を与えるためにフェローシッププログラムを開始しました。
機械学習エキスパートインタビュー：サシャ・ルチオーニ – 倫理的AIと気候影響のハイライト
Hugging Faceは研究科学者のサシャ・ルチオーニにインタビューし、倫理的AI、カーボンフットプリント測定、そして機械学習を気候や社会課題に応用する取り組みについて語ってもらいました。
Gradio 3.0 リリースノート
Hugging Face は Gradio 3.0 をリリースしました。フロントエンドの全面的な再設計と、Python で複雑なカスタム機械学習 Web アプリを構築するための Gradio Blocks の導入が特徴です。
Hugging Face 学生アンバサダープログラム 2022
Hugging Faceは、2023年までに機械学習を500万人に教えるという目標達成を支援するため、初の学生アンバサダープログラムを開始しました。
Hugging Face ディレクター・オブ・機械学習インサイト: SaaS エディション
Hugging Face は Salesforce、Amplitude、ZoomInfo、Repustate の 4 名の ML ディレクターにインタビューし、機械学習を SaaS 製品に統合する際の実務的課題、一般的な落とし穴、そして将来の機会について議論しました。
Optimum 1.2 推論リリースで ONNX Runtime 加速パイプラインを追加
Hugging Face は Optimum 1.2 を発表しました。これにより ONNX Runtime を介した推論サポートと Transformers パイプライン統合が追加され、より高速で量子化された最適化モデルの提供が可能になります。
Hugging Face Series C 資金調達発表
Hugging Faceは、オープンソースの研究、製品、協調的な機械学習を通じてAIの民主化を加速するために、Series Cで1億ドルの資金調達を行いました。
fastai と Hugging Face Hub の統合
Hugging Face は fastai ライブラリを統合し、実務者が Python のワンラインで fastai Learner オブジェクトを Hugging Face Hub に直接アップロードおよびダウンロードできるようにしました。
OpenAI リーダーシップチームの更新
OpenAIは、Greg Brockman、Brad Lightcap、Mira Murati、Chris Clarkの役員職務変更を発表し、リーダーシップを会社の成長と戦略的マイルストーンに合わせました。
Hugging Face ディープ強化学習入門
Hugging Face は、無料のディープ強化学習クラス向けの入門チュートリアルを公開し、コアな RL の概念、RL フレームワーク、探索と活用のトレードオフ、ポリシーベースとバリューベースの手法、そしてディープニューラルネットワークが RL に統合される方法を取り上げています。
PyTorch Fully Sharded Data Parallel を使用した大規模モデル学習の加速
Hugging Face は、PyTorch Fully Sharded Data Parallel (FSDP) を Accelerate ライブラリに統合しました。これにより、オプティマイザの状態、勾配、およびパラメータを GPU 間でシャード化し、オプションで CPU オフロードを使用することで、大規模なモデルの学習を可能にします。
Kili と HuggingFace AutoTrain を用いた意見分類
Hugging Face は、データ注釈に Kili、モデルの自動トレーニングに AutoTrain を使用したテキスト分類のアクティブラーニングパイプラインの構築方法を示しています。
Hugging Face Machine Learning Director Insights – 業界の視点
Hugging Face は、6 人の機械学習ディレクターへのインタビューシリーズを公開し、メディア、製薬、科学、ロジスティクス、マーケティング、エネルギーにおける ML の変革事例と、共通の課題や将来の機会をハイライトしています。
Habana GaudiでTransformerを始める
Hugging Face と Habana Labs は提携し、Transformer モデルのトレーニングを加速します。GPU ベースの Amazon EC2 インスタンスと比較して、Habana Gaudi アクセラレータ上で最大 40% の価格性能向上が実現できます。
機械学習で顧客サービスを強化する
Hugging Face は、ファインチューニングされた DeBERTa-v3-base モデルと Transformers および Datasets ライブラリを使用して、不満のある顧客フィードバックのフィルタリングを自動化する方法を示しています。
Hugging Face 教育イニシアチブ 2022 発足
Hugging Face は 2022年4月に、2023年末までに 500万人に機械学習を教えることを目指したマルチトラック教育プログラムを発表し、学習者、講師、一般の人々向けに無料リソースを提供します。
Hugging Face Hub カーボン排出量トラッキング
Hugging Face は、機械学習モデルの CO2 排出量に基づいて追跡、報告、フィルタリングするツールを導入し、AI の環境透明性を向上させました。
AIアラインメントにおけるグッドハートの法則の測定
OpenAI は、AI モデルにおける代理目的の最適化が真の目的の性能低下（グッドハートの法則）を引き起こす可能性を検証し、ベスト・オブ・n サンプリングを分析手法として提案しています。
CLIP潜在変数を用いた階層的テキスト条件付き画像生成
OpenAIは、テキストからCLIP画像埋め込みを生成するプライアと、その埋め込みから画像を生成するデコーダの二段階生成モデルを導入し、多様性の向上とゼロショット画像操作を実現しました。
Lewis Tunstall インタビュー – Hugging Face 機械学習エキスパート
Hugging Face は、機械学習エンジニアの Lewis Tunstall への詳細なインタビューを発表し、Transformers ライブラリでの彼の取り組み、新しい「NLP with Transformers」書籍、そして拡大中の Hugging Face Course をハイライトしています。
Habana Labs と Hugging Face のトランスフォーマーモデル訓練に関するパートナーシップ
Habana Labs と Hugging Face は、Habana の SynapseAI ソフトウェアスイートを Hugging Face Optimum ライブラリに統合し、Habana Gaudi プロセッサ上でのトランスフォーマーモデル訓練を加速しました。
Hugging Face Transformers の設計哲学
Hugging Face は Transformers ライブラリに対して「単一モデルファイル」ポリシーを採用しており、意図的に DRY（Don't Repeat Yourself）原則を放棄し、可読性、コミュニティ貢献、そして静的な機械学習モデルの安定性を優先しています。
Hugging Face Transformers における Decision Transformer の統合
Hugging Face は、RL を条件付きシーケンスモデリング問題として扱うオフライン強化学習手法である Decision Transformer を transformers ライブラリと Hugging Face Hub に統合しました。
機械学習の専門家：マーガレット・ミッチェル氏インタビュー
Dr. Margaret Mitchellは、倫理的AIの重要な役割、透明性のためのModel Cardsの開発、そして機械学習開発における多様性と包摂性の必要性について論じています。
Hugging Face AI Research Residency Program Announcement
Hugging Faceは、Hugging Face Science Teamと共に機械学習技術を開発し、オープンソースの成果を公開するための、研究者を志す人々のための9ヶ月間のAI Research Residency Programを開始しました。
カスタムデータセットを使用したセマンティックセグメンテーションのためのSegFormerのファインチューニング
Hugging Faceは、Transformersライブラリを使用してSegFormerモデルをファインチューニングし、自動歩道ナビゲーションのようなカスタムユースケースのためにピクセルレベルの画像分類を行うための技術ガイドを提供しています。
Hugging Face datasets による画像検索
Hugging Face は、`datasets` ライブラリ、CLIP 埋め込み、および FAISS を組み合わせて、効率的な類似性検索のための画像検索アプリケーションを構築する方法を実演しています。
Hugging Face Transformers と AWS Inferentia を使用して BERT 推論を加速させる
Hugging Face は、AWS Inferentia と Neuron SDK を使用して BERT 推論を加速させるガイドを提供しており、Amazon SageMaker 上で 5-6ms のレイテンシを実現しています。