TAPEX: ニューラルSQL実行による効率的なテーブル事前学習
TAPEX は、合成された SQL 実行ペアを用いたテーブル事前学習手法で、テーブル質問応答や事実検証において従来手法よりもはるかに高い効率で最先端の結果を達成します。
Hugging Face Q学習入門
Hugging Face は、Qテーブルを使用して最適な状態-行動ペアを決定する、オフポリシーの価値ベース強化学習手法である Q-Learning に関する技術ガイドを提供しています。
Hugging Face マルチモーダルプロジェクト倫理憲章
Hugging Face は、マルチモーダル学習プロジェクトのために倫理憲章を策定し、倫理原則、透明性、公平性を機械学習研究ライフサイクルに直接組み込んでいます。
Sempre Health ケーススタディ：Hugging Face エキスパートアクセラレーションプログラムでNLPパイプラインを加速
Sempre Healthは、Hugging Face エキスパートアクセラレーションプログラムを活用してNLPパイプラインを導入し、受信患者メッセージの20%以上を自動で処理することで、ビジネスのスケーラビリティを大幅に向上させました。
OpenAI DALL·E 2 研究プレビューの更新
OpenAIは、300万枚以上の画像を生成した限定的な研究プレビューに続き、待機リストに登録されたユーザーへのDALL·E 2へのアクセスを週に1,000人のペースで拡大しています。
Hugging Face Deep RL コース ユニット2 パート1：Q-ラーニング概念の紹介
Hugging Face は Deep Reinforcement Learning コースの第1部を公開し、価値ベース手法、ベルマン方程式、Monte‑Carlo と Temporal‑Difference 学習を Q‑Learning の基礎として解説しました。
Hugging Face フェローシッププログラムのお知らせ
Hugging Face は、リソース、認知、そして個別のサポートを通じて、オープンソース機械学習エコシステムの主要な貢献者を支援し、力を与えるためにフェローシッププログラムを開始しました。
機械学習エキスパートインタビュー：サシャ・ルチオーニ – 倫理的AIと気候影響のハイライト
Hugging Faceは研究科学者のサシャ・ルチオーニにインタビューし、倫理的AI、カーボンフットプリント測定、そして機械学習を気候や社会課題に応用する取り組みについて語ってもらいました。
Gradio 3.0 リリースノート
Hugging Face は Gradio 3.0 をリリースしました。フロントエンドの全面的な再設計と、Python で複雑なカスタム機械学習 Web アプリを構築するための Gradio Blocks の導入が特徴です。
Hugging Face 学生アンバサダープログラム 2022
Hugging Faceは、2023年までに機械学習を500万人に教えるという目標達成を支援するため、初の学生アンバサダープログラムを開始しました。
Hugging Face ディレクター・オブ・機械学習インサイト: SaaS エディション
Hugging Face は Salesforce、Amplitude、ZoomInfo、Repustate の 4 名の ML ディレクターにインタビューし、機械学習を SaaS 製品に統合する際の実務的課題、一般的な落とし穴、そして将来の機会について議論しました。
Optimum 1.2 推論リリースで ONNX Runtime 加速パイプラインを追加
Hugging Face は Optimum 1.2 を発表しました。これにより ONNX Runtime を介した推論サポートと Transformers パイプライン統合が追加され、より高速で量子化された最適化モデルの提供が可能になります。
Hugging Face Series C 資金調達発表
Hugging Faceは、オープンソースの研究、製品、協調的な機械学習を通じてAIの民主化を加速するために、Series Cで1億ドルの資金調達を行いました。
fastai と Hugging Face Hub の統合
Hugging Face は fastai ライブラリを統合し、実務者が Python のワンラインで fastai Learner オブジェクトを Hugging Face Hub に直接アップロードおよびダウンロードできるようにしました。
OpenAI リーダーシップチームの更新
OpenAIは、Greg Brockman、Brad Lightcap、Mira Murati、Chris Clarkの役員職務変更を発表し、リーダーシップを会社の成長と戦略的マイルストーンに合わせました。
Hugging Face ディープ強化学習入門
Hugging Face は、無料のディープ強化学習クラス向けの入門チュートリアルを公開し、コアな RL の概念、RL フレームワーク、探索と活用のトレードオフ、ポリシーベースとバリューベースの手法、そしてディープニューラルネットワークが RL に統合される方法を取り上げています。
PyTorch Fully Sharded Data Parallel を使用した大規模モデル学習の加速
Hugging Face は、PyTorch Fully Sharded Data Parallel (FSDP) を Accelerate ライブラリに統合しました。これにより、オプティマイザの状態、勾配、およびパラメータを GPU 間でシャード化し、オプションで CPU オフロードを使用することで、大規模なモデルの学習を可能にします。
Kili と HuggingFace AutoTrain を用いた意見分類
Hugging Face は、データ注釈に Kili、モデルの自動トレーニングに AutoTrain を使用したテキスト分類のアクティブラーニングパイプラインの構築方法を示しています。
Hugging Face Machine Learning Director Insights – 業界の視点
Hugging Face は、6 人の機械学習ディレクターへのインタビューシリーズを公開し、メディア、製薬、科学、ロジスティクス、マーケティング、エネルギーにおける ML の変革事例と、共通の課題や将来の機会をハイライトしています。
Habana GaudiでTransformerを始める
Hugging Face と Habana Labs は提携し、Transformer モデルのトレーニングを加速します。GPU ベースの Amazon EC2 インスタンスと比較して、Habana Gaudi アクセラレータ上で最大 40% の価格性能向上が実現できます。
機械学習で顧客サービスを強化する
Hugging Face は、ファインチューニングされた DeBERTa-v3-base モデルと Transformers および Datasets ライブラリを使用して、不満のある顧客フィードバックのフィルタリングを自動化する方法を示しています。
Hugging Face 教育イニシアチブ 2022 発足
Hugging Face は 2022年4月に、2023年末までに 500万人に機械学習を教えることを目指したマルチトラック教育プログラムを発表し、学習者、講師、一般の人々向けに無料リソースを提供します。
Hugging Face Hub カーボン排出量トラッキング
Hugging Face は、機械学習モデルの CO2 排出量に基づいて追跡、報告、フィルタリングするツールを導入し、AI の環境透明性を向上させました。
AIアラインメントにおけるグッドハートの法則の測定
OpenAI は、AI モデルにおける代理目的の最適化が真の目的の性能低下（グッドハートの法則）を引き起こす可能性を検証し、ベスト・オブ・n サンプリングを分析手法として提案しています。
CLIP潜在変数を用いた階層的テキスト条件付き画像生成
OpenAIは、テキストからCLIP画像埋め込みを生成するプライアと、その埋め込みから画像を生成するデコーダの二段階生成モデルを導入し、多様性の向上とゼロショット画像操作を実現しました。
Lewis Tunstall インタビュー – Hugging Face 機械学習エキスパート
Hugging Face は、機械学習エンジニアの Lewis Tunstall への詳細なインタビューを発表し、Transformers ライブラリでの彼の取り組み、新しい「NLP with Transformers」書籍、そして拡大中の Hugging Face Course をハイライトしています。
Habana Labs と Hugging Face のトランスフォーマーモデル訓練に関するパートナーシップ
Habana Labs と Hugging Face は、Habana の SynapseAI ソフトウェアスイートを Hugging Face Optimum ライブラリに統合し、Habana Gaudi プロセッサ上でのトランスフォーマーモデル訓練を加速しました。
Hugging Face Transformers の設計哲学
Hugging Face は Transformers ライブラリに対して「単一モデルファイル」ポリシーを採用しており、意図的に DRY（Don't Repeat Yourself）原則を放棄し、可読性、コミュニティ貢献、そして静的な機械学習モデルの安定性を優先しています。
Hugging Face Transformers における Decision Transformer の統合
Hugging Face は、RL を条件付きシーケンスモデリング問題として扱うオフライン強化学習手法である Decision Transformer を transformers ライブラリと Hugging Face Hub に統合しました。
機械学習の専門家：マーガレット・ミッチェル氏インタビュー
Dr. Margaret Mitchellは、倫理的AIの重要な役割、透明性のためのModel Cardsの開発、そして機械学習開発における多様性と包摂性の必要性について論じています。
Hugging Face AI Research Residency Program Announcement
Hugging Faceは、Hugging Face Science Teamと共に機械学習技術を開発し、オープンソースの成果を公開するための、研究者を志す人々のための9ヶ月間のAI Research Residency Programを開始しました。
カスタムデータセットを使用したセマンティックセグメンテーションのためのSegFormerのファインチューニング
Hugging Faceは、Transformersライブラリを使用してSegFormerモデルをファインチューニングし、自動歩道ナビゲーションのようなカスタムユースケースのためにピクセルレベルの画像分類を行うための技術ガイドを提供しています。
Hugging Face datasets による画像検索
Hugging Face は、`datasets` ライブラリ、CLIP 埋め込み、および FAISS を組み合わせて、効率的な類似性検索のための画像検索アプリケーションを構築する方法を実演しています。
Hugging Face Transformers と AWS Inferentia を使用して BERT 推論を加速させる
Hugging Face は、AWS Inferentia と Neuron SDK を使用して BERT 推論を加速させるガイドを提供しており、Amazon SageMaker 上で 5-6ms のレイテンシを実現しています。
GPT-3とCodexの編集および挿入機能
OpenAIは、単純なテキスト補完を超えて、既存のテキストを編集したり、ドキュメントの中間にコンテンツを挿入したりできる、GPT-3とCodexの新しいバージョンをリリースしました。
Hugging Face Transformersにおける制約付きビームサーチによるテキスト生成の誘導
Hugging Faceは、言語的な一貫性を維持しながら、生成されたテキストに特定の単語やフレーズを強制的に含めることができる制約付きビームサーチをTransformersライブラリに導入しました。
OpenAI 経済影響研究イニシアチブ
OpenAI は、GPT‑3、ChatGPT、DALL‑E 2 などの大規模言語モデルの経済的影響を研究するため、研究者と企業からの関心表明を募集しています。
OpenAI コード生成モデルの経済的影響に関する研究アジェンダ
OpenAIは、展開、システム設計、および公共政策に情報を提供するために、Codexのようなコード生成モデルが生産性、雇用、および経済的不平等にどのように影響するかを研究する研究アジェンダを提案しました。
OpenAI 言語モデルの安全性と悪用に関する教訓
OpenAIは、GPT-3およびCodexのデプロイメントから得られた洞察を共有しており、現実世界の悪用は理論的なリスクとは異なる場合が多いこと、そして安全性研究が商業的有用性を高めることが多いという点を強調しています。
BERT 101: トランスフォーマーからの双方向エンコーダ表現の理解
BERTはGoogle AI Languageが開発した双方向トランスフォーマーベースのモデルで、膨大なデータセットでの教師なし事前学習を活用し、11以上の一般的なNLPタスクで最先端の性能を達成します。
Hugging Face Transformersを使用した画像分類のためのVision Transformer (ViT) のファインチューニング
Hugging Faceは、datasetsおよびtransformersライブラリを使用して、画像分類のためのVision Transformer (ViT) モデルをファインチューニングするためのガイドを提供しており、beansデータセットを使用してそのプロセスを実演しています。
OpenAI Formal Math Olympiad Problem Solving
OpenAIは、形式的な証明アシスタントを使用して、AMC12、AIME、およびIMOといった競技会の形式的な数学オリンピック問題を解くモデルの能力を実証しました。
Pythonを使用した感情分析の始め方
Hugging Faceは、Hugging Face Hubからの学習済みモデル、微調整のためのTrainer API、およびノーコードのAutoNLPツールを活用して、Pythonを使用した感情分析を実装するための包括的なガイドを提供しています。
TransformersにおけるWav2Vec2を使用した大容量ファイル向け自動音声認識
Hugging Faceは、Wav2Vec2のConnectionist Temporal Classification (CTC) アーキテクチャを活用したストライディング技術を実装し、任意の長さの音声ファイルやライブ推論における高品質なASRを可能にします。
OpenAI InstructGPT: 言語モデルを指示に従うように調整する
OpenAIは、GPT-3と比較して、ユーザーの意図をより良く理解し、真実性を高め、有害性を低減するために、人間からのフィードバックによる強化学習（RLHF）を用いて訓練された一連のモデル、InstructGPTを導入しました。
OpenAI Text and Code Embeddings Release
OpenAIは、GPT-3の派生モデルに基づいた新しい埋め込みモデルのセットをリリースしました。これらは、テキストとコードの数値表現を提供し、意味的な検索、クラスタリング、およびコードの検索を向上させます。
Hugging Face Hub Search API Updates
Hugging Faceは、ModelSearchArgumentsやModelFilterを含む、huggingface_hubライブラリへの新しいプログラムによる検索機能を紹介しました。これにより、ユーザーがIDEを離れることなく、モデルやデータセットを簡単に見つけられるようになります。
対照学習による事前学習によるOpenAIのテキストおよびコードのEmbeddings
OpenAIは、大規模な教師なしデータに対する対照学習による事前学習を用いて、高品質なテキストおよびコードのembeddingsが生成される手法を開発しました。これにより、線形プローブ分類やセマンティック検索において最先端の結果を達成しています。
Stable-Baselines3 と Hugging Face Hub の統合
Hugging Face は Stable-Baselines3 を統合し、ユーザーが PyTorch Deep Reinforcement Learning モデルを Hugging Face Hub から直接ホスト、共有、およびロードできるようにしました。
Hugging Face Infinity CPU パフォーマンス ケーススタディ
Hugging Face Infinity は、Intel Ice Lake Xeon CPU において vanilla Transformers と比較して最大 800% 高いスループットとミリ秒単位のレイテンシを実現し、CPU インフラストラクチャ上でのコスト効率の高いリアルタイム Transformer デプロイメントを可能にします。