✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,432 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
Optimum 1.2 推論リリースで ONNX Runtime 加速パイプラインを追加
Hugging Face は Optimum 1.2 を発表しました。これにより ONNX Runtime を介した推論サポートと Transformers パイプライン統合が追加され、より高速で量子化された最適化モデルの提供が可能になります。
Hugging Face Series C 資金調達発表
Hugging Faceは、オープンソースの研究、製品、協調的な機械学習を通じてAIの民主化を加速するために、Series Cで1億ドルの資金調達を行いました。
fastai と Hugging Face Hub の統合
Hugging Face は fastai ライブラリを統合し、実務者が Python のワンラインで fastai Learner オブジェクトを Hugging Face Hub に直接アップロードおよびダウンロードできるようにしました。
OpenAI リーダーシップチームの更新
OpenAIは、Greg Brockman、Brad Lightcap、Mira Murati、Chris Clarkの役員職務変更を発表し、リーダーシップを会社の成長と戦略的マイルストーンに合わせました。
Hugging Face ディープ強化学習入門
Hugging Face は、無料のディープ強化学習クラス向けの入門チュートリアルを公開し、コアな RL の概念、RL フレームワーク、探索と活用のトレードオフ、ポリシーベースとバリューベースの手法、そしてディープニューラルネットワークが RL に統合される方法を取り上げています。
PyTorch Fully Sharded Data Parallel を使用した大規模モデル学習の加速
Hugging Face は、PyTorch Fully Sharded Data Parallel (FSDP) を Accelerate ライブラリに統合しました。これにより、オプティマイザの状態、勾配、およびパラメータを GPU 間でシャード化し、オプションで CPU オフロードを使用することで、大規模なモデルの学習を可能にします。
AIの安全性と研究のためのAnthropicシリーズB資金調達
Anthropicは、計算負荷の高いAIモデルの制御可能性、解釈可能性、および堅牢性を向上させることを目的とした大規模な実験用インフラストラクチャを構築するために、シリーズBで5億8000万ドルを調達しました。
Kili と HuggingFace AutoTrain を用いた意見分類
Hugging Face は、データ注釈に Kili、モデルの自動トレーニングに AutoTrain を使用したテキスト分類のアクティブラーニングパイプラインの構築方法を示しています。
Hugging Face Machine Learning Director Insights – 業界の視点
Hugging Face は、6 人の機械学習ディレクターへのインタビューシリーズを公開し、メディア、製薬、科学、ロジスティクス、マーケティング、エネルギーにおける ML の変革事例と、共通の課題や将来の機会をハイライトしています。
Habana GaudiでTransformerを始める
Hugging Face と Habana Labs は提携し、Transformer モデルのトレーニングを加速します。GPU ベースの Amazon EC2 インスタンスと比較して、Habana Gaudi アクセラレータ上で最大 40% の価格性能向上が実現できます。
機械学習で顧客サービスを強化する
Hugging Face は、ファインチューニングされた DeBERTa-v3-base モデルと Transformers および Datasets ライブラリを使用して、不満のある顧客フィードバックのフィルタリングを自動化する方法を示しています。
Hugging Face 教育イニシアチブ 2022 発足
Hugging Face は 2022年4月に、2023年末までに 500万人に機械学習を教えることを目指したマルチトラック教育プログラムを発表し、学習者、講師、一般の人々向けに無料リソースを提供します。
Hugging Face Hub カーボン排出量トラッキング
Hugging Face は、機械学習モデルの CO2 排出量に基づいて追跡、報告、フィルタリングするツールを導入し、AI の環境透明性を向上させました。
AIアラインメントにおけるグッドハートの法則の測定
OpenAI は、AI モデルにおける代理目的の最適化が真の目的の性能低下（グッドハートの法則）を引き起こす可能性を検証し、ベスト・オブ・n サンプリングを分析手法として提案しています。
CLIP潜在変数を用いた階層的テキスト条件付き画像生成
OpenAIは、テキストからCLIP画像埋め込みを生成するプライアと、その埋め込みから画像を生成するデコーダの二段階生成モデルを導入し、多様性の向上とゼロショット画像操作を実現しました。
Lewis Tunstall インタビュー – Hugging Face 機械学習エキスパート
Hugging Face は、機械学習エンジニアの Lewis Tunstall への詳細なインタビューを発表し、Transformers ライブラリでの彼の取り組み、新しい「NLP with Transformers」書籍、そして拡大中の Hugging Face Course をハイライトしています。
Habana Labs と Hugging Face のトランスフォーマーモデル訓練に関するパートナーシップ
Habana Labs と Hugging Face は、Habana の SynapseAI ソフトウェアスイートを Hugging Face Optimum ライブラリに統合し、Habana Gaudi プロセッサ上でのトランスフォーマーモデル訓練を加速しました。
Anthropic: RLHFを用いた有益で無害なアシスタントのトレーニング
Anthropicは、人間からのフィードバックによる強化学習（RLHF）が、アシスタントの有益性と無害性を確保しつつ、ほとんどのNLP評価において言語モデルのパフォーマンスを向上させることを示しています。
Hugging Face Transformers の設計哲学
Hugging Face は Transformers ライブラリに対して「単一モデルファイル」ポリシーを採用しており、意図的に DRY（Don't Repeat Yourself）原則を放棄し、可読性、コミュニティ貢献、そして静的な機械学習モデルの安定性を優先しています。
Hugging Face Transformers における Decision Transformer の統合
Hugging Face は、RL を条件付きシーケンスモデリング問題として扱うオフライン強化学習手法である Decision Transformer を transformers ライブラリと Hugging Face Hub に統合しました。
機械学習の専門家：マーガレット・ミッチェル氏インタビュー
Dr. Margaret Mitchellは、倫理的AIの重要な役割、透明性のためのModel Cardsの開発、そして機械学習開発における多様性と包摂性の必要性について論じています。
Hugging Face AI Research Residency Program Announcement
Hugging Faceは、Hugging Face Science Teamと共に機械学習技術を開発し、オープンソースの成果を公開するための、研究者を志す人々のための9ヶ月間のAI Research Residency Programを開始しました。
カスタムデータセットを使用したセマンティックセグメンテーションのためのSegFormerのファインチューニング
Hugging Faceは、Transformersライブラリを使用してSegFormerモデルをファインチューニングし、自動歩道ナビゲーションのようなカスタムユースケースのためにピクセルレベルの画像分類を行うための技術ガイドを提供しています。
Hugging Face datasets による画像検索
Hugging Face は、`datasets` ライブラリ、CLIP 埋め込み、および FAISS を組み合わせて、効率的な類似性検索のための画像検索アプリケーションを構築する方法を実演しています。
Hugging Face Transformers と AWS Inferentia を使用して BERT 推論を加速させる
Hugging Face は、AWS Inferentia と Neuron SDK を使用して BERT 推論を加速させるガイドを提供しており、Amazon SageMaker 上で 5-6ms のレイテンシを実現しています。
GPT-3とCodexの編集および挿入機能
OpenAIは、単純なテキスト補完を超えて、既存のテキストを編集したり、ドキュメントの中間にコンテンツを挿入したりできる、GPT-3とCodexの新しいバージョンをリリースしました。
Hugging Face Transformersにおける制約付きビームサーチによるテキスト生成の誘導
Hugging Faceは、言語的な一貫性を維持しながら、生成されたテキストに特定の単語やフレーズを強制的に含めることができる制約付きビームサーチをTransformersライブラリに導入しました。
Anthropic In-context Learning and Induction Heads
Anthropicは2022年3月8日に「In-context Learning and Induction Heads」という研究投稿を公開しましたが、そのページには関連リンクのみが含まれており、実質的な技術的詳細は含まれていません。
OpenAI 経済影響研究イニシアチブ
OpenAI は、GPT‑3、ChatGPT、DALL‑E 2 などの大規模言語モデルの経済的影響を研究するため、研究者と企業からの関心表明を募集しています。
OpenAI コード生成モデルの経済的影響に関する研究アジェンダ
OpenAIは、展開、システム設計、および公共政策に情報を提供するために、Codexのようなコード生成モデルが生産性、雇用、および経済的不平等にどのように影響するかを研究する研究アジェンダを提案しました。
OpenAI 言語モデルの安全性と悪用に関する教訓
OpenAIは、GPT-3およびCodexのデプロイメントから得られた洞察を共有しており、現実世界の悪用は理論的なリスクとは異なる場合が多いこと、そして安全性研究が商業的有用性を高めることが多いという点を強調しています。
BERT 101: トランスフォーマーからの双方向エンコーダ表現の理解
BERTはGoogle AI Languageが開発した双方向トランスフォーマーベースのモデルで、膨大なデータセットでの教師なし事前学習を活用し、11以上の一般的なNLPタスクで最先端の性能を達成します。
Anthropic Research: Predictability and Surprise in Large Generative Models
Anthropicは、大規模生成モデルにおける損失の予測可能なスケーリングと、特定の能力や出力の予測不可能な創発との間の緊張関係を特定しており、これがAIの安全性と政策における課題を生来じています。
Hugging Face Transformersを使用した画像分類のためのVision Transformer (ViT) のファインチューニング
Hugging Faceは、datasetsおよびtransformersライブラリを使用して、画像分類のためのVision Transformer (ViT) モデルをファインチューニングするためのガイドを提供しており、beansデータセットを使用してそのプロセスを実演しています。
OpenAI Formal Math Olympiad Problem Solving
OpenAIは、形式的な証明アシスタントを使用して、AMC12、AIME、およびIMOといった競技会の形式的な数学オリンピック問題を解くモデルの能力を実証しました。
Pythonを使用した感情分析の始め方
Hugging Faceは、Hugging Face Hubからの学習済みモデル、微調整のためのTrainer API、およびノーコードのAutoNLPツールを活用して、Pythonを使用した感情分析を実装するための包括的なガイドを提供しています。
TransformersにおけるWav2Vec2を使用した大容量ファイル向け自動音声認識
Hugging Faceは、Wav2Vec2のConnectionist Temporal Classification (CTC) アーキテクチャを活用したストライディング技術を実装し、任意の長さの音声ファイルやライブ推論における高品質なASRを可能にします。
OpenAI InstructGPT: 言語モデルを指示に従うように調整する
OpenAIは、GPT-3と比較して、ユーザーの意図をより良く理解し、真実性を高め、有害性を低減するために、人間からのフィードバックによる強化学習（RLHF）を用いて訓練された一連のモデル、InstructGPTを導入しました。
OpenAI Text and Code Embeddings Release
OpenAIは、GPT-3の派生モデルに基づいた新しい埋め込みモデルのセットをリリースしました。これらは、テキストとコードの数値表現を提供し、意味的な検索、クラスタリング、およびコードの検索を向上させます。
Hugging Face Hub Search API Updates
Hugging Faceは、ModelSearchArgumentsやModelFilterを含む、huggingface_hubライブラリへの新しいプログラムによる検索機能を紹介しました。これにより、ユーザーがIDEを離れることなく、モデルやデータセットを簡単に見つけられるようになります。
対照学習による事前学習によるOpenAIのテキストおよびコードのEmbeddings
OpenAIは、大規模な教師なしデータに対する対照学習による事前学習を用いて、高品質なテキストおよびコードのembeddingsが生成される手法を開発しました。これにより、線形プローブ分類やセマンティック検索において最先端の結果を達成しています。
Stable-Baselines3 と Hugging Face Hub の統合
Hugging Face は Stable-Baselines3 を統合し、ユーザーが PyTorch Deep Reinforcement Learning モデルを Hugging Face Hub から直接ホスト、共有、およびロードできるようにしました。
Hugging Face Infinity CPU パフォーマンス ケーススタディ
Hugging Face Infinity は、Intel Ice Lake Xeon CPU において vanilla Transformers と比較して最大 800% 高いスループットとミリ秒単位のレイテンシを実現し、CPU インフラストラクチャ上でのコスト効率の高いリアルタイム Transformer デプロイメントを可能にします。
Hugging Face Transformersにおけるn-gramによるWav2Vec2の強化
Hugging Faceは、pyctcdecodeライブラリをTransformersライブラリに統合し、Wav2Vec2モデルをn-gram言語モデルで強化することで、スペルミスと単語誤り率（WER）を大幅に減少させることが可能になりました。
Amazon SageMaker で Hugging Face Transformers を使用して GPT-J 6B をデプロイする
Hugging Face は、torch.save を使用して EleutherAI の GPT-J 6B モデルを Amazon SageMaker にデプロイする方法を提供しており、モデルのロード時間を 3 分以上から 8 秒未満に短縮できます。
AutoNLPとProdigyによるアクティブラーニング
Hugging Faceは、AutoNLP自動トレーニングフレームワークとProdigyアノテーションツールを組み合わせることで、命名エンティティ認識（NER）のためのアクティブラーニング・パイプラインを構築する方法を実証しています。
Anthropic、Transformer Circuitsの数学的フレームワークを発表
Anthropicは、Transformer Circuitsの新しい数学的フレームワークを発表しましたが、投稿には技術的な詳細は含まれておらず、モデルの挙動の理解を深める可能性を強調しています。
Hugging Face が Gradio を買収
Hugging Face は、機械学習のデモと GUI を簡単に構築できるように統合し、エコシステムに組み込むことで、非技術者にも ML のアクセシビリティを拡張するために Gradio を買収しました。
WebGPT: WebブラウジングによるGPT-3の事実正確性の向上
OpenAIは、GPT-3をWebGPTへとファインチューニングしました。これは、テキストベースのWebブラウザを使用して情報を調査し、出典を引用することで、オープンエンドな質問への回答におけるハルシネーションを低減するプロトタイプです。
Perceiver IO: あらゆるモダリティに対応するスケーラブルで完全アテンション型のモデル
Perceiver IOは、潜在空間を使用することで計算量を入力サイズから切り離し、テキスト、画像、音声、ビデオ、ポイントクラウドを二次的なスケーリング問題なしに処理することを可能にするTransformerベースのアーキテクチャです。