✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,432 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
Nyströmformer: Nyström 法による線形時間とメモリでの自己注意の近似
Nyströmformer は Nyström 法を用いてサンプリングされたランドマークでソフトマックス行列を近似することで、標準的な自己注意の計算量とメモリ使用量を O(n^2) から O(n) に削減します。
米国ナショナルAI研究リソースに対するHugging Faceの提言
Hugging Faceはホワイトハウスと国立科学財団に対し、ナショナルAI研究リソース（NAIRR）が倫理的専門性、標準化されたドキュメンテーション、そしてアクセスしやすいツールを優先し、AI研究の民主化を促進すべきだという回答を提出しました。
OpenAI、フィルイン・ザ・ミドル（FIM）向け言語モデルの効率的なトレーニングを発表
OpenAI は、自己回帰言語モデルがフィルイン・ザ・ミドルタスクを実行できる新しいトレーニング手法を公開しました。この手法は左から右への生成品質を犠牲にせず、インフィリング機能をシンプルかつ効率的に追加できる点が特徴です。
Hugging Face Datasets の音声およびビジョン ドキュメント更新
Hugging Face は 🤗 Datasets ライブラリのドキュメントを拡充し、音声およびビジョンデータセット向けの専用ガイドとツールを追加して、マルチモーダルデータのロードと処理を簡素化しました。
TensorFlow と XLA を使用した高速テキスト生成
Hugging Face は TensorFlow を使用した transformers ライブラリでテキスト生成に XLA コンパイルを有効化し、最大 100 倍の速度向上と、しばしば PyTorch を上回る性能を実現しました。
コード合成大型言語モデルのためのハザード分析フレームワーク
OpenAIは、Codexのような高度なコード生成モデルの展開に伴う技術的、社会的、政治的、経済的リスクを特定し軽減するためのハザード分析フレームワークを導入しました。
Hugging Face で TF Serving を使用した TensorFlow ビジョンモデルのデプロイ
Hugging Face は、Vision Transformer (ViT) などの TensorFlow ビジョンモデルを TensorFlow Serving を使用してデプロイし、REST または gRPC エンドポイントとして公開する方法に関するガイドを提供しています。
Advantage Actor Critic (A2C) の解説
Hugging Face は、ポリシーベースと価値ベースの手法を組み合わせてポリシー勾配推定の分散を低減するハイブリッド強化学習アーキテクチャである Advantage Actor Critic (A2C) を解説しています。
OpenAI DALL·E ベータリリース
OpenAIは、DALL·Eがベータ版として100万人の招待ユーザーに利用可能になり、無料の月間クレジットと商業利用権が提供されることを発表しました。
DALL·E 2 におけるバイアスの削減と安全性の向上
OpenAI は、生成される人物の多様性を高め、欺瞞的なコンテンツの作成を防止するために、安全フィルタを強化した DALL·E 2 用のシステムレベルの手法を実装しました。
MNIST 用 Dynamic Adversarial Data Collection（DADC） – Hugging Face チュートリアル
Hugging Face は、MNIST における Dynamic Adversarial Data Collection（DADC）のステップバイステップチュートリアルを発表し、人間が生成した敵対的サンプルを収集し、モデルを再訓練してロバスト性を向上させる方法を示しました。
DALL·E 2: 創造性の拡張
OpenAI の DALL·E 2 リサーチプレビューは、118 カ国以上の 3,000 人以上のアーティストに採用され、医療支援からハイエンド料理芸術まで多様なクリエイティブワークフローに AI 生成画像を統合しています。
BLOOM 176B トレーニング技術概要
Hugging Face は、384 台の A100 GPU、Megatron‑DeepSpeed の 3D 並列化、BF16 混合精度を用いて 1760 億パラメータの BLOOM モデルがどのようにトレーニングされたかを詳細に解説し、ハードウェア、ソフトウェアスタック、エンジニアリング上の課題を強調しました。
Sentence Transformers を使用したプレイリストジェネレーターの構築
Hugging Face は、歌詞埋め込みに Sentence Transformers を、ユーザーインターフェースに Gradio Blocks を使用した、意味検索ベースのプレイリストジェネレーターの作り方を示しています。
BLOOM: 世界最大のオープンマルチリンガル言語モデル
Hugging Face と BigScience プロジェクトは、46 の自然言語と 13 のプログラミング言語にわたって完全に透明なトレーニングを行った、1760 億パラメータのオープンアクセスマルチリンガル言語モデル BLOOM をリリースしました。
Anthropic Research: Language Models (Mostly) Know What They Know
Anthropicの研究は、大規模言語モデルが自身の主張の妥当性を効果的に評価し、回答を知っている可能性を予測できることを示しており、より誠実なAIへの道筋を提供しています。
Twitterで感情分析を始める
Hugging Face は、開発者とノンコーダーの両方向けに、Inference API を使用して Twitter データの自動感情分析を実行するガイドを提供しています。
PyTorchによるポリシー勾配 – Hugging Face Deep RLクラス ユニット5
Hugging Faceは、PyTorchでREINFORCE（モンテカルロ・ポリシー勾配）アルゴリズムをゼロから実装し、CartPole‑v1、PixelCopter、Pongで評価するチュートリアルを公開しました。
Sentence Transformers を使用した機械学習入門
Hugging Face は、初心者が Sentence Transformers ライブラリを使用して埋め込みを作成し、セマンティック検索を実行することで、最初の機械学習プロジェクトを開始するためのガイドを提供しています。
DALL·E 2 事前学習における緩和策
OpenAIはデータフィルタリングのためにアクティブラーニングを導入し、バイアス増幅を防止するための重み付けスキーム、そして画像の再現を排除するためのクラスタリングベースの重複除去プロセスをDALL·E 2に実装しました。
Hugging Face の Hub 上での評価
Hugging Face は Evaluation on the Hub を導入しました。これは AutoTrain が提供するノーコードツールで、ユーザーは Hugging Face Hub 上で任意のモデルを任意のデータセット上で任意の指標を用いて評価できます。
DeepSpeed を使用した大規模モデルのトレーニングを加速する
Hugging Face は、Accelerate ライブラリを使用して DeepSpeed の ZeRO 最適化を統合する方法を示し、バッチサイズを大きくし、GPU メモリを超えてしまうようなモデルのトレーニングを可能にします。
OpenAI ビデオ事前学習 (VPT) for Minecraft
OpenAI は、Video PreTraining (VPT) という半教師あり模倣学習手法を導入し、人間のプレイの大量のラベルなしビデオデータセットで学習することで、エージェントが Minecraft で複雑な行動を学習できるようにしました。
埋め込みの入門 – Hugging Face チュートリアル
Hugging Face は、Sentence‑Transformers ライブラリと Hugging Face Hub を使用してベクトル埋め込みを作成、ホスト、クエリする手順を示すガイドを発表し、検索可能な FAQ システムを実演しました。
Hugging Face OptimumでTransformersをONNXに変換
Hugging Face は、低レベルの torch.onnx API からハイレベルの Optimum ライブラリまで、Transformers モデルを ONNX に変換する 3 つの方法を提供しています。
OpenAI 大規模モデルによる進化 (ELM) 研究
OpenAI は、LLM を使用して遺伝的プログラミングを人間らしいコード変異で近似し、未知のドメインで機能的なプログラムを生成する手法「大規模モデルによる進化 (ELM)」を紹介します。
Anthropic Softmax Linear Units (SoLU) Research
Anthropicは、モデルのパフォーマンスを犠牲にすることなく、解釈可能なニューロンの割合を増やすMLP活性化関数のアーキテクチャ変更であるSoftmax Linear Units (SoLU) を導入しました。
Intel と Hugging Face の機械学習ハードウェアアクセラレーションに関するパートナーシップ
Intel は Hugging Face ハードウェアパートナープログラムに参加し、Optimum Intel ライブラリを開発しています。これにより、Intel プラットフォーム上での Transformer モデルのトレーニング、ファインチューニング、推論におけるハードウェアアクセラレーションが効率化されます。
Hugging Face 機械学習インサイト部ディレクター：金融エディション
U.S. Bank、RBC、Moody's Analytics の専門家は、機械学習が詐欺検出やパーソナライズされた製品を通じて金融を変革していること、そしてレガシーシステムや規制要件といった課題に対処しながら進めていることを議論しています。
AIが書いた批評が人間に欠陥に気付かせる
OpenAIの研究は、AIが生成した批評が人間の評価者に要約の欠陥を大幅に多く特定させることを示し、複雑なAIタスクに対する人間の監督をスケーラブルに行う道筋を示唆しています。
OpenAI 大規模ニューラルネットワークのトレーニング手法
OpenAI は、データ並列、パイプライン並列、テンソル並列、エキスパート並列という主要な並列化戦略と、巨大な AI モデルのトレーニングのために GPU クラスタを調整する際に使用されるメモリ節約技術を概説しています。
スペースインベーダーでのDeep Q-Learning
Hugging Face は、Atari ゲームのような高次元状態空間に対して Q 値を近似するためにニューラルネットワークを使用する強化学習手法、Deep Q-Learning（DQN）について解説しています。
注釈付き拡散モデル – DDPM実装の詳細なウォークスルー
Hugging Face は、拡散モデル（DDPM）を構築、訓練、サンプリングする方法を示す、注釈付きのステップバイステップ PyTorch 実装を公開しました。
OpenAI、Cohere、AI21 Labs の言語モデル展開に関するベストプラクティス
OpenAI、Cohere、AI21 Labs は、大規模言語モデルの責任ある開発と展開に向けたリスク軽減と誤用防止のための、初期的なベストプラクティスを共同で発表しました。
OpenAI研究：モデルに不確実性を言葉で表現させる
OpenAIの研究者は、GPT-3がモデルのロジットに依存せずに、自然言語で回答の校正された不確実性を表現できるように訓練できることを実証しました。
Graphcore と Hugging Face が IPU 対応トランスフォーマーモデルを拡張
Graphcore と Hugging Face は、Graphcore IPU 用に NLP、音声、コンピュータビジョンの分野で 10 の最適化されたトランスフォーマーモデルを含むように Hugging Face Optimum ライブラリを拡張しました。
Hugging Face Hub コミュニティアップデート：プルリクエストとディスカッション
Hugging Face は Hub にプルリクエストとディスカッションを導入し、リポジトリのフォークなしでモデル、データセット、Spaces 全体での協働を可能にしました。
OpenAI Codex のアプリケーションと統合
OpenAI Codex は GPT-3 を基盤とした自然言語からコードへの変換システムで、GitHub Copilot を含む 70 以上のアプリケーションに搭載され、英語の指示をコードに変換することで開発者の生産性を向上させます。
TAPEX: ニューラルSQL実行による効率的なテーブル事前学習
TAPEX は、合成された SQL 実行ペアを用いたテーブル事前学習手法で、テーブル質問応答や事実検証において従来手法よりもはるかに高い効率で最先端の結果を達成します。
Anthropic Research: Scaling Laws and Interpretability of Learning from Repeated Data
Anthropicの研究者は、トレーニングデータのわずかな一部を繰り返すことで、モデルの容量を記憶に費やし、induction heads のような汎化構造を損なうことにより、LLMの性能を深刻に低下させることができることを発見しました。
Hugging Face Q学習入門
Hugging Face は、Qテーブルを使用して最適な状態-行動ペアを決定する、オフポリシーの価値ベース強化学習手法である Q-Learning に関する技術ガイドを提供しています。
Hugging Face マルチモーダルプロジェクト倫理憲章
Hugging Face は、マルチモーダル学習プロジェクトのために倫理憲章を策定し、倫理原則、透明性、公平性を機械学習研究ライフサイクルに直接組み込んでいます。
Sempre Health ケーススタディ：Hugging Face エキスパートアクセラレーションプログラムでNLPパイプラインを加速
Sempre Healthは、Hugging Face エキスパートアクセラレーションプログラムを活用してNLPパイプラインを導入し、受信患者メッセージの20%以上を自動で処理することで、ビジネスのスケーラビリティを大幅に向上させました。
OpenAI DALL·E 2 研究プレビューの更新
OpenAIは、300万枚以上の画像を生成した限定的な研究プレビューに続き、待機リストに登録されたユーザーへのDALL·E 2へのアクセスを週に1,000人のペースで拡大しています。
Hugging Face Deep RL コース ユニット2 パート1：Q-ラーニング概念の紹介
Hugging Face は Deep Reinforcement Learning コースの第1部を公開し、価値ベース手法、ベルマン方程式、Monte‑Carlo と Temporal‑Difference 学習を Q‑Learning の基礎として解説しました。
Hugging Face フェローシッププログラムのお知らせ
Hugging Face は、リソース、認知、そして個別のサポートを通じて、オープンソース機械学習エコシステムの主要な貢献者を支援し、力を与えるためにフェローシッププログラムを開始しました。
機械学習エキスパートインタビュー：サシャ・ルチオーニ – 倫理的AIと気候影響のハイライト
Hugging Faceは研究科学者のサシャ・ルチオーニにインタビューし、倫理的AI、カーボンフットプリント測定、そして機械学習を気候や社会課題に応用する取り組みについて語ってもらいました。
Gradio 3.0 リリースノート
Hugging Face は Gradio 3.0 をリリースしました。フロントエンドの全面的な再設計と、Python で複雑なカスタム機械学習 Web アプリを構築するための Gradio Blocks の導入が特徴です。
Hugging Face 学生アンバサダープログラム 2022
Hugging Faceは、2023年までに機械学習を500万人に教えるという目標達成を支援するため、初の学生アンバサダープログラムを開始しました。
Hugging Face ディレクター・オブ・機械学習インサイト: SaaS エディション
Hugging Face は Salesforce、Amplitude、ZoomInfo、Repustate の 4 名の ML ディレクターにインタビューし、機械学習を SaaS 製品に統合する際の実務的課題、一般的な落とし穴、そして将来の機会について議論しました。