✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,061 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
Hugging Face Hub の Jupyter ノートブックサポートが改善されました
Hugging Face は、Hub にホストされた Jupyter ノートブックに対して人間が読みやすいレンダリングを導入し、機械学習実務者の再現性とアクセシビリティを向上させました。
GPTはGPTです：大規模言語モデルの労働市場への影響
OpenAIの研究によると、米国労働力の約80％が大規模言語モデルによって少なくとも10％の業務タスクに影響を受ける可能性があり、これらは汎用技術として位置付けられます。
AnthropicがTransformerの残差ストリームにおける特権的基底を明らかにする
Anthropicは、Transformerの残差ストリームの次元が任意ではなく、Adamの次元ごとの正規化子により特権的基底と一致していることを発見し、従来の理論的仮定に挑戦しています。
OpenAI GPT-4 発表と機能概要
OpenAIは、さまざまなプロフェッショナルベンチマークで人間レベルの性能を達成した大規模マルチモーダルモデルGPT-4を発表し、現在ChatGPT、API待機リスト、オープンソース評価ツールを通じて利用可能です。
OpenAIがBe My Eyes向けにGPT‑4搭載のバーチャルボランティアを発表
OpenAIはGPT‑4の視覚入力をBe My Eyesアプリに統合し、画像を説明・分析・会話できるバーチャルボランティアを作成しました。これにより、盲目や低視力のユーザー向けの視覚アクセシビリティが劇的に拡大します。
Stripe GPT-4 統合ケーススタディ
Stripeはプラットフォーム全体でGPT-4を統合し、ビジネス要約の自動化、ドキュメント分析による開発者サポートの強化、コミュニティフォーラムでの不正検出の改善を実現しました。
Duolingo、先進的な語学学習のためにGPT-4を統合
Duolingoは、GPT-4搭載のロールプレイと「Explain my Answer」機能を備えた新しいサブスクリプション層「Duolingo Max」を開始し、没入型の会話練習と文脈に応じた文法フィードバックを提供します。
カーンアカデミー、GPT-4を統合しKhanmigo AIアシスタントを強化
カーンアカデミーは、GPT-4を搭載したAIチューター兼教師アシスタントであるKhanmigoをパイロット運用し、個別学習と指導支援を提供しています。
OpenAIとアイスランド政府のパートナーシップ：アイスランド語保存のために
OpenAIはアイスランド政府および民間企業と提携し、GPT-4と人間のフィードバックによる強化学習（RLHF）を活用して、デジタル時代におけるアイスランド語の保存に取り組んでいます。
Claudeのご紹介
Anthropicは、役に立ち、誠実で、無害であることを目指して設計された次世代AIアシスタント、Claudeをリリースしました。高性能版と高速で軽量なバージョンの両方が利用可能です。
OpenAI GPT-4リリース
OpenAIは、GPT-3.5と比較して高度な推論能力、問題解決における高い正確性、およびセーフティと事実の信頼性の向上を示す大規模言語モデルであるGPT-4をリリースしました。
Informer を用いた多変量確率的時系列予測
Hugging Face は Informer モデルを Transformers ライブラリに統合し、計算およびメモリの複雑性を削減した効率的な多変量確率的時系列予測を可能にしました。
24GB コンシューマ GPU で RLHF による 20B LLM のファインチューニング
Hugging Face は TRL と PEFT の統合をリリースし、8 ビット量子化と低ランクアダプタを用いて、単一の 24 GB GPU 上で 200 億パラメータの言語モデルを強化学習でファインチューニングできるようにしました。
AnthropicのAI安全性に関する核心的な見解
Anthropicは、変革的なAIシステムの急速なスケーリングに伴う壊滅的なリスクを軽減するため、実証に基づいたポートフォリオ・アプローチによるAI安全性への取り組みを概説しています。
Kakao Brain ViT と ALIGN モデル、COYO 700M データセットでリリース
Kakao Brain と Hugging Face は、最新の 700 M 画像‑テキスト COYO データセットで学習したオープンソースの ViT と ALIGN ビジュアル‑言語モデルをリリースしました。これにより、初の公開 ALIGN モデルと、再現可能な学習データを伴う ViT モデルが提供されます。
Diffusers における ControlNet
Hugging Face は ControlNet を Diffusers ライブラリに統合し、Canny エッジ、深度マップ、人間のポーズなどの条件付けを用いて Stable Diffusion の画像生成を精密に空間制御できるようにしました。
機械学習を活用した災害対応：afetharita プロジェクト
Hugging Face は、ボランティアが Hugging Face エコシステムを活用して OCR、NER、リモートセンシングの機械学習モデルを迅速にデプロイし、2023年2月のトルコ地震の生存者支援に貢献した様子を説明しています。
Hugging Face Diffusers 倫理ガイドライン
Hugging Face は Diffusers ライブラリ向けに倫理フレームワークを導入し、技術的な意思決定とコミュニティの貢献を導くとともに、拡散モデルの潜在的な社会的リスクを軽減します。
Hugging Face エキスパートアクセラレーションプログラム: Witty Works ケーススタディ
Witty Works は Hugging Face エキスパートアクセラレーションプログラムと SetFit を活用し、最小限のラベル付きデータで高精度な文脈依存型インクルーシブ言語分類器を構築しました。
OpenAIのAGIとその先の計画
OpenAIは、社会が適応できるようにAIシステムを段階的に展開する戦略を概説し、アラインメント研究の強化、グローバルガバナンス、そして存在的リスクに対する慎重なアプローチの必要性を強調しています。
Swift Diffusers for Mac 1.1 リリース
Hugging Face は Diffusers for Mac バージョン 1.1 をリリースしました。これは Core ML を活用して Apple Silicon 上で Stable Diffusion を高速化するネイティブのオープンソースアプリで、特定のハードウェア構成では最大 2 倍の生成速度向上が期待できます。
大規模言語モデルのレッドチーミング
Hugging Face は、LLM の脆弱性を特定し有害な出力を防止するためのレッドチーミングの重要な役割を概説し、協調的かつ適応的な評価手法の必要性を強調しています。
Fetch AI インフラストラクチャ移行：Hugging Face と AWS によるツールの統合
Fetchは、サードパーティのAI「ブラックボックス」からHugging Face と AWS が支える社内MLパイプラインへ移行することで、開発時間を30％削減し、処理レイテンシーを50％削減しました。
Hugging Face と AWS の AI アクセシビリティに向けた戦略的パートナーシップ
Hugging Face と AWS は、Hugging Face のモデルを AWS インフラストラクチャと専用 ML アクセラレータに統合することで、生成的 AI の民主化を推進するために戦略的パートナーシップを拡大しました。
OpenAI AIシステムの行動とガバナンスフレームワーク
OpenAIは、ChatGPTの行動を形作る二段階のトレーニングプロセスと、デフォルトの改善、ユーザーカスタマイズの実現、AIガバナンスへの公共の意見統合という三本柱の戦略を概説しています。
Hugging Face Inference Endpoints ケーススタディ
Hugging Face は、運用の複雑さを削減し、レイテンシを改善するために、CPU ベースの ML モデルを AWS ECS/Fargate から Hugging Face Inference Endpoints に移行しています。
BLIP-2: ゼロショット画像からテキストへの生成
BLIP-2 は、Salesforce Research の視覚言語モデルで、Querying Transformer（Q-Former）を使用して凍結された画像エンコーダと凍結された大規模言語モデルを橋渡しし、効率的なゼロショット画像からテキストへの生成を実現します。
Anthropic Research: LLMにおける道徳的自己修正能力
Anthropicの研究は、RLHFで訓練された大規模言語モデル（LLM）が、指示を受けた際に有害な出力を回避するために道徳的に自己修正できることを示しており、この能力は22Bパラメータで発現します。
🤗 PEFT ライブラリのリリースにより、パラメータ効率の高いファインチューニングが可能に、数十億規模モデル
Hugging Face は 🤗 PEFT ライブラリを発表しました。このライブラリにより、パラメータのごく一部だけを学習させることで、低リソースハードウェア上でも数十億パラメータのモデルをファインチューニングできるようになります。
SpeechT5: 統合モーダル エンコーダーデコーダーによる音声処理
Hugging Face は、統合されたエンコーダーデコーダーバックボーンを通じてテキスト音声変換、音声間変換、音声文字変換タスクを実行できる、統一された Transformer ベースのモデルである SpeechT5 を統合しました。
Hugging Face AI vs. AI：マルチエージェント強化学習コンペティションシステム
Hugging Faceは、ELOレーティングシステムを用いた継続的なマルチエージェント競争により、深層強化学習モデルをランク付けするオープンソースシステム「AI vs. AI」を導入しました。
ゲーム開発向け Hugging Face AI：ストーリー生成
Hugging Face は、`ChatGPT` のような大規模言語モデル（LLM）を使用してゲームのストーリーやコンテンツを生成するワークフローを概説し、独創性、法的リスク、長期的な一貫性に関する重要な制限点を指摘しています。
Intel Sapphire Rapids を使用した PyTorch トランスフォーマーの高速化
Hugging Face は、Intel Sapphire Rapids CPU と Optimum Intel ライブラリを組み合わせることで、従来の Xeon 世代と比較して PyTorch トランスフォーマーの推論を最大 3 倍高速化できることを示しています。
Vision-Languageモデルへのダイブ
Hugging Face は、Vision‑Languageモデルの技術的概要を提供し、5つの主要な事前学習戦略とそれらがTransformersライブラリに統合され、VQAや画像セグメンテーションといったタスクに活用される方法を詳述しています。
Anthropic が Google Cloud と AI インフラストラクチャに関する提携を発表
Anthropic は、GPU および TPU クラスタを活用して、AI システム（Claude アシスタントを含む）のトレーニング、スケーリング、デプロイを行うため、Google Cloud をクラウドプロバイダーとして選定しました。
ChatGPT Plus の開始
OpenAI は、ピーク時のアクセス保証、より高速な応答、機能ロールアウトの優先提供を特徴とする月額 20 ドルのサブスクリプション「ChatGPT Plus」を発表し、利用可能範囲を全世界に拡大しました。
OpenAI AIテキスト分類器リリース（2023年1月）
OpenAIは2023年1月に公開AIテキスト分類器をリリースしましたが、信頼性が低く、AI生成テキストのうちわずか26％しか検出できず、人間が書いたテキストの9％を誤ってAI生成とラベル付けします。
Hugging Face におけるコンピュータビジョンの現状
Hugging Face はエコシステムを拡張し、8 つのコアコンピュータビジョンタスク、3,000 を超えるモデル、100 以上のデータセットをサポートし、Transformer と畳み込みアーキテクチャの両方を統合しています。
ゲーム開発のための Hugging Face 2D アセット生成
Hugging Face は、Stable Diffusion の Image2Image 機能を協働的な 2D ゲームアセット ワークフローに統合し、効率的に製品レベルのアイコンを作成する方法を示しています。
LoRA を使用した効率的な Stable Diffusion ファインチューニング
Hugging Face は Low‑Rank Adaptation（LoRA）を diffusers ライブラリに統合し、VRAM 要求を大幅に削減し、モデルの重みを 3 MB 程度に小さくした、より高速な Stable Diffusion のファインチューニングを可能にしました。
Hugging Face Optimum と ONNX Runtime のトレーニング統合
Hugging Face と Microsoft は ONNX Runtime を Optimum ライブラリに統合し、トランスフォーマーベースのモデルのトレーニング時間を 35％ 以上短縮しました。
対話エージェントを有用にする要素は何か？技術分析
Hugging Face は、ベース言語モデルを有用な対話エージェントへと変換する主要な技術—Instruction Fine-Tuning (IFT)、Supervised Fine-Tuning (SFT)、Reinforcement Learning from Human Feedback (RLHF)、および Chain-of-Thought (CoT)—を分析しています。
OpenAI と Microsoft が戦略的パートナーシップを拡大
OpenAI と Microsoft は、数年にわたる数十億ドル規模のパートナーシップを拡大し、独立した AI 研究を加速し、Azure を通じた AI モデルの展開を拡大しています。
ゲーム開発向け Hugging Face AI：3D アセット生成
Hugging Face はテキストから 3D への AI の現状を調査し、DreamFusion や Point‑E のようなツールは存在するものの、まだ迅速なゲーム開発ワークフローに実用的に適用できる段階にないと結論付けました。
Mask2Former と OneFormer: 🤗 Transformers における汎用画像セグメンテーションモデル
Hugging Face は Transformers ライブラリに Mask2Former と OneFormer を追加し、単一モデルでインスタンス、セマンティック、パノプティックのすべてのセグメンテーションを処理できる汎用アーキテクチャを提供しました。
PaddlePaddle と Hugging Face Hub の統合
Hugging Face は PaddlePaddle と提携し、PaddleNLP を起点として同社の深層学習プラットフォームとライブラリを Hugging Face Hub に統合し、アクセシビリティと共有を向上させました。
Hugging Face Datasets と Transformers を用いた画像類似性
Hugging Face は、Transformers と Datasets ライブラリを使用して密なベクトル埋め込みを計算し、余弦類似度で測定することで画像類似性システムを構築する方法を示しています。
情報操作キャンペーンにおける言語モデルの悪用予測
OpenAI、ジョージタウン大学、スタンフォード・インターネット・オブザーバトリーは、大規模言語モデルが情報操作キャンペーンのコストを削減し規模を拡大させる可能性を分析し、対策のための4段階フレームワークを提案した報告書を発表しました。
ゲーム開発のためのAI：LLMを活用したゲームデザイン
Hugging Face は、ChatGPT のような大規模言語モデルをゲームデザインのブレインストーミングや加速ツールとして活用し、特に農業ゲームのコア機能定義にどのように役立つかを示しています。
Anthropic Research: Superposition, Memorization, and Double Descent
Anthropicの研究者たちは、単純なニューラルネットワークにおける重ね合わせ、記憶、および過学習の関係を調査しており、重ね合わせによってモデルが記憶中にニューロンの数よりも多くの特徴量を保存できることを示唆しています。