✷ アーカイブ · ディスパッチ 6,239 件
すべてのディスパッチ
AgentLensHQ が記録したすべて——AI エコシステム全体から凝縮。
StarCoderでコーディングアシスタントを作成 – 要約
この記事では、Hugging Face チームが 16 B パラメータの StarCoder コード生成モデルを会話型コーディングアシスタント（StarChat‑α）に変換した方法を説明しています。特別なチャットトークンを追加し、フィルタ済みの Open‑Assistant 対話データセットを準備し、DeepSpeed ZeRO‑3 でファインチューニングすることで、ユーザーのプロンプトを理解し、実行可能なコード（例：プロット、地図、可視化）を生成できるモデルを訓練しました。記事では、トークナイザーの設定、ユーザーターンのロスマスキング、トレーニング環境、評価（ベンチマークと LLM ベースの両方）、制限事項、今後の方向性についても取り上げています。完成したモデルは Hub で公開されています。
Claudeの憲法：モデルのアライメントのための憲法AIの実装
Anthropicは、暗黙的な人間によるフィードバックにのみ頼るのではなく、明示的な一連の書かれた原則に基づいて、Claudeを「有用、誠実、無害」にするためのトレーニング手法である憲法AIを導入しています。
テキストからビデオへのモデルへの深掘り
Hugging Face は、テキストからビデオへの生成モデルの進化について技術的な概要を提供し、GAN から Transformer、Diffusion アーキテクチャへの移行を詳述するとともに、時間的一貫性とデータ不足という独自の課題を強調しています。
StarCoder リリースノート
Hugging Face と ServiceNow の BigCode 共同プロジェクトは、許可されたライセンスのデータで学習された 15B パラメータのコード LLM である StarCoder と StarCoderBase をリリースしました。これらはプログラミングベンチマークで複数のオープンおよびクローズドモデルを上回ります。
Anthropic Research: Distributed Representations, Composition, and Superposition
Anthropicは、分散表現における組成と重ね合わせの区別を明確にし、これら2つのメカニズムがニューラルネットワークの汎化と線形計算可能性にどのように影響するかを説明しています。
Hugging Face Unity API インストールと使用ガイド
Hugging Face Unity API は、専用パッケージと API ウィザードを通じて、開発者が Hugging Face Inference API のモデルを Unity プロジェクトに統合できるようにします。
Hugging Face Transformers、TensorFlow、TPU を使用した言語モデルのトレーニング
Hugging Face は、TensorFlow と TPU ポッドを使用してマスク付き言語モデルをスクラッチからトレーニングするためのスケーラブルなエンドツーエンドガイドを提供し、XLA 互換性を活用して高性能コンピューティングを実現します。
Databricks と Hugging Face が Apache Spark を統合し、LLM のトレーニングを高速化
Databricks は Dataset.from_spark() 関数を通じて Hugging Face Datasets に本格的な Apache Spark サポートを導入し、大規模モデルのトレーニングとチューニングにおけるデータロード時間を最大 40% 短縮しました。
Diffusers を使用した無料ティアの Google Colab で DeepFloyd IF を実行する
Hugging Face は、8 ビット量子化、モジュラー パイプラインのロード、Diffusers 統合の最適化を使用して、オープンソースの DeepFloyd IF テキスト‑ツー‑イメージモデルを無料の Google Colab ノートブックで実行する方法を示しています。
AnthropicとScaleのエンタープライズ向け生成AIパートナーシップ
AnthropicはScaleと提携し、Claude AIアシスタントをScaleのプラットフォームに統合することで、企業にデプロイメントツール、プロンプトエンジニアリング、および安全なデータ統合を提供します。
OpenAI、ChatGPT向けの新しいデータ管理コントロールを導入
OpenAIは、ユーザーの会話がモデル学習に使用されるのを防ぐためにチャット履歴を無効化する新設定を導入し、ChatGPT Businessサブスクリプションと新しいデータエクスポートツールの計画も発表しました。
Hugging Face、グローバルAIコミュニティを支援するために中国語ブログを開始
Hugging Faceは、翻訳された技術リソースを提供し、中国のAIコミュニティとの協力を深めるために、専用の中国語ブログ（hf.co/blog/zh）を開始しました。
Hugging Face SpacesでUnityゲームをホストする
Hugging Face Spacesは、Static HTMLテンプレートとWebGLビルドターゲットを活用することで、プレイ可能なUnityゲームをホストできます。
AI測定のためのNISTへの資金提供増額に関するAnthropicの提案
Anthropicは、標準化されたAI測定ツールと安全性の閾値を開発するために、国立標準技術研究所（NIST）への資金提供を野心的に増額することを提案しています。これは、効果的なAI規制を実現するための前提条件であると彼らは主張しています。
AWS Inferentia2 で Hugging Face Transformers を高速化
Hugging Face と AWS は、特定用途向け推論アクセラレータである AWS Inferentia2 用に Transformers を最適化し、大規模モデルのレイテンシを大幅に削減し、スループットを向上させました。
トランスフォーマーによるグラフ分類
Hugging Face は、Transformers ライブラリ内の Graphormer モデルを使用したグラフ分類の実施方法を示し、データのフォーマット、前処理、ファインチューニングについて解説しています。
Substraでプライバシー保護AIを作成する
Hugging Face と Substra は、フェデレーテッドラーニングが分散したデータソース上で AI モデルのトレーニングを可能にし、特に医療などの機密性の高い領域でプライバシーとセキュリティを維持できることを示しています。
OpenAI バグバウンティプログラムのお知らせ
OpenAI は Bugcrowd と提携し、システムの脆弱性を特定・対処するセキュリティ研究者に報酬を提供するバグバウンティプログラムを開始しました。
エンタープライズ向け基盤モデルのための Snorkel AI と Hugging Face の統合
Snorkel AI は Hugging Face と提携し、Hugging Face Inference Endpoints を Snorkel Flow に統合しました。これにより、エンタープライズは 150,000 以上のオープンソース基盤モデルに簡単にアクセスし、適応させることができます。
OpenAI の AI 安全へのアプローチ
OpenAI は、厳格な事前展開テスト、反復的な実世界展開、継続的なアラインメント研究を組み合わせた多層的な安全戦略を採用し、強力な AI システムに伴うリスクを軽減しています。
StackLLaMA: Stack Exchange向けにRLHFでLLaMAをトレーニング
Hugging Faceは、Supervised Fine-tuning、Reward Modeling、そしてHuman Feedbackによる強化学習（RLHF）を用いてStack Exchangeの質問に回答するために訓練されたモデル、StackLLaMAを発表しました。
Hugging Face Ethics and Society ニュースレター #3: 倫理的オープンネスイニシアチブ
Hugging Face は、6 つの倫理タグ、フラグ機能、閲覧者向けメタデータなどの新しい倫理的オープンネス施策を発表し、オープンソースの機械学習をより安全で包括的にすることを目指しています。
Intel Sapphire Rapids CPUでのStable Diffusion推論の高速化
Hugging Faceは、Optimum Intel、OpenVINO、システムレベルの調整、IPEX BF16、そして高速なスケジューラを使用して、Intel Sapphire Rapids CPU上でStable Diffusionの画像生成を32秒から約5秒に短縮する方法を示しています。
Habana Gaudi2アクセラレータ上でのBLOOMZ推論
Hugging Faceは、Optimum HabanaライブラリとDeepSpeed-inferenceを活用し、Habana Gaudi2アクセラレータがNvidia A100 80GBよりもBLOOMZ 176Bモデルの推論を高速に実行できることを示しました。
Hugging Face と Flower を用いたフェデレーテッドラーニング
Hugging Face は、Flower フレームワークを使用して、事前学習済みの distilBERT モデルを IMDB データセットの感情分析に対してフェデレーテッドラーニングを実行する方法を示しています。
OpenAI 3月20日 ChatGPT 停止とデータ漏洩分析
OpenAIは2023年3月20日に、オープンソースライブラリのバグにより、アクティブなChatGPT Plus加入者の一部に対してチャットタイトルと支払い情報が漏洩したため、ChatGPTをオフラインにしました。
Hugging Face DiffusersでControlNetをトレーニングする
Hugging Faceは、diffusersライブラリを通じて包括的なガイドとトレーニングスクリプトを提供し、ユーザーがStable Diffusion用のカスタムControlNetモデルをトレーニングできるようにしています。これは「Uncanny Faces」ポーズモデルの作成で実証されています。
ChatGPT プラグインのリリース
OpenAI は ChatGPT 用のプラグインを導入し、モデルがリアルタイム情報にアクセスし、計算を実行し、サードパーティサービスと統合できるようにすることで、ユーティリティを拡大し、幻覚（ハルシネーション）を減らします。
Hugging Face Hub の Jupyter ノートブックサポートが改善されました
Hugging Face は、Hub にホストされた Jupyter ノートブックに対して人間が読みやすいレンダリングを導入し、機械学習実務者の再現性とアクセシビリティを向上させました。
GPTはGPTです：大規模言語モデルの労働市場への影響
OpenAIの研究によると、米国労働力の約80％が大規模言語モデルによって少なくとも10％の業務タスクに影響を受ける可能性があり、これらは汎用技術として位置付けられます。
AnthropicがTransformerの残差ストリームにおける特権的基底を明らかにする
Anthropicは、Transformerの残差ストリームの次元が任意ではなく、Adamの次元ごとの正規化子により特権的基底と一致していることを発見し、従来の理論的仮定に挑戦しています。
OpenAI GPT-4 発表と機能概要
OpenAIは、さまざまなプロフェッショナルベンチマークで人間レベルの性能を達成した大規模マルチモーダルモデルGPT-4を発表し、現在ChatGPT、API待機リスト、オープンソース評価ツールを通じて利用可能です。
OpenAIがBe My Eyes向けにGPT‑4搭載のバーチャルボランティアを発表
OpenAIはGPT‑4の視覚入力をBe My Eyesアプリに統合し、画像を説明・分析・会話できるバーチャルボランティアを作成しました。これにより、盲目や低視力のユーザー向けの視覚アクセシビリティが劇的に拡大します。
Stripe GPT-4 統合ケーススタディ
Stripeはプラットフォーム全体でGPT-4を統合し、ビジネス要約の自動化、ドキュメント分析による開発者サポートの強化、コミュニティフォーラムでの不正検出の改善を実現しました。
Duolingo、先進的な語学学習のためにGPT-4を統合
Duolingoは、GPT-4搭載のロールプレイと「Explain my Answer」機能を備えた新しいサブスクリプション層「Duolingo Max」を開始し、没入型の会話練習と文脈に応じた文法フィードバックを提供します。
カーンアカデミー、GPT-4を統合しKhanmigo AIアシスタントを強化
カーンアカデミーは、GPT-4を搭載したAIチューター兼教師アシスタントであるKhanmigoをパイロット運用し、個別学習と指導支援を提供しています。
OpenAIとアイスランド政府のパートナーシップ：アイスランド語保存のために
OpenAIはアイスランド政府および民間企業と提携し、GPT-4と人間のフィードバックによる強化学習（RLHF）を活用して、デジタル時代におけるアイスランド語の保存に取り組んでいます。
Claudeのご紹介
Anthropicは、役に立ち、誠実で、無害であることを目指して設計された次世代AIアシスタント、Claudeをリリースしました。高性能版と高速で軽量なバージョンの両方が利用可能です。
OpenAI GPT-4リリース
OpenAIは、GPT-3.5と比較して高度な推論能力、問題解決における高い正確性、およびセーフティと事実の信頼性の向上を示す大規模言語モデルであるGPT-4をリリースしました。
Informer を用いた多変量確率的時系列予測
Hugging Face は Informer モデルを Transformers ライブラリに統合し、計算およびメモリの複雑性を削減した効率的な多変量確率的時系列予測を可能にしました。
24GB コンシューマ GPU で RLHF による 20B LLM のファインチューニング
Hugging Face は TRL と PEFT の統合をリリースし、8 ビット量子化と低ランクアダプタを用いて、単一の 24 GB GPU 上で 200 億パラメータの言語モデルを強化学習でファインチューニングできるようにしました。
AnthropicのAI安全性に関する核心的な見解
Anthropicは、変革的なAIシステムの急速なスケーリングに伴う壊滅的なリスクを軽減するため、実証に基づいたポートフォリオ・アプローチによるAI安全性への取り組みを概説しています。
Kakao Brain ViT と ALIGN モデル、COYO 700M データセットでリリース
Kakao Brain と Hugging Face は、最新の 700 M 画像‑テキスト COYO データセットで学習したオープンソースの ViT と ALIGN ビジュアル‑言語モデルをリリースしました。これにより、初の公開 ALIGN モデルと、再現可能な学習データを伴う ViT モデルが提供されます。
Diffusers における ControlNet
Hugging Face は ControlNet を Diffusers ライブラリに統合し、Canny エッジ、深度マップ、人間のポーズなどの条件付けを用いて Stable Diffusion の画像生成を精密に空間制御できるようにしました。
機械学習を活用した災害対応：afetharita プロジェクト
Hugging Face は、ボランティアが Hugging Face エコシステムを活用して OCR、NER、リモートセンシングの機械学習モデルを迅速にデプロイし、2023年2月のトルコ地震の生存者支援に貢献した様子を説明しています。
Hugging Face Diffusers 倫理ガイドライン
Hugging Face は Diffusers ライブラリ向けに倫理フレームワークを導入し、技術的な意思決定とコミュニティの貢献を導くとともに、拡散モデルの潜在的な社会的リスクを軽減します。
Hugging Face エキスパートアクセラレーションプログラム: Witty Works ケーススタディ
Witty Works は Hugging Face エキスパートアクセラレーションプログラムと SetFit を活用し、最小限のラベル付きデータで高精度な文脈依存型インクルーシブ言語分類器を構築しました。
OpenAIのAGIとその先の計画
OpenAIは、社会が適応できるようにAIシステムを段階的に展開する戦略を概説し、アラインメント研究の強化、グローバルガバナンス、そして存在的リスクに対する慎重なアプローチの必要性を強調しています。
Swift Diffusers for Mac 1.1 リリース
Hugging Face は Diffusers for Mac バージョン 1.1 をリリースしました。これは Core ML を活用して Apple Silicon 上で Stable Diffusion を高速化するネイティブのオープンソースアプリで、特定のハードウェア構成では最大 2 倍の生成速度向上が期待できます。
大規模言語モデルのレッドチーミング
Hugging Face は、LLM の脆弱性を特定し有害な出力を防止するためのレッドチーミングの重要な役割を概説し、協調的かつ適応的な評価手法の必要性を強調しています。