Hugging Face Transformers 量子化の概要
Hugging Face は、bitsandbytes と auto-gptq の量子化スキームをネイティブにサポートし、小型デバイスでの大規模モデルの推論と効率的なアダプター ファインチューニングを可能にします。
SafeCoder と クローズドソース コード アシスタント
Hugging Face は、オープンソースの StarCoder モデルに基づくエンタープライズグレードのコード アシスタントである SafeCoder を発表しました。これは、クローズドソースの代替品よりも透明性、カスタマイズ性、データ プライバシーを優先します。
T2I-Adapters を用いた SDXL の効率的な制御可能な生成
Hugging Face と TencentARC は、軽量なプラグアンドプレイ モデルである T2I-Adapter-SDXL を紹介します。このモデルは、スケッチや深度マップなどの外部信号を使用して Stable Diffusion XL (SDXL) の生成を精密に制御でき、ControlNet と比較して計算オーバーヘッドが大幅に低減されます。
Falcon 180B リリースノート
TIIは、PaLM-2のようなプロプライエタリなモデルに対抗すべく、3.5兆トークンで学習された1800億パラメータを持つ、世界最大級のオープン利用可能な言語モデルFalcon 180Bをリリースしました。
Fetch ケーススタディ: Amazon SageMaker と Hugging Face を使用して機械学習処理レイテンシを 50% 削減
Fetch は、機械学習処理レイテンシをレシートスキャンで 50% 削減し、ドキュメント理解モデルの精度を 200% 向上させるために、ML パイプラインを Amazon SageMaker と Hugging Face に移行しました。
AudioLDM 2 最適化ガイド: Hugging Face Diffusers を使った推論時間の短縮
Hugging Face は、コードとモデルの最適化により AudioLDM 2 の推論時間を 10 倍以上短縮し、10 秒のオーディオサンプルの生成を 1 秒未満にする方法を示しています。
Hugging Face Hub Git 認証の変更
Hugging Faceは2023年10月1日にパスワードベースのGit認証を非推奨とし、セキュリティを向上させるためユーザーにパーソナルアクセストークンまたはSSHキーへの切り替えを義務付けました。
Code Llama リリースノート
Code Llamaは、Llama 2に基づくオープンアクセスモデルのファミリーであり、インフィリングおよび最大100,000トークンのロングコンテキストウィンドウをサポートし、コーディングタスクに特化しています。
Hugging Face AutoGPTQ と Transformers の統合
Hugging Face は AutoGPTQ ライブラリを Transformers に統合し、LLM を 8、4、3、または 2 ビット精度に量子化してメモリ要件を削減し、4 ビットではほとんど精度損失なく実現します。
IDEFICS: 最先端の視覚言語モデルのオープンな再現
Hugging Faceは、Flamingoアーキテクチャに基づくオープンアクセスの視覚言語モデルIDEFICSをリリースしました。これは9Bおよび80Bパラメータサイズでインターリーブされた画像とテキストの入力をサポートします。
Hugging Face SafeCoder 発表
Hugging Faceは、企業が自社のセキュアなインフラストラクチャ内で独自のCode LLMを構築およびデプロイできる、セルフホスト型のエンタープライズグレードなコードアシスタントソリューションであるSafeCoderを発表しました。
AWS Marketplace 上の Hugging Face Hub
Hugging Face は、AWS Marketplace と Hub を統合し、組織が AWS アカウントを通じて直接、Inference Endpoints や AutoTrain などのマネージド サービスの料金を支払えるようにしました。
BentoMLを使ったDeepFloyd IFのデプロイ
Hugging Faceは、BentoMLを使用してDeepFloyd IFテキストから画像へのモデルをデプロイする方法を示しており、これによりマルチステージのピクセル拡散アーキテクチャを複数のGPU間で独立してスケーリングすることが可能になります。
🤗 Transformers を使用した Bark の最適化
Hugging Face は、Better Transformer、半精度 (fp16)、および CPU オフロードを使用して、Bark テキスト読み上げモデルのメモリフットプリントを削減し、推論速度を向上させる方法を示しています。
Swift Transformers リリース: Apple デバイス上でオンデバイス LLM を実行する
Hugging Face は、開発者が Apple アプリ内で LLM をオンデバイスで実行できるようにするため、アルファ版の swift-transformers Swift パッケージ、swift-chat デモアプリ、更新された exporters および transformers-to-coreml ツール、ならびに Llama 2 7B と Falcon 7B の Core ML バージョンをリリースしました。
TRL を用いた Direct Preference Optimization (DPO) による Llama 2 のファインチューニング
Hugging Face は TRL ライブラリに Direct Preference Optimization (DPO) を統合し、複雑な RLHF パイプラインではなく、簡素化されたバイナリクロスエントロピー損失を使用して Llama 2 やその他の LLM をアラインできるようにしました。
Hugging Face Inference Endpoints を介した MusicGen のデプロイ
Hugging Face は、標準的な pipeline でサポートされていないモデル向けに、Inference Endpoints とカスタムハンドラーを使用して、テキストから音楽を生成するモデルである MusicGen を API としてデプロイする方法を紹介しています。
FHEを用いた暗号化された大規模言語モデルに向けて
Hugging FaceとZamaは、完全準同型暗号（FHE）を用いることで、モデル所有者の知的財産を保護しながら、大規模言語モデルが暗号化されたユーザーデータを処理できるようにする方法を実証しました。
Huggy Lingo: MLを使ったHugging Face Hubの言語メタデータの改善
Hugging Faceは、fastText言語識別モデルとLibrarian-Botを使用して、現在言語メタデータが欠如しているデータセットの言語メタデータを自動的に検出および提案しています。
実践的な3Dアセット生成ガイド
Hugging Faceは、OpenAIのShap-EモデルをBlenderおよびDream Texturesと組み合わせることで、低忠実度なPS1スタイルの3Dアセットを作成するためのステップバイステップのワークフローを提供しています。
Segmind SD-Small および SD-Tiny 知識蒸留リリース
Segmind は、Stable Diffusion よりも 35% および 55% 小さく、最大 2 倍高速な推論を実現する 2 つの拡散モデル、SD-Small および SD-Tiny のコードと学習済み重みをオープンソース化しました。
Stable Diffusion XL on Mac における 高度な Core ML 量子化
Hugging Face と Apple は、Stable Diffusion XL を Core ML に移植し、Apple Silicon Mac 上で画像品質を維持しながら UNet サイズを 71% 削減する mixed-bit パレット化 を導入しました。
Agents.js リリース: JavaScriptを使ってLLMにツールを提供
Hugging Faceは、ブラウザまたはサーバーでLLMがツールにアクセスし実行できるようにするJavaScriptライブラリAgents.jsをリリースしました。
Hugging Faceとパートナーは、EU AI法案におけるオープンMLの考慮事項を示す
Hugging Faceは、Creative Commons、Eleuther AI、GitHub、LAION、Open Futureと連携し、EU AI法案がオープンソース機械学習開発を支援するよう、5つの主要な推奨事項を提案した。
Hugging Face オープンソース AI ゲームジャム 結果
Hugging Face は初めてのオープンソース AI ゲームジャムを開催し、その結果、88 のゲーム提出があり、オープンソース AI ツールがアセット、コーディング、ゲームプレイメカニクスに統合されました。
Hugging Face Diffusers 1周年概要
Hugging FaceはDiffusersライブラリの1周年を祝し、テキストから画像、ビデオ、3D、オーディオ生成のためのモジュール式ツールボックスへと進化したことを強調しています。
Llama 2 のリリースと Hugging Face との統合
Meta は、商用利用が可能なオープンアクセス大規模言語モデルのファミリーである Llama 2 をリリースし、Hugging Face エコシステムへの完全な統合を実現しました。
Hugging Face AI WebTV: 自動化されたビデオおよび音楽合成ストリームの構築
Hugging Faceは、LLMが生成したプロンプトからビデオと音楽のストリームを自動的に合成するために、ZeroscopeとMusicGenを使用した実験的デモであるAI WebTVを開発しました。
Hugging Faceにおけるオープンソースのテキスト生成とLLMエコシステム
Hugging Faceの2023年のブログ記事では、オープンソースのテキスト生成とLLMのエコシステムを概観し、モデルの背景、ライセンス、サービングツール、およびパラメータ効率の高いファインチューニングについて説明しています。
Hugging Face Diffusersを使用したIntel Sapphire Rapids CPUでのStable Diffusionのファインチューニング
Hugging Faceは、わずか5枚のサンプル画像を使用して、Intel Sapphire Rapids CPU上でTextual Inversionを用いてStable Diffusionモデルをファインチューニングする方法を示しています。これは、Intel Extension for PyTorchとoneCCLを介したCPUベースのファインチューニングを実証するものです。
Transformers.js を使った ML パワード ウェブゲームの作成
Hugging Face は、Transformers.js とファインチューニングされた MobileViT モデルを使用してブラウザ内で完全に動作するリアルタイム スケッチ検出ゲーム Doodle Dash の作成方法を示しています。
Hugging Face Inference Endpoints を使った LLM のデプロイ
Hugging Face Inference Endpoints は、オートスケーリング、スケール・トゥ・ゼロ、エンタープライズグレードのセキュリティなどの機能を備えたマネージド SaaS ソリューションで、開発者がオープンソース LLM を本番稼働可能な API としてデプロイできるようにします。
Hugging Face: オープンMLモデルでWebアプリジェネレータを作る
Hugging Face は、NodeJS、WizardCoder-15B モデル、そして Hugging Face Inference Endpoints API を使用して、text-to-webapp ジェネレータを構築する方法を示しています。
複雑な生成AIユースケースに対するHugging Faceの活用: Writerケーススタディ
Hugging FaceはWriterとのパートナーシップを強調し、Hugging Face Expert Acceleration Programを活用してスケーラブルなLLM本番運用を行いながら、ユーザーから顧客およびオープンソースコントリビューターへと進化したことを示しています。
ビジョン言語モデルの高速化: Habana Gaudi2 上の BridgeTower
Hugging Face は、Habana Gaudi2 上で Optimum Habana を使用して BridgeTower ビジョン言語モデルをファインチューニングすると、より多くのデータローダー ワーカーとハードウェア アクセラレートされた画像デコードにより、Nvidia A100 に対して最大 2.5×、H100 に対して 1.4× のスピードアップを達成できることを示しています。
Hugging Face Ethics and Society ニュースレター #4: テキスト・トゥ・イメージ モデルにおけるバイアス
Hugging Faceは、テキスト・トゥ・イメージ モデルにおけるバイアスの複雑なソースを概説し、探索ツール、レッドチームング、ドキュメンテーションを組み合わせた多角的アプローチを提案して、これらのバイアスを検出および緩和します。
Hugging Face Open LLM Leaderboard MMLU 評価分析
Hugging Faceは、MMLUベンチマークの異なる実装の詳細が同じLLMに対して著しく異なるパフォーマンススコアとランキングをもたらすことを説明しています。
Hugging Face Spaces との Panel 統合
Hugging Face は Hugging Face Spaces に Panel テンプレートを統合し、ユーザーが Python ベースのダッシュボードや複雑なアプリケーションを容易に構築およびデプロイできるようにしました。
Hugging Faceによる、AIの責任に関する米NTIAの意見公募への回答
2023年6月12日、Hugging FaceはAIの責任に関する米NTIAの意見公募に対し、責任のメカニズムはMLライフサイクル全体をカバーし、内部ドキュメントと外部の透明性を組み合わせ、幅広いステークホルダーを関与させるべきであるという推奨事項を含む回答を提出しました。
低リソースASR向けMMSアダプターモデルのファインチューニング
Hugging Faceは、低リソースASRデータに対してMassive Multilingual Speech（MMS）アダプターレイヤーをファインチューニングする方法を示し、大規模な事前学習済みモデルを凍結したまま、数分で低い単語誤り率を達成します。
Autoformer – Transformersは時系列予測に効果的
Hugging Faceは、Autoformerモデルが🤗 Transformersライブラリで今利用可能になったことを発表し、Transformerベースのモデルが時系列予測のベンチマークにおいてDLinearなどの単純な線形ベースラインを上回っていることを示しています。
Hugging Face コンテンツガイドラインとポリシーアップデート
Hugging Face は、機械学習アーティファクトのモデレーションにおける独自の課題に対応し、ユーザーの権利とプライバシーを保護するための核となる価値として同意を確立するため、コンテンツポリシーを更新しました。
LivebookノートブックをHugging Face Spacesのアプリとしてデプロイする
Hugging Faceは、LivebookノートブックをインタラクティブなアプリケーションとしてHugging Face Spacesにデプロイすることをサポートし、Elixirベースの機械学習アプリを簡単に共有できるようになりました。
iPhone、iPad、MacでのCore MLを使った高速なStable Diffusion
Hugging FaceとAppleは、Core MLに6ビットパレタイゼーションと更新された注意層の最適化を導入し、AppleデバイスでのStable Diffusionのメモリ使用量を大幅に削減し、推論速度を向上させました。
Hugging Face と AMD のモデル加速のためのパートナーシップ
Hugging Face と AMD は、トレーニングと推論のコストパフォーマンス基準を向上させるため、AMD の CPU、GPU、AI アクセラレータ向けに最先端のトランスフォーマー モデルを最適化するために提携しました。
ギャラリー、図書館、アーカイブ、博物館のための Hugging Face Hub
Hugging Face は、ギャラリー、図書館、アーカイブ、博物館が Hub を使用してモデル、データセット、デモを共有し、GLAM セクターにおける機械学習への障壁を下げる方法を示すガイドを公開しました。
ファウンデーションモデルは人間のようにデータにラベルを付けることができるか？ Hugging Face 分析
Hugging Face は、GPT-4 が LLM の好み評価において人間のラベラーを信頼性高く置き換えられるかを調査し、位置バイアスと冗長さバイアスが顕著であることを発見し、これらが人間の判断の代理としての精度を制限していることを明らかにした。
Hugging Face Hub と DuckDB の統合によるデータセット分析
Hugging Face は現在、Hub 上で自動的に Parquet 形式に変換された 50,000 件以上のパブリックデータセットに対して、DuckDB を介して SQL クエリを実行できるようになりました。
fastText と Hugging Face Hub の統合
Hugging Face は現在、157 言語の fastText ワードベクトルと言語識別モデルの公式ミラーをホストしており、モデルへのアクセスとデプロイを簡素化しています。
FalconモデルのリリースとHugging Faceエコシステムの統合
Hugging Faceは、オープンなApache‑2.0ライセンスのFalconファミリーの言語モデルを発表し、Falcon‑40BがOpen LLM Leaderboardでトップランクであることを強調し、Hugging Faceのツールを使ってそれらを実行、量子化、ファインチューンする方法を示しました。