OpenAI フロンティアリスクと準備フレームワーク
OpenAIは、フロンティアAIモデルに関連する災害的リスクを特定、評価、軽減するため、専門のPreparednessチームとRisk-Informed Development Policyを設立しました。
フロンティアモデルフォーラム アップデート
OpenAI、Anthropic、Google、およびMicrosoftは、Chris Meseroleをフロンティアモデルフォーラムのエグゼクティブディレクターに任命し、1000万ドルのAIセーフティファンドを設立して、能力のあるAIモデルの評価に関する研究を推進しました。
Hugging Face と Renumics Spotlight の統合によるスケーラブルなデータ検査
Hugging Face は Renumics Spotlight と統合し、1 行のコードで機械学習データセットのインタラクティブな可視化と検査を可能にし、マルチモーダルデータとモデル結果のサポートも含みます。
Stable Diffusion XL (SDXL) の推論速度とメモリ使用量の最適化
Hugging Faceは、Stable Diffusion XL (SDXL) のメモリ使用量を28GBから最小11.47GBまで削減し、推論レイテンシを72.2秒から約10.3秒まで短縮する方法を示す、いくつかの最適化手法を調査しています。
Hugging Face Inference Endpoints を使用したエンベディングモデルのデプロイ
Hugging Face は、Inference Endpoints を通じて Text Embeddings Inference (TEI) を導入し、RAG やセマンティック検索向けのオープンソースエンベディングモデルを高パフォーマンスかつコスト効率よくデプロイする方法を提供します。
PPOを用いたRLHFの実装詳細 – Hugging Face Blog 要約
Hugging Faceのブログ記事は、OpenAIの2019年のRLHFコードベースを再現して学習曲線の一致を確認し、よりアグレッシブな更新を引き起こすPyTorch Adamオプティマイザの重要な違いを含む、詳細な実装仕様を記述しています。
ChatGPT PlusおよびEnterpriseでのDALL·E 3の統合
OpenAIはChatGPT PlusおよびEnterpriseにDALL·E 3を統合し、視覚的忠実度が高く、プロンプトへの従順性が向上し、テキスト、手、顔のレンダリングが改善されたモデルを導入しました。
Gradio-Lite: ブラウザ内で完全に動作するサーバーレス Gradio
Hugging Face は、Pyodide を使用して Gradio アプリケーションをウェブブラウザで直接実行し、サーバーサイドインフラストラクチャの必要性をなくす JavaScript ライブラリである Gradio-Lite (@gradio/lite) を紹介します。
Typeform Formless: AIを活用した会話型データ収集
Typeformは、GPT-3.5 TurboとGPT-4を基盤とするAIを活用したプラットフォームFormlessを発表しました。これにより、従来のフォーム構造が動的な双方向会話型体験に置き換わります。
Ironclad AI Assist の GPT-4 統合
Ironclad は AI Assist を通じて契約ライフサイクル管理プラットフォームに GPT-4 を統合し、初期の契約レッドライン時間を 40 分から 2 分に短縮しました。
Retool AI と GPT-4 の統合
Retool は、GPT-4 を駆動する機能スイートである Retool AI をローンチしました。これにより、ビジュアル キャンバスを使用してカスタム AI 駆動アプリケーションとワークフローを構築できるようになります。
ONNX Runtime を使用した Hugging Face モデルの高速化
Hugging Face と ONNX Runtime は、130,000 を超えるモデルのパフォーマンス向上を可能にし、PyTorch と比較して whisper-tiny モデルのレイテンシーを最大 74.30% 削減します。
DALL·E 3 システムカード
OpenAIは、DALL·E 2と比較してキャプションの忠実度と画像品質の改善を詳細に説明したDALL·E 3システムカードをリリースし、広範な安全評価とリスク軽減策も併せて示しました。
Hugging Face チャットテンプレート
Hugging Faceは、チャットモデルがトレーニング時と全く同じ形式で入力を受け取れるようにし、サイレントなパフォーマンス低下を防ぐためのJinjaベースのシステムとして、チャットテンプレートを導入しました。
Cloud TPU v5e上のJAXを使用したStable Diffusion XL推論の高速化
Hugging Face Diffusersは、Cloud TPU v5e上のJAXを使用してStable Diffusion XL（SDXL）の提供をサポートし、TPU v4と比較してドルあたりの性能が最大2.4倍向上します。
Hugging Face Inference API を使用した AI Comic Factory のデプロイ
Hugging Face は、Inference API を使用して AI Comic Factory のプライベート インスタンスをデプロイするガイドを提供しており、Llama-2 と SDXL 1.0 モデルを活用しています。
TRL を用いた DDPO による Stable Diffusion のファインチューニング
Hugging Face は TRL ライブラリに Denoising Diffusion Policy Optimization (DDPO) を統合し、強化学習を使用して Stable Diffusion モデルを人間の好みに合わせることを可能にしました。
Hugging Face 倫理と社会 アップデート 2023年夏
Hugging Faceは、米国、EU、英国におけるAI規制に影響を与えるための2023年夏の取り組みを詳しく説明し、公共の広報活動と技術的研究を通じてオープンソースの倫理を推進しました。
Hugging Face ガイド: コード不要で LLaMA 2 チャットボットをトレーニング
Hugging Face は、Spaces、AutoTrain、ChatUI を使用したノーコード ワークフローを提供し、エンジニアでないユーザーでも LLaMA 2 をファインチューニングし、機能的なチャット アプリケーションとしてデプロイできるようにします。
Llama 2 on Amazon SageMaker ベンチマーク
Hugging Face は、Amazon SageMaker 上の Llama 2 の 60 種類のデプロイ構成を分析し、コスト、スループット、レイテンシに対して最適なセットアップを特定しました。
GPT-4V(ision) システムカード
OpenAIは、GPT-4のマルチモーダル拡張であるGPT-4V(ision)を導入しました。これにより、モデルは画像入力を分析および処理し、新しいタスクを解決し、新規のユーザーエクスペリエンスを提供できるようになります。
ChatGPT 音声と画像機能アップデート
OpenAIはChatGPTにマルチモーダル機能を導入し、Plusおよびエンタープライズユーザーが音声会話を行い、画像を共有して分析できるようにしました。
Hugging Face PRO向け推論
Hugging FaceはPROユーザー向けにInferenceを導入し、キュレートされた最先端モデルへの高速APIエンドポイントと、無料Inference APIのレート制限の向上を提供します。
OpenAI レッドチームネットワーク
OpenAIは、レッドチームネットワークを立ち上げました。これは、AIモデルを厳密に評価し、リスクを特定し、開発ライフサイクル全体を通じて安全性を向上させる任務を負った、グローバルな専門家による正式なコミュニティです。
Rocket Money x Hugging Face: 本番環境での変動的MLモデルのスケーリング
Rocket Moneyは、Hugging FaceのInference APIを使用してレガシーなregexベースのシステムを置き換えることで、トランザクション分類システムを月間10億件以上にスケールさせました。
3D Gaussian Splatting入門
3D Gaussian Splattingは、少数の画像から学習したフォトリアリスティックな3Dシーンのリアルタイムレンダリングを可能にするラスタライズ技術です。
Hugging Face オブジェクト検出 リーダーボード
Hugging Face は、COCO スタイルのメトリクスを使用してオープンソース モデルをランク付けする Object Detection Leaderboard をリリースし、Average Precision と Average Recall の計算方法および結果に影響を与える要因を説明するブログを公開しました。
本番環境でのLLM最適化: 精度、注意、アーキテクチャ
Hugging Faceは、効率的なLLMデプロイのための主要な技術を概説し、低精度量子化、メモリ効率のためのFlash Attention、およびRoPE、ALiBi、MQA、GQAなどのアーキテクチャ最適化に焦点を当てています。
OpenAIは新しいダブリン事務所でヨーロッパでのプレゼンスを確立
OpenAIはアイルランドのダブリンに新しいオフィスを開設し、ヨーロッパでの運営、信頼と安全、セキュリティエンジニアリング、法務機能を拡大しています。
PyTorch FSDP を使用した Llama 2 70B のファインチューニング
Hugging Face は、PyTorch Fully Sharded Data Parallelism (FSDP) と Accelerate を使用して Llama 2 70B をファインチューニングし、CPU RAM のボトルネックを克服し、VRAM 使用量を最適化する方法を示しています。
Würstchenの紹介: 画像生成のための高速ディフュージョン
Würstchenは、42xの空間圧縮を達成し、トレーニングと推論のコストを大幅に削減する高速かつ効率的なテキスト・トゥ・イメージディフュージョンモデルです。
Hugging Face Transformers 量子化の概要
Hugging Face は、bitsandbytes と auto-gptq の量子化スキームをネイティブにサポートし、小型デバイスでの大規模モデルの推論と効率的なアダプター ファインチューニングを可能にします。
SafeCoder と クローズドソース コード アシスタント
Hugging Face は、オープンソースの StarCoder モデルに基づくエンタープライズグレードのコード アシスタントである SafeCoder を発表しました。これは、クローズドソースの代替品よりも透明性、カスタマイズ性、データ プライバシーを優先します。
T2I-Adapters を用いた SDXL の効率的な制御可能な生成
Hugging Face と TencentARC は、軽量なプラグアンドプレイ モデルである T2I-Adapter-SDXL を紹介します。このモデルは、スケッチや深度マップなどの外部信号を使用して Stable Diffusion XL (SDXL) の生成を精密に制御でき、ControlNet と比較して計算オーバーヘッドが大幅に低減されます。
OpenAI DevDay 発表
OpenAI は、2023 年 11 月 6 日サンフランシスコで開催される最初の開発者カンファレンス DevDay を発表しました。新しいツールをプレビューし、開発者コミュニティと交流することを目的としています。
Falcon 180B リリースノート
TIIは、PaLM-2のようなプロプライエタリなモデルに対抗すべく、3.5兆トークンで学習された1800億パラメータを持つ、世界最大級のオープン利用可能な言語モデルFalcon 180Bをリリースしました。
Fetch ケーススタディ: Amazon SageMaker と Hugging Face を使用して機械学習処理レイテンシを 50% 削減
Fetch は、機械学習処理レイテンシをレシートスキャンで 50% 削減し、ドキュメント理解モデルの精度を 200% 向上させるために、ML パイプラインを Amazon SageMaker と Hugging Face に移行しました。
OpenAI の AI を活用した教育ガイド
OpenAI は、言語サポート、授業計画、パーソナライズド チュータリングのために教育者が AI を活用できる実践的なフレームワークとプロンプト テンプレートを提供します。
AudioLDM 2 最適化ガイド: Hugging Face Diffusers を使った推論時間の短縮
Hugging Face は、コードとモデルの最適化により AudioLDM 2 の推論時間を 10 倍以上短縮し、10 秒のオーディオサンプルの生成を 1 秒未満にする方法を示しています。
ChatGPT Enterprise リリースノート
OpenAIはChatGPT Enterpriseをリリースし、組織にエンタープライズグレードのセキュリティとプライバシー、およびGPT-4への無制限かつ高速なアクセスを提供しています。
Hugging Face Hub Git 認証の変更
Hugging Faceは2023年10月1日にパスワードベースのGit認証を非推奨とし、セキュリティを向上させるためユーザーにパーソナルアクセストークンまたはSSHキーへの切り替えを義務付けました。
Code Llama リリースノート
Code Llamaは、Llama 2に基づくオープンアクセスモデルのファミリーであり、インフィリングおよび最大100,000トークンのロングコンテキストウィンドウをサポートし、コーディングタスクに特化しています。
OpenAIとScaleのエンタープライズファインチューニングパートナーシップ
OpenAIはScaleと提携し、GPT-3.5 TurboおよびGPT-4のファインチューニングのためにエンタープライズに専門的なデータエンリッチメントとモデル評価サポートを提供しています。
Hugging Face AutoGPTQ と Transformers の統合
Hugging Face は AutoGPTQ ライブラリを Transformers に統合し、LLM を 8、4、3、または 2 ビット精度に量子化してメモリ要件を削減し、4 ビットではほとんど精度損失なく実現します。
GPT-3.5 Turbo ファインチューニングとAPIアップデート
OpenAIはGPT-3.5 Turboのファインチューニング機能をリリースし、開発者がモデルのパフォーマンスをカスタマイズし、出力の信頼性を向上させ、プロンプトコストを削減できるようにしました。
IDEFICS: 最先端の視覚言語モデルのオープンな再現
Hugging Faceは、Flamingoアーキテクチャに基づくオープンアクセスの視覚言語モデルIDEFICSをリリースしました。これは9Bおよび80Bパラメータサイズでインターリーブされた画像とテキストの入力をサポートします。
Hugging Face SafeCoder 発表
Hugging Faceは、企業が自社のセキュアなインフラストラクチャ内で独自のCode LLMを構築およびデプロイできる、セルフホスト型のエンタープライズグレードなコードアシスタントソリューションであるSafeCoderを発表しました。
OpenAIがGlobal Illuminationを買収
OpenAIは、クリエイティブツールとインフラストラクチャ企業であるGlobal Illuminationを買収し、ChatGPTを含むコア製品の開発にチームを統合する。
コンテンツモデレーションへのGPT-4の活用
OpenAIは、ポリシーの適用と洗練を自動化することでコンテンツモデレーションを加速させるためにGPT-4を利用しており、カスタムポリシーの開発時間を数ヶ月から数時間へと短縮しています。
AWS Marketplace 上の Hugging Face Hub
Hugging Face は、AWS Marketplace と Hub を統合し、組織が AWS アカウントを通じて直接、Inference Endpoints や AutoTrain などのマネージド サービスの料金を支払えるようにしました。