✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,060 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
AnthropicのClaude向け100kトークンコンテキスト窓口用プロンプト工学ガイド
Anthropicは、参照引用文の抽出と複数の文脈内例の提供が、70～95kトークンのドキュメントにおけるClaudeの記憶力に劇的な向上をもたらすことを定量的に示した研究を公開した。
Hugging Face PRO向け推論
Hugging FaceはPROユーザー向けにInferenceを導入し、キュレートされた最先端モデルへの高速APIエンドポイントと、無料Inference APIのレート制限の向上を提供します。
Ollamaを介してローカルLLMをObsidianノートに統合する
Ollamaは、Llama IndexとローカルLLMを使用して、個人のノートに対して概念的な検索と対話的なインタラクションを可能にするObsidianプラグインの構築方法を示しています。
OpenAI レッドチームネットワーク
OpenAIは、レッドチームネットワークを立ち上げました。これは、AIモデルを厳密に評価し、リスクを特定し、開発ライフサイクル全体を通じて安全性を向上させる任務を負った、グローバルな専門家による正式なコミュニティです。
Rocket Money x Hugging Face: 本番環境での変動的MLモデルのスケーリング
Rocket Moneyは、Hugging FaceのInference APIを使用してレガシーなregexベースのシステムを置き換えることで、トランザクション分類システムを月間10億件以上にスケールさせました。
Anthropicの責任あるスケーリングポリシー
Anthropicは、AIモデルの能力と大規模なリスクが増加するにつれて、より厳格な安全対策とセキュリティプロトコルを義務付けるAI安全レベル（ASL）を用いた責任あるスケーリングポリシー（RSP）を導入しました。
3D Gaussian Splatting入門
3D Gaussian Splattingは、少数の画像から学習したフォトリアリスティックな3Dシーンのリアルタイムレンダリングを可能にするラスタライズ技術です。
Hugging Face オブジェクト検出 リーダーボード
Hugging Face は、COCO スタイルのメトリクスを使用してオープンソース モデルをランク付けする Object Detection Leaderboard をリリースし、Average Precision と Average Recall の計算方法および結果に影響を与える要因を説明するブログを公開しました。
本番環境でのLLM最適化: 精度、注意、アーキテクチャ
Hugging Faceは、効率的なLLMデプロイのための主要な技術を概説し、低精度量子化、メモリ効率のためのFlash Attention、およびRoPE、ALiBi、MQA、GQAなどのアーキテクチャ最適化に焦点を当てています。
AnthropicとBCGのエンタープライズAI展開に向けたパートナーシップ
Anthropicは、安全で責任ある生成AIソリューションの展開に焦点を当て、Claude AIを企業の戦略的サービスに統合するためにBoston Consulting Group (BCG) と提携しました。
OpenAIは新しいダブリン事務所でヨーロッパでのプレゼンスを確立
OpenAIはアイルランドのダブリンに新しいオフィスを開設し、ヨーロッパでの運営、信頼と安全、セキュリティエンジニアリング、法務機能を拡大しています。
PyTorch FSDP を使用した Llama 2 70B のファインチューニング
Hugging Face は、PyTorch Fully Sharded Data Parallelism (FSDP) と Accelerate を使用して Llama 2 70B をファインチューニングし、CPU RAM のボトルネックを克服し、VRAM 使用量を最適化する方法を示しています。
Würstchenの紹介: 画像生成のための高速ディフュージョン
Würstchenは、42xの空間圧縮を達成し、トレーニングと推論のコストを大幅に削減する高速かつ効率的なテキスト・トゥ・イメージディフュージョンモデルです。
Hugging Face Transformers 量子化の概要
Hugging Face は、bitsandbytes と auto-gptq の量子化スキームをネイティブにサポートし、小型デバイスでの大規模モデルの推論と効率的なアダプター ファインチューニングを可能にします。
SafeCoder と クローズドソース コード アシスタント
Hugging Face は、オープンソースの StarCoder モデルに基づくエンタープライズグレードのコード アシスタントである SafeCoder を発表しました。これは、クローズドソースの代替品よりも透明性、カスタマイズ性、データ プライバシーを優先します。
Code Llama プロンプトガイド
Ollamaは、Instruct、Code completion、およびPython特化型バージョンを含む、MetaのCode Llamaモデルのバリエーションごとに、プロンプトをどのように構成すべきかについての技術ガイドを提供しています。
T2I-Adapters を用いた SDXL の効率的な制御可能な生成
Hugging Face と TencentARC は、軽量なプラグアンドプレイ モデルである T2I-Adapter-SDXL を紹介します。このモデルは、スケッチや深度マップなどの外部信号を使用して Stable Diffusion XL (SDXL) の生成を精密に制御でき、ControlNet と比較して計算オーバーヘッドが大幅に低減されます。
Claude Pro リリースノート
Anthropicは、Claude.aiの有料サブスクリプションプランであるClaude Proを導入しました。月額20ドル（米国）または18ポンド（英国）で、Claude 2モデルの利用量が5倍になり、優先アクセスおよび新機能への早期アクセスが提供されます。
OpenAI DevDay 発表
OpenAI は、2023 年 11 月 6 日サンフランシスコで開催される最初の開発者カンファレンス DevDay を発表しました。新しいツールをプレビューし、開発者コミュニティと交流することを目的としています。
Falcon 180B リリースノート
TIIは、PaLM-2のようなプロプライエタリなモデルに対抗すべく、3.5兆トークンで学習された1800億パラメータを持つ、世界最大級のオープン利用可能な言語モデルFalcon 180Bをリリースしました。
Fetch ケーススタディ: Amazon SageMaker と Hugging Face を使用して機械学習処理レイテンシを 50% 削減
Fetch は、機械学習処理レイテンシをレシートスキャンで 50% 削減し、ドキュメント理解モデルの精度を 200% 向上させるために、ML パイプラインを Amazon SageMaker と Hugging Face に移行しました。
OpenAI の AI を活用した教育ガイド
OpenAI は、言語サポート、授業計画、パーソナライズド チュータリングのために教育者が AI を活用できる実践的なフレームワークとプロンプト テンプレートを提供します。
AudioLDM 2 最適化ガイド: Hugging Face Diffusers を使った推論時間の短縮
Hugging Face は、コードとモデルの最適化により AudioLDM 2 の推論時間を 10 倍以上短縮し、10 秒のオーディオサンプルの生成を 1 秒未満にする方法を示しています。
ChatGPT Enterprise リリースノート
OpenAIはChatGPT Enterpriseをリリースし、組織にエンタープライズグレードのセキュリティとプライバシー、およびGPT-4への無制限かつ高速なアクセスを提供しています。
Hugging Face Hub Git 認証の変更
Hugging Faceは2023年10月1日にパスワードベースのGit認証を非推奨とし、セキュリティを向上させるためユーザーにパーソナルアクセストークンまたはSSHキーへの切り替えを義務付けました。
Code Llama リリースノート
Code Llamaは、Llama 2に基づくオープンアクセスモデルのファミリーであり、インフィリングおよび最大100,000トークンのロングコンテキストウィンドウをサポートし、コーディングタスクに特化しています。
OpenAIとScaleのエンタープライズファインチューニングパートナーシップ
OpenAIはScaleと提携し、GPT-3.5 TurboおよびGPT-4のファインチューニングのためにエンタープライズに専門的なデータエンリッチメントとモデル評価サポートを提供しています。
Ollamaを使用してCode Llamaをローカルで実行する
MetaのCode Llamaモデルは、Ollama経由でローカル実行が可能になり、7B、13B、34Bパラメータのバージョンに加え、プログラミングタスク向けのcodeおよびPython特化型が提供されています。
Hugging Face AutoGPTQ と Transformers の統合
Hugging Face は AutoGPTQ ライブラリを Transformers に統合し、LLM を 8、4、3、または 2 ビット精度に量子化してメモリ要件を削減し、4 ビットではほとんど精度損失なく実現します。
GPT-3.5 Turbo ファインチューニングとAPIアップデート
OpenAIはGPT-3.5 Turboのファインチューニング機能をリリースし、開発者がモデルのパフォーマンスをカスタマイズし、出力の信頼性を向上させ、プロンプトコストを削減できるようにしました。
IDEFICS: 最先端の視覚言語モデルのオープンな再現
Hugging Faceは、Flamingoアーキテクチャに基づくオープンアクセスの視覚言語モデルIDEFICSをリリースしました。これは9Bおよび80Bパラメータサイズでインターリーブされた画像とテキストの入力をサポートします。
Hugging Face SafeCoder 発表
Hugging Faceは、企業が自社のセキュアなインフラストラクチャ内で独自のCode LLMを構築およびデプロイできる、セルフホスト型のエンタープライズグレードなコードアシスタントソリューションであるSafeCoderを発表しました。
OpenAIがGlobal Illuminationを買収
OpenAIは、クリエイティブツールとインフラストラクチャ企業であるGlobal Illuminationを買収し、ChatGPTを含むコア製品の開発にチームを統合する。
コンテンツモデレーションへのGPT-4の活用
OpenAIは、ポリシーの適用と洗練を自動化することでコンテンツモデレーションを加速させるためにGPT-4を利用しており、カスタムポリシーの開発時間を数ヶ月から数時間へと短縮しています。
AnthropicとSK Telecomのパートナーシップ発表
AnthropicとSK Telecom (SKT) は、電気通信業界向けにカスタマイズされたLLMを開発するために、商業パートナーシップと戦略的投資を開始しました。
AWS Marketplace 上の Hugging Face Hub
Hugging Face は、AWS Marketplace と Hub を統合し、組織が AWS アカウントを通じて直接、Inference Endpoints や AutoTrain などのマネージド サービスの料金を支払えるようにしました。
BentoMLを使ったDeepFloyd IFのデプロイ
Hugging Faceは、BentoMLを使用してDeepFloyd IFテキストから画像へのモデルをデプロイする方法を示しており、これによりマルチステージのピクセル拡散アーキテクチャを複数のGPU間で独立してスケーリングすることが可能になります。
🤗 Transformers を使用した Bark の最適化
Hugging Face は、Better Transformer、半精度 (fp16)、および CPU オフロードを使用して、Bark テキスト読み上げモデルのメモリフットプリントを削減し、推論速度を向上させる方法を示しています。
Claude Instant 1.2 リリースノート
Anthropic は、数学、コーディング、推論力、セキュリティの面で 1.1 バージョンを向上させた、より高速で低価格な Claude Instant 1.2 をリリースしました。
Swift Transformers リリース: Apple デバイス上でオンデバイス LLM を実行する
Hugging Face は、開発者が Apple アプリ内で LLM をオンデバイスで実行できるようにするため、アルファ版の swift-transformers Swift パッケージ、swift-chat デモアプリ、更新された exporters および transformers-to-coreml ツール、ならびに Llama 2 7B と Falcon 7B の Core ML バージョンをリリースしました。
TRL を用いた Direct Preference Optimization (DPO) による Llama 2 のファインチューニング
Hugging Face は TRL ライブラリに Direct Preference Optimization (DPO) を統合し、複雑な RLHF パイプラインではなく、簡素化されたバイナリクロスエントロピー損失を使用して Llama 2 やその他の LLM をアラインできるようにしました。
影響関数を用いた大規模言語モデルの汎化の研究
Anthropicの研究者は、EK-FAC近似を使用して影響関数を最大 52 billion パラメータを持つ LLM にスケールさせ、モデルの挙動を駆動する特定のトレーニング例を特定することを可能にしました。
Anthropic Research: Tracing Model Outputs to Training Data using Influence Functions
Anthropicの研究者たちは、影響関数を最大520億パラメータのLLMにスケールアップさせ、モデルの規模が大きくなるにつれて、モデルの汎化がより抽象的で概念的なものへと変化することを発見しました。
Hugging Face Inference Endpoints を介した MusicGen のデプロイ
Hugging Face は、標準的な pipeline でサポートされていないモデル向けに、Inference Endpoints とカスタムハンドラーを使用して、テキストから音楽を生成するモデルである MusicGen を API としてデプロイする方法を紹介しています。
FHEを用いた暗号化された大規模言語モデルに向けて
Hugging FaceとZamaは、完全準同型暗号（FHE）を用いることで、モデル所有者の知的財産を保護しながら、大規模言語モデルが暗号化されたユーザーデータを処理できるようにする方法を実証しました。
Huggy Lingo: MLを使ったHugging Face Hubの言語メタデータの改善
Hugging Faceは、fastText言語識別モデルとLibrarian-Botを使用して、現在言語メタデータが欠如しているデータセットの言語メタデータを自動的に検出および提案しています。
人工知能のための信頼構築措置
OpenAIとBerkeley Risk and Security Labは、基盤モデルによってもたらされる国際的なセキュリティリスクを軽減するため、6つの信頼構築措置（CBMs）を提案します。
実践的な3Dアセット生成ガイド
Hugging Faceは、OpenAIのShap-EモデルをBlenderおよびDream Texturesと組み合わせることで、低忠実度なPS1スタイルの3Dアセットを作成するためのステップバイステップのワークフローを提供しています。
Segmind SD-Small および SD-Tiny 知識蒸留リリース
Segmind は、Stable Diffusion よりも 35% および 55% 小さく、最大 2 倍高速な推論を実現する 2 つの拡散モデル、SD-Small および SD-Tiny のコードと学習済み重みをオープンソース化しました。
Ollamaを使用して検閲なしのLlama 2モデルをローカルで実行する
Ollamaを使用すると、ユーザーはLlama 2やその他のモデルの検閲なしバージョンをローカルで実行できます。これにより、標準モデルでよく見られる過度に慎重な回答や拒否につながるアライメントの制約が取り除かれます。