✷ 封存 · 11 個實驗室 · 3,059 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Qwen2-Math 發布說明
Qwen 已發布 Qwen2-Math，一系列專門的數學大型語言模型（1.5B、7B 與 72B），在數學基準測試中超越多個封閉源模型，包括 GPT-4o。
Rakuten 與 OpenAI 合作夥伴關係：利用生成式 AI 獲取客戶洞見
Rakuten 正在利用 OpenAI 的 API、RAG 與 Code Interpreter，將非結構化資料轉換為自動化客服、評論摘要以及 B2B 市場洞見。
Mistral AI 模型自定義與 Agents 發佈
Mistral AI 為包括 Mistral Large 2 與 Codestral 在內的旗艦模型推出了模型自定義功能，同時發佈了 Agents 的 Alpha 版本以及其客戶端 SDK 的穩定 1.0 版本。
OpenAI 結構化輸出 API 功能公告
OpenAI 於 2024 年 8 月 6 日推出了結構化輸出，這是一項新的 API 功能，可保證模型回應完全符合開發者提供的 JSON Schema，提升資料導向應用的可靠性。
Hugging Face TextImage Augmentation 管線發布
Hugging Face 與 Albumentations AI 推出了 TextImage Augmentation 管線，該管線同步修改文件圖像及其文字，實現真實的合成資料生成，並在有限的文件資料集上對視覺‑語言模型進行穩健的微調。
Hugging Face 2024 安全功能亮點
Hugging Face 詳細說明了 2024 年的安全全景，為所有使用者推出一套預設防護，並為 Enterprise Hub 使用者提供進階治理控制。
Claude AI 在巴西的可用性
Anthropic 透過網頁、行動應用程式和 API，將其 AI 助手 Claude 的可用性擴展至巴西的消費者和企業。
Google 發布 Gemma 2 2B、ShieldGemma 與 Gemma Scope
Google 發布了 Gemma 2 2B、ShieldGemma 安全分類器以及 Gemma Scope 稀疏自編碼器，擴展了開源大型語言模型的功能、審核工具與可解釋性資源。
Anthropic Circuits Updates July 2024
Anthropic 在 2024 年 7 月發布了一系列初步研究更新，重點關注可解釋性、多智能體系統故障以及在尚未發布的 Claude 研究版本中的數學突破。
Quanto 量化減少 Transformer 擴散管線的記憶體使用
Hugging Face 的量化工具（Quanto）將 Transformer 擴散模型的 GPU 記憶體需求從約 12 GB 降至約 5 GB，且僅帶來極小的延遲與品質影響。
Hugging Face NVIDIA NIM API（無伺服器）發布與停用
Hugging Face 為 Enterprise Hub 用戶推出了 NVIDIA NIM API（無伺服器），提供即付即用、無伺服器的開源大型語言模型（LLM）推論服務，透過 OpenAI 相容的 API 在 NVIDIA DGX Cloud H100 GPU 上執行。
LAVE：使用 LLM 在 Docmatix 上的零樣本 VQA 評估
Hugging Face 推出 LAVE（LLM 輔助 VQA 評估），以解決傳統 VQA 指標的僵硬問題，並在 Docmatix 資料集上評估零樣本表現時，展示出 50% 的準確率提升。
OpenAI SearchGPT 原型公告
OpenAI 推出了 SearchGPT，一個結合 AI 模型與即時網路資訊的臨時原型，提供帶有清晰來源引用的直接答案。
Ollama 工具支援發佈
Ollama 已為 Llama 3.1 等模型引入了工具呼叫支援，讓本地 LLM 能夠與外部 API、函數和程式碼解釋器進行互動。
Mistral Large 2 發佈說明 / 有什麼新功能
Mistral AI 已發佈 Mistral Large 2，這是一個擁有 123B 參數的模型，旨在實現高吞吐量單節點推理，並在程式碼編寫、推理和多語言能力方面具有競爭力的性能。
OpenAI 基於規則的獎勵（RBR）模型安全
OpenAI 推出了基於規則的獎勵（RBR），這是一種使用明確、逐步規則來對齊 AI 安全行為的方法，無需大量的人類資料收集。
Llama 3.1 版本說明：多語言支援、長上下文與 405B 模型
Meta 已發布 Llama 3.1，提供 8B、70B 與 405B 大小的模型，具備 128K 上下文長度、支援 8 種語言的多語言功能，且採用寬鬆授權允許合成資料生成。
在 Core ML 上執行 Mistral 7B
Hugging Face 示範了如何在 Mac 上使用 WWDC 24 推出的新 Core ML 功能執行 Mistral 7B，並透過 4 位元區塊式量化將模型大小縮減至低於 4GB。
GPT-4o mini 發布說明 / 有什麼新功能
OpenAI 已發布 GPT-4o mini，一款高度成本效益的小型模型，在關鍵推理與多模態基準測試中超越 GPT-3.5 Turbo 及其他小型模型。
Mistral NeMo 發布說明
Mistral AI 與 NVIDIA 推出 Mistral NeMo，這是一款擁有 128k 上下文視窗、並搭配全新高效多語言分詞器 Tekken 的 12B 參數模型。
Docmatix 資料集發布
Hugging Face 已發布 Docmatix，一個文件視覺問答（DocVQA）資料集，包含 240 萬張影像與 950 萬組問答對，規模較先前資料集提升了 240 倍。
TGI Multi-LoRA：一次部署，服務 30 個模型
Hugging Face 在文本生成推理（TGI）中引入了 Multi-LoRA 服務，使組織能夠部署單一基礎模型，並動態提供數十個專門微調的適配器，以降低成本和營運複雜度。
ChatGPT Enterprise 合規與管理工具更新
OpenAI 推出了合規 API、用於自動化使用者管理的 SCIM，以及細緻的 GPT 控制功能，協助企業客戶符合監管要求，安全擴展 AI 部署。
OpenAI 證明者‑驗證者遊戲提升語言模型輸出的可讀性
OpenAI 宣布了一種證明者‑驗證者遊戲的訓練方法，使強大的語言模型能產生較弱模型可驗證的解答，從而提升正確性與人類可讀性。
Anthropic 與 Menlo Ventures 推出 1 億美元的 Anthology Fund
Anthropic 與 Menlo Ventures 已推出 1 億美元的 Anthology Fund，以加速基礎設施、產業特定工具以及信任與安全領域的 AI 應用開發。
Codestral Mamba 發行說明
Mistral AI 發布了 Codestral Mamba，這是一款採用 Mamba 架構的 7B 參數模型，提供線性時間推理與高效率的程式碼與推理能力。
Mathstral 7B 發佈
Mistral AI 已發佈 Mathstral，這是一個與 Project Numina 合作開發、專門針對 STEM 學科和高階數學推理的 7B 參數模型。
Argilla SDK 聊天機器人（使用 distilabel）– 端對端教學
Hugging Face 發布了一篇教學，說明如何使用 distilabel 產生的合成資料、微調的嵌入、lancedb 向量儲存，以及部署於 Spaces 的 Gradio 應用，打造 Argilla 2.0 聊天機器人。
SmolLM 發布：高效能小型語言模型
Hugging Face 介紹 SmolLM，一個由最先進的小型語言模型（135M、360M 與 1.7B 參數）組成的系列，這些模型在精心策劃的高品質資料集上進行訓練。
NuminaMath 7B TIR 榮獲 AIMO 進步獎 – 技術回顧
NuminaMath 7B TIR 透過解答 50 個隱藏數學問題中的 29 題，贏得了首屆 AIMO 進步獎，展示了兩階段微調方案、大規模高品質數學數據以及結合工具整合推理的自我一致性推理策略的威力。
OpenAI 與洛斯阿拉莫斯國家實驗室生物科學研究合作夥伴關係
OpenAI 與洛斯阿拉莫斯國家實驗室合作，評估類似 GPT-4o 的多模態前沿 AI 模型如何在實驗室實體環境中安全協助科學家，推動生物科學研究的進展。
Hugging Face PII 偵測實驗與 Presidio
Hugging Face 正在嘗試將 Microsoft Presidio 整合至 Dataset Hub，以提供自動化的 PII 偵測報告，協助實務者辨識並降低機器學習資料集中的隱私風險。
TRL 為視覺語言模型新增 Direct Preference Optimization 支援
Hugging Face 在 TRL 函式庫中為視覺語言模型新增了 Direct Preference Optimization (DPO) 支援，讓開發者能透過 bfloat16 量化與 LoRA 技術，在單個 GPU 上使用偏好數據對 Idefics-2 等模型進行微調。
Hugging Face 與 KerasHub 整合
Hugging Face 與 KerasHub 現在共享模型保存格式，讓 KerasHub 使用者能直接載入來自 Hugging Face Hub 超過 30 萬個 Transformers 庫模型。
Google Cloud TPU 在 Hugging Face 推理端點與 Spaces 上的應用
Hugging Face 已將 Google Cloud TPU v5e 支援整合至 Inference Endpoints 與 Spaces，讓使用者能以具成本效益且高效能的硬體部署與擴展 AI 模型。
Banque des Territoires、Polyconseil 與 Hugging Face 部署主權 RAG 解決方案以支援 EduRénov 計畫
Hugging Face、Polyconseil 與 Banque des Territoires 推出了一套主權、開源的 RAG 系統，以自動化法國 EduRénov 校園翻新計畫的電子郵件支援，確保資料居留，同時在公共政策領域擴展生成式 AI 的規模。
Hugging Face Dataset Hub 搜尋功能更新
Hugging Face 已推出四個新的搜尋過濾器——模態、大小、格式和程式庫相容性——以提升 Dataset Hub 上超過 180,000 個公開資料集的可發現性。
在 Intel Gaudi 2 上加速蛋白質語言模型 ProtST
Intel 與 MILA 已針對 Intel Gaudi 2 加速器優化了 ProtST 多模態蛋白質語言模型，實現了相較於 NVIDIA A100 GPU 高達 2.92 倍的微調加速。
Hugging Face Transformers 代碼代理 GAIA 基準測試結果
Hugging Face 使用基於 transformers.agents 庫構建的代碼代理，在 GAIA 基準測試中取得了最高排名，證明了代碼式行動比基於 JSON 的工具調用更高效且更有效。
Anthropic 第三方模型評估計畫
Anthropic 推出了資助計畫，旨在支持第三方組織開發高品質的評估工具，用以衡量 AI 模型的高階能力與安全風險。
Anthropic Circuits Updates June 2024
Anthropic 2024 年 6 月的 Circuits 更新提供了關於可解釋性、多智能體系統故障以及黎曼 zeta function 數學能力的進展之初步研究結果。
使用 GPT-4 找出 GPT-4 的錯誤
OpenAI 推出 CriticGPT，一個基於 GPT-4 的模型，旨在識別 ChatGPT 程式碼輸出中的錯誤，以協助人類訓練師在 RLHF 過程中工作。
OpenAI 與 TIME 戰略內容合作夥伴關係
OpenAI 與 TIME 已簽訂多年期的戰略合作夥伴關係，將 TIME 百年新聞檔案整合至 OpenAI 產品，並為 TIME 提供 OpenAI 技術以開發產品。
Google Gemma 2 版本說明
Google 已發布 Gemma 2，這是一個開放權重的大型語言模型（LLM）家族，提供 9B 與 27B 參數規模，具備蒸餾與注意力機制等技術創新以提升效能。
Google Gemma 2 在 Ollama 上發布
Google Gemma 2 提供 2B、9B 與 27B 參數變體，於 Ollama 上發布，採用全新的架構，提供同級領先的性能與效率，表現優於規模更大的開源模型。
Anthropic 擴大政府機構對 Claude 的存取權限
Anthropic 已將 Claude 3 Haiku 與 Claude 3 Sonnet 提供給美國情報界與 AWS GovCloud，透過安全且專業化的服務協議來支援政府任務。
XLSCOUT ParaEmbed 2.0 發布
XLSCOUT 已發布 ParaEmbed 2.0，這是一個在專家策劃的專利資料上微調的專有嵌入模型，較 ParaEmbed 1.0 提升了 23% 的準確度。
Anthropic 推出 Claude Projects 以實現協作式 AI 工作流程
Anthropic 為 Claude Pro 和 Team 用戶推出了 Projects，允許他們在 200K 的 context window 內，使用精選的知識集和自定義指令來組織對話。
Hugging Face 倫理與社會通訊 #6：資料品質的重要性
Hugging Face 概述了一套全面且負責任的資料品質方法，強調高品質資料必須符合其預期用途，以確保 AI 模型效能、公平性以及科學可重現性。
微調微軟 Florence-2 於 DocVQA
Hugging Face 示範了如何在 DocVQA 資料集上微調微軟的 Florence-2 視覺語言模型，於七個 epoch 後將驗證相似度從 0 提升至 57.0。