✷ 封存 · 11 個實驗室 · 3,059 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
OpenAI 推出 ChatGPT 與 Whisper API
OpenAI 已發布 GPT-3.5 Turbo 與 Whisper API，為開發者提供顯著的成本降低與高效能語音轉文字功能。
GPT-4 API 一般可用性與 Completions API 停用
OpenAI 已將 GPT-4 API 向所有付費客戶普遍開放，並宣布了針對 Completions、Embeddings 與 Edits API 中舊模型的停用計畫。
OpenAI 兒童安全承諾：採用安全設計原則
OpenAI 與其他產業領導者已承諾實施安全設計原則，以減輕生成式 AI 對兒童的風險，重點在於防止兒童性虐待資料（CSAM）與剝削資料（CSEM）。
OpenAI 企業 API 功能更新 2024 年 4 月
OpenAI 推出了全新的企業級安全、行政控制、Assistants API 強化功能與成本管理選項，以支援大型組織的 AI 解決方案擴展。
Hugging Face 開放式思考鏈領導榜
Hugging Face 推出了開放式思考鏈領導榜，用於衡量在各種大型語言模型上，透過思考鏈提示在具挑戰性的推理任務中所帶來的具體準確率提升。
Anthropic 公佈兒童安全原則倡議
Anthropic 公佈了與 Thorn 和 All Tech Is Human 的合作夥伴關係，旨在採納 Safety by Design 原則，以防止生成式 AI 創建或散布兒童性虐待內容。
Anthropic 的簡單探測器可偵測沉睡代理
Anthropic 提出的線性「背叛探測器」僅需通用對比對即可以超過 99% 的 AUROC 檢測沉睡代理型 LLM 行為，展現出一種有前景且低成本的 AI 安全可解釋工具。
Jack of All Trades (JAT) 多用途變換器代理
Hugging Face 推出 Jack of All Trades (JAT)，一個基於單一變換器的代理，能在 Atari、BabyAI、Meta-World 與 MuJoCo 環境中執行多樣的序列決策任務。
OpenAI 指令層級：優先處理特權指令以防止提示注入
OpenAI 引入了一個指令層級，訓練大型語言模型優先處理系統提示而非不可信的使用者輸入，顯著降低了對提示注入與越獄攻擊的脆弱性。
開放醫療大型語言模型排行榜：醫療領域大型語言模型基準測試
Hugging Face 推出了開放醫療大型語言模型排行榜，這是一個標準化平台，用於評估與比較大型語言模型在各種醫療資料集上的表現，以提升可靠性與患者安全。
Llama 3 拒絕率與審查比較
Llama 3 的錯誤拒絕率顯著低於 Llama 2，在減少對良性提示詞過度拒絕的同時，仍能提供技術協助。
Meta Llama 3 發布說明
Meta 已發布 Llama 3，這是一個開放存取的 LLM 系列，提供 8B 與 70B 參數模型，具備改進的分詞與在 15 兆令牌上進行的訓練。
Llama 3 在 Ollama 上可用
Ollama 已發布對 Llama 3 的支援，提供 8B 和 70B 參數模型的存取，與 Llama 2 相比，在訓練數據、上下文長度和 token 效率方面都有顯著改進。
Mixtral 8x22B 發佈說明
Mistral AI 已發佈 Mixtral 8x22B，這是一款具有 141B 總參數和 39B 活躍參數的稀疏混合專家模型，在 Apache 2.0 許可證下提供高性能與成本效益。
CodeQwen1.5 版本說明
Qwen 發布了 CodeQwen1.5-7B，一款支援 92 種程式語言與 64K 令牌上下文視窗的開源程式碼大型語言模型，以提升開發者生產力。
Ryght 案例研究：使用 Hugging Face 建構生命科學生成式 AI 平台
Ryght 已推出 Ryght Preview，一個面向醫療保健與生命科學的企業級生成式 AI 平台，利用 Hugging Face 的專家支援、TGI 與 TEI，提供安全、彈性且高效能的 AI 助手。
在 Hugging Face 端點上執行隱私保護推論
Hugging Face 與 Zama 已經實現了透過 Hugging Face 端點部署全同態加密（FHE）模型，使用者可以在加密資料上執行機器學習推論，而無需解密。
LiveCodeBench 排行榜：無汙染的程式碼 LLM 評估
Hugging Face 推出了 LiveCodeBench 排行榜，這是一項由加州大學伯克利分校、麻省理工學院與康乃爾大學的研究人員開發的新基準，用於評估 LLM 的程式碼生成與推理能力，並透過時間窗口的題目集防止基準汙染。
Gradio 重新載入模式加速 AI 應用程式開發
Gradio 的重新載入模式讓開發者能即時將來源程式碼變更套用至 AI 應用程式，無需重新啟動伺服器，顯著降低開發延遲。
Idefics2 8B 視覺語言模型發布 – 架構、資料與效能
Hugging Face 發布了 Idefics2，一款 8 億參數的開源視覺語言模型，在 VQA 與 OCR 基準測試上優於其他 8B 模型，且可透過 🤗 Transformers 直接進行微調。
OpenAI 日本啟動與 GPT-4 日文客製模型
OpenAI 在東京開設了首個亞洲辦公室，並推出了針對日語優化的 GPT-4 客製模型，其速度最高可比 GPT-4 Turbo 快 3 倍。
視覺語言模型說明
Hugging Face 提供了一份關於視覺語言模型（VLM）的完整指南，詳細說明了它們的架構、開源選項、評估基準，以及透過 TRL 函式庫進行微調的全新實驗性支援。
Hugging Face 與 Google Cloud Vertex AI Model Garden 整合
Hugging Face 推出了「Deploy on Google Cloud」，使用者可透過 Hugging Face Hub 或 Vertex Model Garden，將數千個開源基礎模型部署至 Vertex AI 或 Google Kubernetes Engine（GKE）。
CodeGemma 發行說明 / 新功能
Google 已發布 CodeGemma，這是一個基於 Gemma、開放存取、專注於程式碼的 LLM 系列，於額外 5000 億個程式碼、數學與英語語料的 token 上進行訓練。
測量語言模型的說服力
Anthropic 的研究顯示，AI 的說服力隨模型規模與能力提升而增長，Claude 3 Opus 的說服力在統計上與人類作者相當。
Hugging Face 公共政策計畫概覽與提交的資料
Hugging Face 宣布了一項全面的跨功能公共政策計畫，為美國、歐盟與英國的政策制定者提供詳細的立場文件、證詞與意見信，彰顯其負責任開放的承諾並塑造 AI 法規。
Ollama 嵌入模型支援
Ollama 現在支援嵌入模型，透過將文本轉換為向量嵌入，實現了建立本地檢索增強生成（RAG）應用程式的能力。
Klarna AI 助理整合與績效結果
Klarna 部署了由 OpenAI 驅動的 AI 助理，處理了其三分之二的客服聊天，完成相當於 700 名全職客服人員的工作，同時提升了解決時間與利潤。
Hugging Face 與 Wiz 研究合作夥伴關係：AI 安全
Hugging Face 與 Wiz 合作，整合先進的漏洞管理與雲端安全姿態管理，以保護其平台及更廣泛的 AI/ML 生態系統。
Text2SQL 與 Hugging Face Dataset Viewer API 以及 DuckDB-NSQL-7B
Hugging Face 示範了如何使用 DuckDB-NSQL-7B 模型與 Dataset Viewer API，將自然語言問題轉換為 SQL 查詢，以分析超過 120,000 個開放資料集。
OpenAI 微調 API 改進與自訂模型計畫擴展
OpenAI 為其微調 API 引入了新的控制功能，並擴大了自訂模型計畫，加入協助微調與完全自訂訓練模型，以滿足特定領域的需求。
使用 🤗 Optimum Intel 在 Xeon 上加速 SetFit 推論
Hugging Face 示範了如何透過 🤗 Optimum Intel 函式庫的後訓練靜態量化，在 Intel Xeon CPU 上將 SetFit 模型的推論吞吐量提升至最高 7.8 倍。
Qwen1.5-32B 發布說明 / 有什麼新功能
Qwen 已發布 Qwen1.5-32B 與 Qwen1.5-32B-Chat，這兩款模型旨在在相較於 72B 版本的情況下，兼顧高效能與較低的記憶體與推論成本。
Hugging Face 與 Cloudflare Workers AI 整合
Hugging Face 整合 Cloudflare Workers AI，為受歡迎的開源模型提供無伺服器 GPU 推論，讓開發者能以按請求付費的計價模式部署 AI 應用。
OpenAI 與 Harvey 合作開發自訂案例法模型
OpenAI 與 Harvey 合作打造了一個自訂訓練的案例法模型，該模型納入了 100 億個美國案例法的 token，以提升推理能力並減少法律專業任務中的幻覺現象。
Anthropic Many-Shot Jailbreaking Research
Anthropic 已識別出一種「many-shot jailbreaking」漏洞，即在長上下文窗口中提供大量虛假對話範例，可以覆蓋 LLM 的安全訓練。
ChatGPT 存取更新：免註冊即時使用
OpenAI 已啟用即時使用 ChatGPT 的功能，無需註冊帳戶，擴大了 AI 對全球受眾的可及性。
Oscar Health AI 實施：降低成本與提升護理
Oscar Health 使用 OpenAI 的 API 自動化臨床文件與理賠處理，將文件時間減少 40%，升級解決時間減少 50%。
OpenAI 語音引擎：合成語音功能與安全框架
OpenAI 已預覽語音引擎，這是一個能夠僅用單一 15 秒音訊樣本創造逼真且具情感的合成語音的模型，同時採取謹慎的部署策略以減少濫用風險。
Qwen1.5-MoE-A2.7B 版本說明
Qwen 推出 Qwen1.5-MoE-A2.7B，一款混合專家模型，其效能與 7B 密集模型相當，但僅使用 27 億個啟用參數。
OpenAI Zelma：透過 GPT-4 讓教育資料更易取得
Zelma 是一款以 GPT-4 為動力的研究助理，旨在透過自然語言查詢，讓家長、教師與政策制定者能取得美國 3 至 8 年級的標準化測驗資料。
OpenAI Sora 首次印象來自創意專業人士
OpenAI 分享了視覺藝術家與電影製作者的早期回饋，他們使用 Sora 來原型化概念、創作超現實視覺，並從創作流程中移除技術與預算限制。
Pollen-Vision：機器人零樣本視覺模型的統一介面
Hugging Face 與 Pollen Robotics 團隊已發布 pollen-vision，這是一個整合零樣本視覺模型的開源庫，使機器人能夠在三維空間中偵測並定位未知物體。
Anthropic 第三方測試 AI 政策提案
Anthropic 建議為前沿 AI 系統建立第三方測試機制，透過多樣化的審計者生態系統來驗證安全性、防止國家安全風險，並避免監管俘獲。
Hugging Face Transformers：開源機器學習新手指南
Hugging Face 提供了完整的入門指南，說明如何使用 Transformers 函式庫與 Hub 部署與執行開源機器學習模型，例如 Microsoft 的 Phi-2。
嵌入量化：二元與標量技術實現更快、更便宜的檢索
Hugging Face 宣布了二元與 int8 嵌入量化，將記憶體使用量分別降低 32 倍或 4 倍，檢索速度提升至最高 45 倍，同時保留 96%–99% 的原始效能。
JetBrains AI Assistant 與 OpenAI API 的整合
JetBrains 將 OpenAI 的 API 整合至其 AI Assistant，以自動化瑣碎的程式編寫任務，導致 77% 的開發者報告生產力提升。
Hugging Face 與 Lighthouz AI 推出 Chatbot Guardrails Arena
Hugging Face 與 Lighthouz AI 已推出 Chatbot Guardrails Arena，這是一個社群驅動的壓力測試平台，旨在評估 LLM 及其防護欄位的資料隱私與安全性。
GaLore：在消費級硬體上推進大型模型訓練
GaLore 透過低秩梯度投影，將優化器狀態的記憶體需求降低超過 82.5%，從而使在消費級 GPU 上訓練十億參數模型成為可能。
Cosmopedia：大規模合成資料用於 LLM 預訓練
Hugging Face 推出 Cosmopedia，這是目前最大的開放式合成資料集，用於 LLM 預訓練，包含 3000 萬個檔案與 250 億個由 Mixtral-8x7B-Instruct-v0.1 產生的 token。