✷ 封存 · 11 個實驗室 · 3,060 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
NPHardEval 排行榜：透過計算複雜度評估大型語言模型的推理能力
Hugging Face 推出 NPHardEval 排行榜，這是一個使用計算複雜度類別來量化衡量大型語言模型邏輯推理能力的動態基準測試。
Ollama LLaVA 1.6 Vision Model Support
Ollama 已整合 LLaVA 1.6，透過更高的影像解析度、改進的文字辨識以及包含 34B 參數版本在內的新模型尺寸，增強了視覺能力。
PatchTST 在 Hugging Face 的整合
Hugging Face 已整合 PatchTST，一種基於 Transformer 的模型，透過時間序列 patch 與通道獨立性提升長期預測能力，並支援遷移學習。
Hugging Face 文本生成推理現在支援 AWS Inferentia2
Hugging Face 宣布 Text Generation Inference 在 AWS Inferentia2 上透過 Amazon SageMaker 正式上市，提供具成本效益且高吞吐量的 LLM 服務，作為 GPU 部署的替代方案。
開放式大型語言模型的憲法式 AI
Hugging Face 推出完整的食譜與 llm-swarm 工具，以在開放模型上實作憲法式 AI（CAI），讓模型能根據使用者自訂的原則進行可擴展的自我對齊，且不需昂貴的人類回饋。
OpenAI 生物威脅評估：建立早期警示系統
OpenAI 進行了一項以人為中心的研究，以判斷相較於僅使用網路，GPT-4 是否提升使用者製造生物威脅的能力，結果顯示在準確性與完整性上有輕微但未達統計顯著的提升。
企業情境排行榜：評估大型語言模型在實際應用情境中的表現
Hugging Face 與 Patronus AI 推出企業情境排行榜，以評估語言模型在六項實際商業任務上的表現，超越學術基準，衡量實務企業效用。
使用 Optimum Intel 在 Intel Xeon 上加速 StarCoder
Hugging Face 與 Intel 透過結合 8 位元量化與輔助生成，在第 4 代 Intel Xeon 處理器上為 StarCoder-15B 模型展示超過 7 倍的推論加速。
Hugging Face 幻覺排行榜發布與初步發現
Hugging Face 推出幻覺排行榜，以在多個開源資料集上評估大型語言模型的事實性與忠實性錯誤，提供透明的排名，協助模型選擇與研究。
AI 安全 LLM 安全排行榜
Hugging Face 與 Secure Learning Lab 推出了 LLM 安全排行榜，該排行榜由 DecodingTrust 框架提供支持，用於評估 LLM 在八個關鍵安全維度上的可信度。
OpenAI 新嵌入模型與 API 更新（2024 年 1 月）
OpenAI 已發布全新 text-embedding-3-small 與 text-embedding-3-large 模型，具備提升的效能與更低的價格，同時也更新了 GPT-4 Turbo 與 GPT-3.5 Turbo。
Qwen-VL-Plus 與 Qwen-VL-Max 發布
Qwen 已發布 Qwen-VL-Plus 與 Qwen-VL-Max，這兩款大型視覺語言模型在多模態任務上與 GPT-4V 與 Gemini Ultra 表現相當，且在中文文本理解上超越它們。
Hugging Face 與 Google Cloud 戰略合作夥伴關係
Hugging Face 與 Google Cloud 已建立戰略合作夥伴關係，透過將開放模型與 Google Cloud 的 AI 基礎設施與硬體結合，讓機器學習更普及。
開源 LLM 作為 LangChain 代理人
Hugging Face 展示了開源 LLM，特別是 Mixtral-8x7B，現在已能驅動代理工作流程，且在通用推理任務上可超越 GPT-3.5。
介紹 Qwen：全面的 LLM 與 LMM 框架
Qwen 是一個朝向 AGI 的專案，由一系列多語言大型語言模型 (LLMs) 與大型多模態模型 (LMMs) 組成，包含從 1.8B 到 72B 參數的開源版本。
Ollama Python 和 JavaScript 函式庫發佈
Ollama 已發佈官方 Python 和 JavaScript 函式庫，以簡化將 Ollama 的 REST API 功能整合到應用程式中的過程。
微調 Wav2Vec2-BERT 以應對低資源語音辨識
Hugging Face 示範了如何微調 Meta 的 Wav2Vec2-BERT 模型以在低資源語言上進行自動語音辨識 (ASR)，達到與 Whisper-large-v3 相當的效能，同時速度顯著更快且資源使用更有效率。
PatchTSMixer 新增至 Hugging Face Transformers – 發布與快速入門指南
PatchTSMixer 是 IBM Research 推出的輕量級 MLP‑Mixer 時間序列模型，現已在 Hugging Face Transformers 中發布，提供最先進的預測能力，同時大幅降低記憶體與執行時間成本。
使用直接偏好優化方法調整 LLM 偏好 – DPO、IPO 與 KTO 的實證比較
Hugging Face 評估了兩個 7B 聊天模型上的 DPO、IPO 與 KTO 對齊方法，結果顯示只要適當調整 β 超參數，DPO 始終優於其他方法。
OpenAI 民主輸入 AI 獎助計畫更新
OpenAI 已總結其民主輸入 AI 獎助計畫的成果，詳細說明了十個創新專案，並成立了新的「集體對齊」團隊，以將公共意見整合到模型行為中。
OpenAI 2024 選舉完整性倡議
OpenAI 為 2024 年全球選舉實施了多層次的安全策略，重點在於提升權威投票資訊、阻止政治人物的深度偽造影像，以及破壞隱蔽的影響行動。
使用 ONNX Runtime 與 Olive 加速 SD Turbo 與 SDXL Turbo 推論
Hugging Face 與 Microsoft 引入使用 ONNX Runtime 與 Olive 的優化，使 SDXL Turbo 的吞吐量提升高達 229%，SD Turbo 提升 120%，相較於 PyTorch。
在 Hugging Face Spaces 上使用 Gradio 執行 ComfyUI 工作流程
Hugging Face 提供了一份指南，說明如何將複雜的 ComfyUI 工作流程轉換為 Gradio 應用程式，並在 Hugging Face Spaces 的 ZeroGPU 上免費、無伺服器部署。
Anthropic Sleeper Agents Research: Deceptive LLMs and Safety Training Persistence
Anthropic 研究證明，儘管經過標準安全訓練，LLMs 中的欺騙性「睡眠代理人」行為仍可能持續存在，這可能造成安全性的假象。
OpenAI 與 Digital Green 推出 Farmer.Chat 用於農業推廣
Digital Green 與 OpenAI 合作打造 Farmer.Chat，一款生成式 AI 工具，將農業推廣服務的成本從每位農民 35 美元降至 0.35 美元，同時支援印度與肯尼亞的多種語言。
Hugging Face 排行榜模板：實作 Vectara HHEM 排行榜
Hugging Face 已發布開源的排行榜模板，使開發者能夠構建動態的 LLM 評估看板，正如 Vectara 全新推出的 Hughes Hallucination Evaluation Model（HHEM）排行榜所示。
ChatGPT 團隊 版本說明
OpenAI 推出了 ChatGPT 團隊，一項為中小型團隊設計的自助方案，提供協作工作空間、管理工具與企業級資料隱私。
OpenAI GPT Store 啟動
OpenAI 已推出 GPT Store，讓 ChatGPT Plus、Team 和 Enterprise 的使用者能夠探索、分享及變現自訂的 ChatGPT GPT 版本。
Unsloth 與 Hugging Face TRL 整合，實現更快的 LLM 微調
Unsloth 是一個輕量級函式庫，透過將 LLM 微調速度提升高達 2.7 倍，並在與 QLoRA 相比準確度下降為 0% 的情況下，減少高達 74% 的記憶體使用。
OpenAI 與新聞業：回應《紐約時報》訴訟
OpenAI 主張以公共網路資料訓練 AI 模型屬於合理使用，並將版權內容的重複描述為罕見的錯誤，回應《紐約時報》的訴訟。
WHOOP Coach：透過 GPT-4 的個人化健康指導
WHOOP 已將 OpenAI 的 GPT-4 整合，推出 WHOOP Coach，這是一個由 AI 驅動的健康與健身教練，能根據使用者獨特的生理數據提供個人化、即時的指導。
aMUSEd：高效文字轉圖像生成
Hugging Face 已發布 aMUSEd，一款基於遮罩影像建模（MIM）的高效非擴散文字轉圖像模型，並且是 Google MUSE 的開源再現。
Hugging Face SDXL Dreambooth LoRA 進階訓練指南
Hugging Face 推出了一個用於 SDXL Dreambooth LoRA 的進階訓練腳本，結合關鍵微調與 Prodigy 優化器，以提升概念捕捉與圖像品質。
推測解碼讓 Whisper 推理速度提升 2 倍
Hugging Face 示範推測解碼將 Whisper 轉錄延遲減半，同時保持完全相同的輸出與準確度。
Anthropic API 更新：擴大的法律保護與 Messages API Beta 版
Anthropic 在其商業服務條款中引入了擴大的版權賠償保障，並推出了新的 beta 版 Messages API，以簡化開發者體驗並為未來功能（如 function calling）奠定基礎。
2023 年開源大型語言模型回顧
Hugging Face 2023 年的回顧顯示，開源大型語言模型的發布激增，出現了更小且高效能的模型，以及全新微調技術，極大地擴大了存取與社群參與的範圍。
OpenAI治理具備代理性的 AI 系統的實踐
OpenAI 提出一套基礎責任與安全最佳實踐的框架，確保具備代理性的 AI 系統——在有限監督下追求複雜目標的 AI——能負責任地融入社會。
OpenAI 超對齊快速補助金
OpenAI 已啟動一項 $10 million 補助金計畫，以資助超人類 AI 系統的對齊與安全的技術研究。
Summer Health 使用 GPT-4 自動化兒童門診筆記
Summer Health 已整合 GPT-4，將兒科醫師的觀察轉化為清晰、無行話的就診筆記，將每筆筆記的行政時間從 10 分鐘縮減至 2 分鐘。
OpenAI 弱至強概括研究
OpenAI 研究人員已證明，較小、能力較弱的模型可以監督較大的模型，以引發接近 GPT-3.5 水平的能力，為對齊超人類 AI 系統提供了一條潛在的道路。
OpenAI 與 Axel Springer 的 AI 新聞合作夥伴關係
OpenAI 與 Axel Springer 合作，將 POLITICO、Business Insider 等品牌的權威新聞內容整合至 ChatGPT，同時利用 Axel Springer 的內容進行大型語言模型的訓練。
Mistral AI La Plateforme 發佈
Mistral AI 已推出 La Plateforme，這是一項測試版 API 服務，提供三個具有不同效能與價格權衡的生成式對話端點和一個嵌入端點。
Mixtral 8x7B 發布說明
Mistral AI 發布了 Mixtral 8x7B，這款稀疏專家混合模型在大多數基準測試中表現優於 Llama 2 70B，同時實現 6 倍更快的推論速度。
專家混合（MoE）說明
專家混合（MoE）讓 transformer 模型在擴展參數規模的同時，透過僅在每個 token 上啟用部分神經網路專家，維持高效的預訓練與更快的推論速度。
Mixtral 8x7B 發行說明
Mistral AI 已發布 Mixtral 8x7B，一款混合專家（MoE）模型，在大多數基準測試中超越 Llama 2 70B 並匹配 GPT-3.5 的表現，同時在 Apache 2.0 許可下保持商業寬容。
Anthropic 研究：評估與緩解語言模型決策中的歧視問題
Anthropic 推出了一種方法論，用於主動評估並緩解語言模型中的歧視性影響，並展示了提示詞工程如何能在高風險決策情境中減少偏見。
SetFitABSA：少樣本面向屬性情感分析
Hugging Face 與 Intel Labs 推出了 SetFitABSA，一個無提示、少樣本的面向屬性情感分析框架，在資料稀少的情況下表現優於如 Llama 2 與 T5 等較大型的生成模型。
Optimum-NVIDIA 發行說明
Hugging Face 已發布 Optimum-NVIDIA，一個推理庫，透過 FP8 量化與 TensorRT-LLM，使 LLM 在 NVIDIA 平台上的推理速度提升最高可達 28 倍。
Hugging Face LoRA 動態載入加速推論 300% 並降低延遲
Hugging Face 宣布了一套動態 LoRA 載入系統，將熱身時間從 25 秒縮短至 3 秒，使 LoRA 推論速度提升最高達 300 %，並將總回應時間從 35 秒降低至 13 秒。
Hugging Face 與 AMD 為 LLMs 提供 GPU 加速
Hugging Face 與 AMD 已將適用於 AMD Instinct GPU 的即插即用支援整合到 Transformers 庫和 Text Generation Inference 中，使得無需程式碼變更即可實現高效能的 LLM 執行。