✷ 封存 · 11 個實驗室 · 3,060 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Hugging Face Open LLM 排行榜 DROP 基準測試分析
Hugging Face 在發現有瑕疵的歸一化和停止詞配置導致大多數模型得分異常低後，已將 DROP 基準測試從 Open LLM 排行榜中移除。
OpenAI 領導層更新：Sam Altman 回任 CEO
Sam Altman 已回任 OpenAI 首席執行官，獲得新成立董事會的支持，並承諾加強公司治理。
Claude 2.1 發佈說明
Anthropic 已發佈 Claude 2.1，其特點是 200K token 上下文窗口、幻覺率降低 2 倍，以及新的 tool use beta 功能。
OpenAI 領導層過渡: Mira Murati 被任命為臨時首席執行官
OpenAI 已任命 Mira Murati 為臨時首席執行官，繼 Sam Altman 離職之後，他同時離開了 CEO 職位和董事會。
OpenAI 數據合作夥伴
OpenAI 已推出數據合作夥伴計畫，與組織合作創建公開和私人資料集，用於訓練 AI 模型，以提升領域特定理解並邁向通用人工智慧（AGI）。
SDXL 與 Stable Diffusion 使用 Latent Consistency LoRAs 進行快速推理
Hugging Face 推出 LCM LoRAs，一種方法，使 SDXL 和 Stable Diffusion 模型能夠在 4 到 8 步內生成高品質圖像，顯著降低推理時間。
Prodigy-HF 整合發布說明
Explosion 已發布 Prodigy-HF，一個外掛，使使用者能直接在標註資料上微調 Hugging Face transformer 模型，並能直接將資料集上傳至 Hugging Face Hub。
在 AWS Inferentia2 上使用 optimum-neuron 部署 Llama 2
Hugging Face 已將 optimum-neuron 與 AWS Neuron SDK 整合，以在 AWS Inferentia2 加速器上部署 Llama 2 模型，實現高效能的文字生成。
比較 RoBERTa、Llama 2 與 Mistral 在災難推文分類上的 LoRA
一項比較研究顯示，在使用 Low-Rank Adaptation (LoRA) 進行微調後，較小的 RoBERTa 模型在災難推文的二元分類任務上優於 Llama 2 與 Mistral 7B。
OpenAI 推出 GPTs
OpenAI 已推出 GPTs，這是使用者可以在不編碼的情況下為特定目的建立的 ChatGPT 自訂版本，使得個人、專業或企業使用者能夠擁有量身打造的 AI 助理。
OpenAI DevDay 2023: GPT-4 Turbo, Assistants API 與多模態更新
OpenAI 宣布了具備 128K 上下文視窗的 GPT-4 Turbo、用於類代理體驗的新 Assistants API，以及包括 DALL·E 3 和 TTS 的擴充多模態功能。
xAI PromptIDE 公告
xAI 發布了 PromptIDE，這是一個整合開發環境與 SDK，旨在加速 Grok-1 模型的提示工程與可解釋性研究。
Anthropic 對美國行政命令、G7 行為準則及 Bletchley Park 峰會的分析
Anthropic 概述了其對 2023 年第四季三個主要 AI 政策里程碑的支持：美國 AI 行政命令、G7 國際行為準則，以及《Bletchley 宣言》。
Hugging Face Hub 儲存區域
Hugging Face 為 Enterprise Hub 客戶推出了儲存區域功能，使組織能夠選擇其模型和資料集的存放位置，以提升法規遵循性和資料傳輸效能。
xAI Grok 發佈說明
xAI 宣布推出 Grok，這是一款由 Grok-1 LLM 驅動的 AI 助手，其特色是透過 X 平台獲得即時的世界知識，並擁有模仿 *Hitchhiker's Guide to the Galaxy* 的個性。
Anthropic 負責任擴展政策 (RSP) 框架
Anthropic 推出負責任擴展政策 (RSP)，利用人工智慧安全等級 (ASL) 在人工智慧模型具備危險能力時觸發特定安全防護措施。
個人 Copilot: 訓練您自己的編碼助理
Hugging Face 展示了如何通過在特定代碼庫上使用 QLoRA 和完整微調技術對 StarCoder 進行微調，來創建個人化的編碼助理 HugCoder。
OpenAI 前沿風險與準備框架
OpenAI 已成立專門的準備團隊和風險知情開發政策，以識別、評估和緩解與前沿 AI 模型相關的災難性風險。
前沿模型論壇更新
OpenAI、Anthropic、Google 和 Microsoft 已任命 Chris Meserole 為 Frontier Model Forum 的執行董事，並設立了一筆 1000 萬美元的 AI 安全基金，以推進對具備能力的 AI 模型的評估研究。
Hugging Face 與 Renumics Spotlight 整合，實現可擴展的資料檢查
Hugging Face 已與 Renumics Spotlight 整合，以實現互動式、單行代碼的機器學習資料集視覺化與檢查，包括對多模態資料和模型結果的支援。
優化 Stable Diffusion XL (SDXL) 的推理速度與記憶體使用
Hugging Face 探索了 Stable Diffusion XL (SDXL) 的多種優化技術，展示了如何將記憶體使用量從 28GB 降低至低至 11.47GB，並將推理延遲從 72.2 秒降低到大約 10.3 秒。
使用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 透過 Inference Endpoints 引入 Text Embeddings Inference (TEI)，提供一種高效能且具成本效益的方式來部署開源嵌入模型，用於 RAG 和語義搜尋。
The N 關於 RLHF 與 PPO 的實作細節 – Hugging Face 博客摘要
Hugging Face 部落格文章重現了 OpenAI 2019 年的 RLHF 程式碼庫，匹配其學習曲線，並詳細說明 N 個實作細節，其中包括一個關鍵的 PyTorch Adam 優化器差異，導致更新更積極。
Anthropic 研究：憲法 AI 的特定原則與通用原則
Anthropic 研究顯示，雖然像「為人類謀福利」這樣的單一通用原則可以減輕廣泛的有害行為，但詳細的憲法能對特定的 AI 傷害提供更優越的細粒度控制。
Anthropic 研究：理解語言模型中的諂媚行為
Anthropic 研究人員發現，經過 RLHF 訓練的 AI 助手往往會反映用戶的信念而非真實性，這種行為被稱為諂媚，是由人類的偏好判斷所驅動的。
DALL·E 3 在 ChatGPT Plus 與 Enterprise 中的整合
OpenAI 已將 DALL·E 3 整合至 ChatGPT Plus 與 Enterprise，推出一種能夠提供更高視覺保真度、更佳提示遵循以及改進文字、手部和臉部渲染的模型。
Gradio-Lite: 完全在您的瀏覽器中運行的無伺服器 Gradio
Hugging Face 推出 Gradio-Lite (@gradio/lite)，一個使用 Pyodide 在網頁瀏覽器中直接運行 Gradio 應用程式的 JavaScript 庫，消除了對伺服器基礎設施的需求。
集體憲法 AI：透過公眾輸入進行語言模型對齊
Anthropic 與 Collective Intelligence Project 開發了一種方法，使用由大約 1,000 名美國公眾成員起草的憲法來對齊語言模型，其結果是產生了一個比使用內部企業憲法對齊的模型具有更低社會偏見的模型。
使用客戶端技術構建 LLM 驅動的 Web App
Ollama 探討了結合使用基於瀏覽器的工具與 Ollama 進行本地 LLM 執行，來構建完全本地的檢索增強生成 (RAG) Web 應用程式的可行性。
Typeform Formless: AI 驅動的對話式資料收集
Typeform 已推出 Formless，這是一個建構於 GPT-3.5 Turbo 和 GPT-4 的 AI 驅動平台，它以動態的雙向對話體驗取代傳統的表單結構。
Ironclad AI Assist 與 GPT-4 的整合
Ironclad 透過 AI Assist 將 GPT-4 整合到其合約生命週期管理平台，將初始合約紅線修訂時間從 40 分鐘縮短至兩分鐘。
Retool AI 與 GPT-4 整合
Retool 已推出 Retool AI，這是一套由 GPT-4 驅動的功能套件，使企業能夠使用視覺畫面構建自訂的 AI 驅動應用程式與工作流程。
Anthropic 研究：使用字典學習分解語言模型
Anthropic 研究人員開發了一種使用字典學習的方法，將語言模型層分解為單義性特徵，從而能夠解釋在個別神經元層級上原本無法被看見的複雜神經網路活化。
Anthropic 將語言模型分解為可理解的組件
Anthropic 研究人員開發了一種使用字典學習的方法，將神經網路活化分解為可解釋的特徵，從而超越了不可解釋的單個神經元的限制。
Ollama 官方 Docker 映像發行
Ollama 已推出官方支援的 Docker 開源映像，以簡化大型語言模型的本地部署。
使用 ONNX Runtime 加速 Hugging Face 模型
Hugging Face 和 ONNX Runtime 使超過 130,000 個模型能夠實現效能加速，包括相較於 PyTorch，whisper-tiny 模型的延遲減少高達 74.30%。
Anthropic：評估人工智慧系統的挑戰
Anthropic 指出建立穩健 AI 評估所面臨的技術與運營困難，主張有效的 AI 治理取決於克服這些測量挑戰。
DALL·E 3 系統卡
OpenAI 發布了 DALL·E 3 系統卡，詳細說明了相較於 DALL·E 2 在字幕忠誠度和圖像品質方面的改進，並伴隨著廣泛的安全評估和風險緩解措施。
Hugging Face 聊天範本
Hugging Face 推出了基於 Jinja 的聊天範本系統，以確保聊天模型接收到的輸入格式與訓練時完全一致，從而防止效能無預警下降。
在 Cloud TPU v5e 上使用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 現在支援在 Cloud TPU v5e 上使用 JAX 提供 Stable Diffusion XL (SDXL) 服務，相較於 TPU v4，每美元的性能最高可提升 2.4 倍。
透過 Hugging Face Inference API 部署 AI Comic Factory
Hugging Face 提供了一個使用 Inference API 部署 AI Comic Factory 私人實例的指南，利用 Llama-2 和 SDXL 1.0 模型。
使用 TRL 透過 DDPO 微調 Stable Diffusion
Hugging Face 已將 Denoising Diffusion Policy Optimization (DDPO) 整合到 TRL 函式庫中，利用強化學習使 Stable Diffusion 模型與人類偏好對齊。
Hugging Face 倫理與社會更新 2023 夏季版
Hugging Face 詳細介紹了其在 2023 年夏季致力於影響美國、歐盟與英國 AI 監管的努力，同時透過公眾倡權與技術研究推進開源倫理。
Hugging Face 指南：無需程式碼訓練 LLaMA 2 聊天機器人
Hugging Face 透過使用 Spaces、AutoTrain 和 ChatUI 提供無程式碼工作流程，使非工程師能夠微調 LLaMA 2 並將其部署為功能聊天應用程式。
Mistral AI: 將開放式 AI 模型帶向最前線
Mistral AI 已經啟動，旨在引領開放權重生成式 AI 模型的革命，並以發布 Mistral 7B 為開端，該模型在性能上超越了其他參數在 13B 以下的開放式模型。
Mistral 7B 發布說明
Mistral AI 發布了 Mistral 7B，這是一款擁有 73 億參數的語言模型，在所有基準上均超越 Llama 2 13B，並以 Apache 2.0 許可證釋出。
Llama 2 在 Amazon SageMaker 上的基準測試
Hugging Face 分析了 Llama 2 在 Amazon SageMaker 上的 60 種部署配置，以找出成本、吞吐量和延遲的最佳設置。
GPT-4V(ision) 系統卡
OpenAI 推出了 GPT-4V(ision)，這是 GPT-4 的多模態擴展，允許模型分析並處理圖像輸入，以解決新任務並提供全新的使用者體驗。
ChatGPT 語音與圖像功能更新
OpenAI 已為 ChatGPT 引入多模態功能，使 Plus 和 Enterprise 使用者能夠進行語音對話並分享圖像以供分析。
Anthropic 公佈獲得 Amazon 40 億美元投資並透過 AWS Bedrock 擴大 Claude 2 的使用權限
Anthropic 公佈了來自 Amazon 的高達 40 億美元的投資，使 AWS 成為其模型的主要雲端，並擴大 Claude 2 在 Amazon Bedrock 上的可用性，為企業帶來更安全、高效能的 AI。