✷ 封存 · 11 個實驗室 · 3,060 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Anthropic Claude 100k Token 上下文視窗提示工程指南
Anthropic 發布了一項定量研究，顯示提取參考引用內容並提供多個上下文中的範例，能顯著提升 Claude 在 70k–95k token 文件中的召回能力。
Hugging Face Inference for PROs
Hugging Face 為 PRO 用戶推出了 Inference for PRO，為精選的尖端模型提供加速的 API 端點，並提升了免費版 Inference API 的速率限制。
透過 Ollama 將本地 LLM 整合至 Obsidian 記事中
Ollama 示範如何建構一個使用 Llama Index 與本地 LLM 的 Obsidian 插件，以實現個人筆記的概念搜尋與對話式互動。
OpenAI 紅隊網絡
OpenAI 已啟動紅隊網絡，這是一個由全球領域專家組成的正式社群，負責嚴格評估 AI 模型，以在開發生命週期的各個階段識別風險並提升安全性。
Rocket Money x Hugging Face: 在生產環境中擴展波動的 ML 模型
Rocket Money 使用 Hugging Face 的 Inference API 將其交易分類系統擴展至每月超過十億筆交易，以取代舊版 regex 基礎系統。
Anthropic 負責任擴展政策
Anthropic 推出負責任擴展政策（RSP），透過 AI 安全等級（ASL）機制，要求隨著 AI 模型能力與災難性風險提升，實施更嚴格的安全與保障協議。
3D 高斯溶膠簡介
3D 高斯溶膠是一種光柵化技術，能夠從少量圖像學習並實時渲染出寫實的 3D 場景。
Hugging Face 物件偵測排行榜
Hugging Face 發布了一個使用 COCO 風格指標的物件偵測排行榜，對開源模型進行排名，並發表了一篇部落格，解釋如何計算平均精度 (Average Precision) 和平均召回率 (Average Recall)，以及哪些因素可能影響結果。
在生產環境中優化 LLMs：精度、注意力與架構
Hugging Face 闡釋了高效部署 LLM 的關鍵技術，著重於低精度量化、Flash Attention 以提升記憶體效率，以及如 RoPE、ALiBi、MQA 和 GQA 等架構優化。
Anthropic 與 BCG 合作推動企業級 AI 部署
Anthropic 已與 Boston Consulting Group (BCG) 合作，將 Claude AI 整合至企業策略性產品中，專注於部署安全且負責任的生成式 AI 解決方案。
OpenAI 透過新都柏林辦事處建立歐洲存在
OpenAI 在愛爾蘭都柏林開設新辦事處，以擴展其歐洲業務、信任與安全、安全工程以及法律職能。
使用 PyTorch FSDP 微調 Llama 2 70B
Hugging Face 展示了如何使用 PyTorch Fully Sharded Data Parallelism (FSDP) 和 Accelerate 來微調 Llama 2 70B，以克服 CPU RAM 瓶頸並優化 VRAM 使用率。
介紹 Würstchen：用於圖像生成的快速擴散
Würstchen 是一種快速且高效的文本到圖像擴散模型，透過實現 42x 空間壓縮來顯著降低訓練和推理成本。
Hugging Face Transformers 量化概覽
Hugging Face 提供 bitsandbytes 和 auto-gptq 量化方案的原生支援，以便在較小的設備上進行大型模型推理，並實現高效的適配器微調。
SafeCoder 與閉源代碼助手
Hugging Face 推出 SafeCoder，一種基於開源 StarCoder 模型的企業級代碼助手，相較於閉源替代方案，優先考慮透明度、客製化和資料隱私。
Code Llama 提示詞指南
Ollama 提供了一份技術指南，說明如何為 Meta 的 Code Llama 模型變體（包括 Instruct、Code completion 和 Python 特定版本）構建提示詞。
使用 T2I-Adapters 進行 SDXL 的高效可控生成
Hugging Face 與 TencentARC 推出 T2I-Adapter-SDXL，一個輕量級即插即用模型，可透過素描和深度圖等外部訊號對 Stable Diffusion XL (SDXL) 生成進行精確控制，其計算開銷遠低於 ControlNet。
Claude Pro 發佈說明
Anthropic 推出了 Claude Pro，這是 Claude.ai 的付費訂閱方案，每月提供 5 倍的 Claude 2 模型使用量、優先存取權以及搶先體驗新功能的權限，費用為每月 $20 (US) 或 £18 (UK)。
OpenAI DevDay 公告
OpenAI 宣布其首屆開發者會議 DevDay，定於 2023 年 11 月 6 日在舊金山舉行，以預覽新工具並與開發者社群互動。
Falcon 180B 發佈說明
TII 已發佈 Falcon 180B，這是目前最大的開放可用語言模型，擁有 1800 億個參數，並在 3.5 兆個 token 上進行訓練，足以與 PaLM-2 等專有模型競爭。
Fetch 案例研究：使用 Amazon SageMaker 與 Hugging Face 將 ML 處理延遲降低 50%
Fetch 透過將其 ML 管線遷移至 Amazon SageMaker 與 Hugging Face，將收據掃描的 ML 處理延遲降低了 50%，並將文件理解模型的準確度提高了 200%。
OpenAI 教學與 AI 指南
OpenAI 提供實用框架和提示模板，供教育工作者使用 AI 進行語言支援、課程規劃和個人化輔導。
AudioLDM 2 優化指南：使用 Hugging Face Diffusers 縮短推論時間
Hugging Face 展示了如何透過程式碼與模型優化，將 AudioLDM 2 的推論時間縮短 10 倍以上，使 10 秒音訊樣本的生成時間降至 1 秒以內。
ChatGPT Enterprise 發布說明
OpenAI 已推出 ChatGPT Enterprise，為組織提供企業級安全、隱私以及無限制、高速存取 GPT-4 的能力。
Hugging Face Hub Git 認證變更
Hugging Face 已於 2023 年 10 月 1 日棄用基於密碼的 Git 認證，要求使用者改用個人存取權杖或 SSH 金鑰以提升安全性。
Code Llama 發布說明
Code Llama 是一系列基於 Llama 2 的開放存取模型，專門用於代碼任務，支援填充以及最多達 100,000 個 token 的長上下文窗口。
OpenAI 與 Scale 合作進行企業級微調
OpenAI 已與 Scale 合作，為企業提供專業的數據豐富化與模型評估支援，以進行 GPT-3.5 Turbo 和 GPT-4 的微調。
在本地使用 Ollama 執行 Code Llama
Meta 的 Code Llama 模型現已可透過 Ollama 在本地執行，提供 7B、13B 和 34B 參數版本，以及針對程式設計任務的程式碼與 Python 專用變體。
Hugging Face AutoGPTQ 與 Transformers 整合
Hugging Face 已將 AutoGPTQ 函式庫整合至 Transformers 中，實現了將 LLM 量化為 8、4、3 或 2 位元精度，在 4-bit 下能以微乎其微的精度損失來降低記憶體需求。
GPT-3.5 Turbo 微調與 API 更新
OpenAI 已發布 GPT-3.5 Turbo 的微調功能，使開發者能夠自訂模型效能、提升輸出可靠性並降低提示詞成本。
IDEFICS: 開放再現最先進視覺語言模型
Hugging Face 已發布 IDEFICS，一種基於 Flamingo 架構的開放存取視覺語言模型，支援 9B 和 80B 參數規模的交錯圖像與文字輸入。
Hugging Face SafeCoder 公告
Hugging Face 已推出 SafeCoder，一種自託管的企業級程式碼助理解決方案，使公司能夠在其自身安全基礎設施內建置和部署專屬的 Code LLMs。
OpenAI 收購 Global Illumination
OpenAI 已收購創意工具與基礎設施公司 Global Illumination，將其團隊整合至包含 ChatGPT 在內的核心產品開發中。
使用 GPT-4 進行內容審核
OpenAI 正利用 GPT-4 透過自動化政策應用與優化來加速內容審核，將開發自訂政策的時間從數月縮短至數小時。
Anthropic 與 SK Telecom 合作夥伴關係公告
Anthropic 與 SK Telecom (SKT) 已建立商業合作夥伴關係與策略性投資，以開發專為電信產業量身定制的 LLM。
Hugging Face Hub 在 AWS Marketplace
Hugging Face 已將其 Hub 與 AWS Marketplace 整合，使組織能夠直接透過其 AWS 帳戶支付如 Inference Endpoints 和 AutoTrain 等受管理服務的費用。
使用 BentoML 部署 DeepFloyd IF
Hugging Face 展示如何使用 BentoML 部署 DeepFloyd IF 文字到圖像模型，使其多階段像素擴散架構能夠在多個 GPU 上獨立擴展。
使用 🤗 Transformers 優化 Bark
Hugging Face 展示了如何使用 Better Transformer、半精度 (fp16) 與 CPU 卸載來減少 Bark 文字轉語音模型的記憶體佔用並提升推理速度。
Claude Instant 1.2 發布說明
Anthropic 發布了 Claude Instant 1.2，這是一款更快且價格更低的模型，在數學、程式設計、推理和安全性方面均優於 1.1 版本。
Swift Transformers 發布：在蘋果設備上運行 On-Device LLMs
Hugging Face 發布了 alpha swift-transformers Swift 套件、swift-chat 示範應用、已更新的 exporters 和 transformers-to-coreml 工具，以及 Llama 2 7B 和 Falcon 7B 的 Core ML 版本，使開發者能夠在蘋果應用中於設備上運行 on-device LLMs。
使用 TRL 進行 Direct Preference Optimization (DPO) 來微調 Llama 2
Hugging Face 已將直接偏好優化 (DPO) 整合到 TRL 函式庫中，使得能夠使用簡化的二元交叉熵損失來對齊 Llama 2 和其他大型語言模型 (LLMs)，而無需複雜的來自人類回饋的強化學習 (RLHF) 流程。
使用影響函數研究大型語言模型泛化能力
Anthropic 研究人員使用 EK-FAC 近似法將影響函數擴展到參數高達 52 billion 的 LLMs，從而能夠識別驅動模型行為的特定訓練範例。
Anthropic 研究：使用影響函數將模型輸出追溯至訓練數據
Anthropic 研究人員將影響函數擴展到高達 520 億參數的 LLMs，發現隨著模型規模增加，模型的泛化變得更加抽象且由概念驅動。
透過 Hugging Face Inference Endpoints 部署 MusicGen
Hugging Face 展示如何使用 Inference Endpoints 和自訂處理程式（針對標準管線不支援的模型）將 MusicGen（一個文字到音樂生成模型）部署為 API。
朝向使用FHE的加密大型語言模型
Hugging Face 與 Zama 展示了 Fully Homomorphic Encryption (FHE) 如何使大型語言模型能夠處理加密的使用者資料，同時保護模型擁有者的智慧財產。
Huggy Lingo: 使用機器學習改進 Hugging Face Hub 語言中繼資料
Hugging Face 正在使用 fastText 語言識別模型和 Librarian-Bot 自動偵測並建議目前缺少語言中繼資料的資料集的語言中繼資料。
人工智慧的信任建立措施
OpenAI 與 Berkeley 風險與安全實驗室提出六項信任建立措施（CBM），以緩解基礎模型帶來的國際安全風險。
Practical 3D Asset Generation Guide
Hugging Face 提供了一個逐步工作流程，透過結合 OpenAI 的 Shap-E 模型與 Blender 與 Dream Textures，來創建低保真、PS1 風格的 3D 資產。
Segmind SD-Small 與 SD-Tiny 知識蒸餾發佈
Segmind 開源了 SD-Small 與 SD-Tiny 的代碼與預訓練權重，這兩款擴散模型比 Stable Diffusion 小 35% 與 55%，同時提供高達 2 倍的推理加速。
使用 Ollama 在本地執行未經審查的 Llama 2 模型
Ollama 讓使用者能夠在本地執行 Llama 2 與其他模型的未經審查版本，移除了通常會導致標準模型過於謹慎或拒絕回答的對齊限制。