✷ 归档 · 11 个实验室 · 3,060 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
Anthropic Claude 100k Token 上下文窗口提示工程指南
Anthropic 发布了一项定量研究，表明提取参考引用并提供多个上下文内示例可以显著提高 Claude 在 70k–95k token 文档上的召回能力。
Hugging Face 专业版推理
Hugging Face 为专业版用户推出了推理服务，提供了针对策划的最先进模型的加速 API 端点，并提高了免费推理 API 的速率限制。
通过 Ollama 将本地 LLM 集成到 Obsidian 笔记中
Ollama 展示了如何构建一个使用 Llama Index 和本地 LLM 的 Obsidian 插件，以实现与个人笔记的概念搜索和对话式交互。
OpenAI 红队网络
OpenAI 已启动红队网络，这是一个由全球领域专家组成的正式社区，负责严格评估 AI 模型以识别风险并在整个开发生命周期中提升安全性。
Rocket Money x Hugging Face: 在生产环境中扩展易变的 ML 模型
Rocket Money 使用 Hugging Face 的 Inference API 将其交易分类系统扩展到每月超过十亿笔交易，以替换遗留的基于正则表达式的系统。
Anthropic 负责任扩展政策
Anthropic 推出了负责任扩展政策（RSP），该政策利用人工智能安全等级（ASL）机制，要求随着人工智能模型能力与灾难性风险的提升，实施更严格的安全与安保协议。
Introduction to 3D Gaussian Splatting
3D 高斯溅射是一种光栅化技术，能够从少量图像中学习并实时渲染出逼真的 3D 场景。
Hugging Face 目标检测排行榜
Hugging Face 发布了一个目标检测排行榜，使用 COCO 风格的指标对开源模型进行排名，并发表了一篇博客，解释了如何计算平均精度（Average Precision，AP）和平均召回率（Average Recall，AR），以及哪些因素可能影响结果。
在生产环境中优化LLM：精度、注意力和架构
Hugging Face 概述了高效 LLM 部署的关键技术，重点在于降低精度的量化、用于内存效率的 Flash Attention，以及如 RoPE、ALiBi、MQA 和 GQA 等架构优化。
Anthropic 与 BCG 合作推动企业级 AI 部署
Anthropic 已与 Boston Consulting Group (BCG) 合作，将 Claude AI 集成到企业战略产品中，重点关注安全且负责任的生成式 AI 解决方案的部署。
OpenAI 通过新都柏林办事处建立欧洲存在
OpenAI 在爱尔兰都柏林开设新办事处，以扩展其欧洲业务、信任与安全、安全工程以及法律职能。
使用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 演示了如何使用 PyTorch Fully Sharded Data Parallelism (FSDP) 和 Accelerate 来微调 Llama 2 70B，以克服 CPU RAM 瓶颈并优化 VRAM 使用。
介绍 Würstchen：用于图像生成的快速扩散
Würstchen 是一种快速且高效的文本到图像扩散模型，通过实现 42x 空间压缩来显著降低训练和推理成本。
Hugging Face Transformers 量化概览
Hugging Face 原生支持 bitsandbytes 和 auto-gptq 量化方案，以在较小的设备上实现大型模型推理以及高效的适配器微调。
SafeCoder vs. 闭源代码助手
Hugging Face 推出 SafeCoder，一个基于开源 StarCoder 模型的企业级代码助手，相较于闭源替代方案，它优先考虑透明度、定制化和数据隐私。
Code Llama Prompting Guide
Ollama 提供了一份技术指南，介绍了如何为 Meta 的 Code Llama 模型变体（包括 Instruct、Code completion 和 Python 特定版本）构建提示词结构。
使用 T2I-Adapters 进行 SDXL 的高效可控生成
Hugging Face 和 TencentARC 推出 T2I-Adapter-SDXL，这是一个轻量级的即插即用模型，能够使用外部信号（如草图和深度图）对 Stable Diffusion XL（SDXL）的生成进行精确控制，其计算开销相比 ControlNet 显著降低。
Claude Pro 发布说明
Anthropic 推出了 Claude Pro，这是一项针对 Claude.ai 的付费订阅计划，每月收费 20 美元（美国）或 18 英镑（英国），提供 5 倍于免费版的 Claude 2 模型使用量、优先访问权限以及新功能的早期体验机会。
OpenAI DevDay 公告
OpenAI 宣布了其首届开发者大会 DevDay，定于 2023 年 11 月 6 日在旧金山举行，以预览新工具并与开发者社区互动。
Falcon 180B 发布说明
TII 发布了 Falcon 180B，这是目前公开可用的最大语言模型，拥有 1800 亿参数，在 3.5 万亿个 token 上训练，以与专有模型如 PaLM-2 竞争。
Fetch 案例研究：使用 Amazon SageMaker 和 Hugging Face 将 ML 处理延迟降低 50%
Fetch 通过将其机器学习 (ML) 管道迁移到 Amazon SageMaker 和 Hugging Face，将收据扫描的 ML 处理延迟降低了 50%，并将文档理解模型的准确性提高了 200%。
OpenAI 使用 AI 教学指南
OpenAI 为教育工作者提供实用框架和提示模板，以使用 AI 进行语言支持、课程规划和个性化辅导。
AudioLDM 2 优化指南：使用 Hugging Face Diffusers 减少推理时间
Hugging Face 演示了如何将 AudioLDM 2 的推理时间降低超过 10 倍，通过代码和模型优化将 10 秒音频样本的生成时间降低到不到 1 秒。
ChatGPT Enterprise 发行说明
OpenAI 已推出 ChatGPT Enterprise，为组织提供企业级安全、隐私以及无限、高速访问 GPT-4 的能力。
Hugging Face Hub Git 身份验证更改
Hugging Face 在 2023 年 10 月 1 日弃用了基于密码的 Git 身份验证，要求用户切换到个人访问令牌或 SSH 密钥以提高安全性。
Code Llama 发行说明
Code Llama 是一系列基于 Llama 2 的开放访问模型，专门用于代码任务，支持填充以及最多 100,000 token 的长上下文窗口。
OpenAI 与 Scale 合作进行企业级微调
OpenAI 与 Scale 建立合作伙伴关系，为企业提供专业的数据丰富和模型评估支持，以便对 GPT-3.5 Turbo 和 GPT-4 进行微调。
使用 Ollama 在本地运行 Code Llama
Meta 的 Code Llama 模型现在可以通过 Ollama 在本地运行，提供 7B、13B 和 34B 参数版本，以及针对编程任务的 code 变体和 Python 专用版本。
Hugging Face AutoGPTQ 与 Transformers 集成
Hugging Face 已将 AutoGPTQ 库集成到 Transformers 中，实现了将 LLM 量化为 8、4、3 或 2 位精度，从而在 4 位精度下实现极低精度损失的同时减少内存需求。
GPT-3.5 Turbo 微调和 API 更新
OpenAI 已发布 GPT-3.5 Turbo 的微调功能，使开发者能够自定义模型性能、提高输出可靠性并降低提示成本。
IDEFICS: 最先进的视觉语言模型的开放复现
Hugging Face 发布了 IDEFICS，这是一个基于 Flamingo 架构的开放访问视觉语言模型，支持 9B 和 80B 参数规模的交错图像和文本输入。
Hugging Face SafeCoder 公告
Hugging Face 已推出 SafeCoder，这是一种自托管的企业级代码助手解决方案，使公司能够在其自身安全基础设施内构建和部署专有的 Code LLM。
OpenAI 收购 Global Illumination
OpenAI 已收购 Global Illumination，这是一家专注于创意工具和基础设施的公司，以将其团队整合到包括 ChatGPT 在内的核心产品开发中。
使用 GPT-4 进行内容审核
OpenAI 正在利用 GPT-4 通过自动化政策应用和细化来加速内容审核，将开发自定义政策的时间从数月缩短到数小时。
Anthropic 与 SK Telecom 合作伙伴关系公告
Anthropic 与 SK Telecom (SKT) 已建立商业合作伙伴关系并进行战略投资，以开发针对电信行业定制的 LLM。
Hugging Face Hub 在 AWS Marketplace
Hugging Face 将其 Hub 与 AWS Marketplace 集成，使组织能够直接通过其 AWS 账户为诸如 Inference Endpoints 和 AutoTrain 之类的托管服务付费。
使用 BentoML 部署 DeepFloyd IF
Hugging Face 演示了如何使用 BentoML 部署 DeepFloyd IF 文本到图像模型，使其多阶段像素扩散架构能够在多个 GPU 上独立扩展。
使用 🤗 Transformers 优化 Bark
Hugging Face 演示了如何使用 Better Transformer、半精度（fp16）和 CPU 卸载来减少 Bark 文本转语音模型的内存占用并提高推理速度。
Claude Instant 1.2 发布说明
Anthropic 已发布 Claude Instant 1.2，这是一个更快且价格更低的模型，在数学、编程、推理和安全性方面均优于 1.1 版本。
Swift Transformers 发布：在 Apple 设备上运行 On-Device LLMs
Hugging Face 发布了 alpha版 swift-transformers Swift 包、swift-chat 演示应用、已更新的 exporters 和 transformers-to-coreml 工具，以及 Llama 2 7B 和 Falcon 7B 的 Core ML 版本，使开发者能够在 Apple 应用中运行设备端 LLMs。
使用 TRL 通过 Direct Preference Optimization (DPO) 微调 Llama 2
Hugging Face 已将 Direct Preference Optimization (DPO) 集成到 TRL 库中，使用简化的二元交叉熵损失而不是复杂的 RLHF 管道来对齐 Llama 2 和其他 LLMs。
使用影响函数研究大语言模型的泛化能力
Anthropic 研究人员使用 EK-FAC 近似将影响函数扩展到参数高达 520 亿的大语言模型，从而能够识别驱动模型行为的具体训练样本。
Anthropic 研究：使用影响函数将模型输出追溯至训练数据
Anthropic 研究人员将影响函数扩展到了参数量高达 520 亿的 LLM，并发现随着模型规模的增加，模型的泛化变得更加抽象且由概念驱动。
通过 Hugging Face 推理端点部署 MusicGen
Hugging Face 演示了如何使用推理端点和自定义处理程序将 MusicGen（一种文本到音乐生成模型）作为 API 部署，以支持标准管线不支持的模型。
使用 FHE 的加密大型语言模型之路
Hugging Face 和 Zama 演示了 Fully Homomorphic Encryption (FHE) 如何使大型语言模型能够处理加密的用户数据，同时保护模型所有者的知识产权。
Huggy Lingo: 使用机器学习改进 Hugging Face Hub 语言元数据
Hugging Face 正在使用 fastText 语言识别模型和 Librarian-Bots 自动检测并为当前缺少语言元数据的数据集提出建议。
人工智能的置信建立措施
OpenAI 和伯克利风险与安全实验室提出六项置信建立措施（CBM），以减轻基础模型带来的国际安全风险。
Practical 3D Asset Generation Guide
Hugging Face 提供了一种逐步工作流程，通过结合 OpenAI 的 Shap-E 模型、Blender 和 Dream Textures 来创建低保真、PS1 风格的 3D 资产。
Segmind SD-Small 和 SD-Tiny 知识蒸馏发布
Segmind 开源了 SD‑Small 和 SD‑Tiny 的代码和预训练权重，这两个扩散模型相比 Stable Diffusion 小了 35% 和 55%，同时实现了最高 2× 的推理速度提升。
使用 Ollama 在本地运行未经审查的 Llama 2 模型
Ollama 允许用户在本地运行 Llama 2 和其他模型的未经审查版本，从而移除了通常会导致标准模型过于谨慎或拒绝回答的对齐约束。