✷ 归档 · 11 个实验室 · 3,059 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
OpenAI 领导层更新：山姆·阿尔特曼回任 CEO
山姆·阿尔特曼已回任 OpenAI 首席执行官，并在新初始董事会的支持下以及加强公司治理的承诺下开展工作。
Claude 2.1 发布说明
Anthropic 发布了 Claude 2.1，其特点是具有 200K token 的上下文窗口、幻觉率降低了 2 倍，以及一项新的工具使用 Beta 功能。
OpenAI 领导层过渡：米拉·穆拉蒂被任命为临时首席执行官
OpenAI 已任命米拉·穆拉蒂为临时首席执行官，继萨姆·阿尔特曼离开首席执行官职位和董事会之后。
OpenAI 数据合作伙伴
OpenAI 已推出数据合作伙伴计划，旨在与组织合作创建公共和私有数据集用于训练 AI 模型，以提升特定领域的理解并迈向通用人工智能（AGI）。
SDXL 和 Stable Diffusion 使用 Latent Consistency LoRAs 的快速推理
Hugging Face 推出 LCM LoRAs，一种使 SDXL 和 Stable Diffusion 模型能够在 4 到 8 步内生成高质量图像的方法，显著降低推理时间。
Prodigy-HF 集成发布说明
Explosion 已发布 Prodigy-HF，一个插件，使得可以在标注数据上直接微调 Hugging Face Transformer 模型，并能够直接将数据集上传到 Hugging Face Hub。
在 AWS Inferentia2 上使用 optimum-neuron 部署 Llama 2
Hugging Face 已将 optimum-neuron 与 AWS Neuron SDK 集成，以在 AWS Inferentia2 加速器上部署 Llama 2 模型，实现高性能文本生成。
比较 RoBERTa、Llama 2 和 Mistral 在灾难推文分类中的 LoRA 应用
一项比较研究表明，在使用低秩适应（LoRA）进行微调时，较小的 RoBERTa 模型在灾难推文的二分类任务中优于 Llama 2 和 Mistral 7B。
OpenAI 介绍 GPTs
OpenAI 已推出 GPTs，即用户可在无需编码的情况下为特定目的创建的 ChatGPT 自定义版本，使得个人、专业或企业场景下能够构建定制化的 AI 助手。
OpenAI DevDay 2023: GPT-4 Turbo, Assistants API, 以及多模态更新
OpenAI 宣布了具有 128K 上下文窗口的 GPT-4 Turbo、用于构建类 Agent 体验的新 Assistants API，以及包括 DALL·E 3 和 TTS 在内的扩展多模态能力。
xAI PromptIDE 发布公告
xAI 发布了 PromptIDE，这是一个集成开发环境和 SDK，旨在加速 Grok-1 模型的提示工程和可解释性研究。
Anthropic 对美国行政命令、G7 行动准则及 Bletchley Park 峰会的分析
Anthropic 概述了其对 2023 年第四季度三个主要 AI 政策里程碑的支持：美国 AI 行政命令、G7 国际行动准则以及《Bletchley 宣言》。
Hugging Face Hub 存储区域
Hugging Face 为 Enterprise Hub 客户引入了存储区域，使组织能够选择其模型和数据集的存储位置，以提高监管合规性和数据传输性能。
xAI Grok 发布说明
xAI 宣布推出 Grok，这是一款由 Grok-1 LLM 提供支持的 AI 助手，它通过 X 平台具备实时世界知识，并拥有模仿《Hitchhiker's Guide to the Galaxy》的个性特征。
Anthropic 负责任缩放政策 (RSP) 框架
Anthropic 引入了一项负责任缩放政策 (RSP)，该政策使用 AI 安全等级 (ASL) 随着 AI 模型获得危险能力时触发特定的安全防护措施。
个人 Copilot: 训练你自己的编码助手
Hugging Face 展示了如何通过在特定代码库上使用 QLoRA 和全量微调技术微调 StarCoder 来创建个性化编码助手 HugCoder。
OpenAI 前沿风险与准备工作框架
OpenAI 已成立专门的准备工作团队并制定了风险告知开发政策，旨在识别、评估和减轻与前沿 AI 模型相关的灾难性风险。
前沿模型论坛更新
OpenAI、Anthropic、Google和微软任命Chris Meserole为前沿模型论坛执行董事，并设立了1000万美元AI安全基金，以推进对有能力的AI模型的评估研究。
Hugging Face 与 Renumics Spotlight 集成以实现可扩展的数据检查
Hugging Face 已与 Renumics Spotlight 集成，以实现机器学习数据集的交互式、一行代码可视化和检查，包括对多模态数据和模型结果的支持。
优化 Stable Diffusion XL (SDXL) 的推理速度与内存占用
Hugging Face 探索了 Stable Diffusion XL (SDXL) 的多种优化技术，展示了如何将内存占用从 28GB 降低到低至 11.47GB，并将推理延迟从 72.2 秒降低到大约 10.3 秒。
使用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 通过 Inference Endpoints 引入 Text Embeddings Inference (TEI)，为部署开源嵌入模型以用于 RAG 和语义搜索提供了一种高性能、成本效益高的方式。
The N 实现细节 of RLHF with PPO – Hugging Face 博客摘要
Hugging Face 博客文章复现了 OpenAI 的 2019 年 RLHF 代码库，匹配了其学习曲线，并详细说明了 N 项实现细节，包括一个关键的 PyTorch Adam 优化器差异，导致更新更加激进。
Anthropic 研究：宪法 AI 的特定原则与通用原则
Anthropic 研究表明，虽然像“为人类做最好的事情”这样的单一通用原则可以减轻广泛的有害行为，但详细的宪法为特定 AI 伤害提供了更优的细粒度控制。
Anthropic 研究：理解语言模型中的谄媚行为
Anthropic 研究人员发现，经过 RLHF 训练的 AI 助手往往倾向于镜像用户观点而非真实性，这种被称为“谄媚”的行为是由人类偏好判断驱动的。
DALL·E 3 在 ChatGPT Plus 和 Enterprise 中的集成
OpenAI 已将 DALL·E 3 集成到 ChatGPT Plus 和 Enterprise 中，推出了一种能够实现更高视觉保真度、更好提示遵循以及改进文本、手部和面部渲染的模型。
Gradio-Lite: 完全在浏览器中运行的无服务器 Gradio
Hugging Face 推出 Gradio-Lite (@gradio/lite)，这是一个使用 Pyodide 在网页浏览器中直接运行 Gradio 应用的 JavaScript 库，消除了对服务器端基础设施的需求。
集体宪法 AI：通过公众输入实现语言模型对齐
Anthropic 与 Collective Intelligence Project 开发了一种方法，使用由大约 1,000 名美国公众成员起草的宪法来对齐语言模型，从而使模型比使用公司内部宪法对齐的模型具有更低的社会偏见。
使用客户端技术构建 LLM 驱动的 Web 应用
Ollama 探索了结合使用基于浏览器的工具和 Ollama 进行本地 LLM 执行，来构建完全本地的检索增强生成 (RAG) Web 应用的可行性。
Typeform Formless：AI 驱动的对话式数据收集
Typeform 已推出 Formless，一个基于 GPT-3.5 Turbo 和 GPT-4 构建的 AI 驱动平台，用动态的双向对话体验取代传统的表单结构。
Ironclad AI Assist 与 GPT-4 的集成
Ironclad 已通过 AI Assist 将 GPT-4 集成到其合同生命周期管理平台中，将初步合同修订时间从 40 分钟缩短至两分钟。
Retool AI 与 GPT-4 集成
Retool 已推出 Retool AI，这是一套由 GPT-4 驱动的功能，使企业能够使用可视化画布构建自定义的 AI 驱动应用程序和工作流。
Anthropic 研究：通过字典学习分解语言模型
Anthropic 研究人员开发了一种使用字典学习的方法，将语言模型层分解为单语义特征，从而能够解释在单个神经元层面 otherwise 不可见的复杂神经网络激活。
Anthropic 将语言模型分解为可理解的组件
Anthropic 研究人员开发了一种使用字典学习的方法，将神经网络激活分解为可解释的特征，从而超越了不可解释的单个神经元的局限性。
Ollama 官方 Docker 镜像发布
Ollama 已发布官方 Docker 赞助的开源镜像，以简化大型语言模型的本地部署。
使用 ONNX Runtime 加速 Hugging Face 模型
Hugging Face 和 ONNX Runtime 使超过 130,000 个模型实现性能加速，包括相比 PyTorch，whisper-tiny 模型的延迟降低高达 74.30%。
Anthropic: 评估 AI 系统的挑战
Anthropic 概述了构建稳健 AI 评估的各种技术和运营层面的困难，并认为有效的 AI 治理取决于能否克服这些测量挑战。
DALL·E 3 系统卡
OpenAI 发布了 DALL·E 3 系统卡，详细说明了相较于 DALL·E 2 在描述忠实度和图像质量方面的改进，并伴随广泛的安全评估和风险缓解措施。
Hugging Face Chat Templates
Hugging Face 引入了基于 Jinja 的聊天模板系统，以确保聊天模型接收到的输入格式与其训练时完全一致，从而防止性能隐形下降。
在 Cloud TPU v5e 上使用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现在支持在 Cloud TPU v5e 上使用 JAX 来服务 Stable Diffusion XL (SDXL)，相比 TPU v4 提供最高 2.4 倍的每美元性能。
通过 Hugging Face Inference API 部署 AI Comic Factory
Hugging Face 提供了一个使用 Inference API 部署 AI Comic Factory 私有实例的指南，利用 Llama-2 和 SDXL 1.0 模型。
通过 TRL 使用 DDPO 微调 Stable Diffusion
Hugging Face 已将去噪扩散策略优化 (DDPO) 集成到 TRL 库中，使得使用强化学习实现 Stable Diffusion 模型与人类偏好的对齐成为可能。
Hugging Face 伦理与社会更新 夏季 2023
Hugging Face 详细介绍了其在 2023 年夏季在美国、欧盟和英国影响 AI 监管的努力，同时通过公开倡导和技术研究推进开源伦理。
Hugging Face 指南：无代码训练 LLaMA 2 聊天机器人
Hugging Face 使用 Spaces、AutoTrain 和 ChatUI 提供无代码工作流，使非工程师能够微调 LLaMA 2 并将其部署为功能聊天应用。
Mistral AI: 将开放 AI 模型带向最前沿
Mistral AI 已经发布，旨在引领开放权重生成式 AI 模型的革命，并以发布 Mistral 7B 开始，该模型在性能上超越了其他参数量在 13B 以下的开放模型。
Mistral 7B 发布说明
Mistral AI 发布了 Mistral 7B，这是一个拥有 73 亿参数的语言模型，在所有基准测试中均优于 Llama 2 13B，且采用 Apache 2.0 许可证发布。
Amazon SageMaker 上的 Llama 2 基准测试
Hugging Face 分析了 Amazon SageMaker 上 Llama 2 的 60 种部署配置，以确定成本、吞吐量和延迟的最佳设置。
GPT-4V(ision) 系统卡
OpenAI 已推出 GPT-4V(ision)，这是 GPT-4 的多模态扩展，使模型能够分析和处理图像输入，以解决新任务并提供新颖的用户体验。
ChatGPT 语音和图像功能更新
OpenAI 已为 ChatGPT 引入多模态功能，使 Plus 和 Enterprise 用户能够进行语音对话并共享图像以进行分析。
Anthropic 宣布获得 Amazon 40 亿美元投资并扩大通过 AWS Bedrock 访问 Claude 2 的权限
Anthropic 宣布获得来自 Amazon 的高达 40 亿美元投资，使 AWS 成为其模型的主要云服务，并扩大了 Claude 2 在 Amazon Bedrock 上的可用性，旨在为企业带来更安全、高性能的 AI。
Anthropic Claude 100k Token 上下文窗口提示工程指南
Anthropic 发布了一项定量研究，表明提取参考引用并提供多个上下文内示例可以显著提高 Claude 在 70k–95k token 文档上的召回能力。