在 Cloud TPU v5e 上使用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现在支持在 Cloud TPU v5e 上使用 JAX 来服务 Stable Diffusion XL (SDXL)，相比 TPU v4 提供最高 2.4 倍的每美元性能。
通过 Hugging Face Inference API 部署 AI Comic Factory
Hugging Face 提供了一个使用 Inference API 部署 AI Comic Factory 私有实例的指南，利用 Llama-2 和 SDXL 1.0 模型。
通过 TRL 使用 DDPO 微调 Stable Diffusion
Hugging Face 已将去噪扩散策略优化 (DDPO) 集成到 TRL 库中，使得使用强化学习实现 Stable Diffusion 模型与人类偏好的对齐成为可能。
Hugging Face 伦理与社会更新 夏季 2023
Hugging Face 详细介绍了其在 2023 年夏季在美国、欧盟和英国影响 AI 监管的努力，同时通过公开倡导和技术研究推进开源伦理。
Hugging Face 指南：无代码训练 LLaMA 2 聊天机器人
Hugging Face 使用 Spaces、AutoTrain 和 ChatUI 提供无代码工作流，使非工程师能够微调 LLaMA 2 并将其部署为功能聊天应用。
Amazon SageMaker 上的 Llama 2 基准测试
Hugging Face 分析了 Amazon SageMaker 上 Llama 2 的 60 种部署配置，以确定成本、吞吐量和延迟的最佳设置。
GPT-4V(ision) 系统卡
OpenAI 已推出 GPT-4V(ision)，这是 GPT-4 的多模态扩展，使模型能够分析和处理图像输入，以解决新任务并提供新颖的用户体验。
ChatGPT 语音和图像功能更新
OpenAI 已为 ChatGPT 引入多模态功能，使 Plus 和 Enterprise 用户能够进行语音对话并共享图像以进行分析。
Hugging Face 专业版推理
Hugging Face 为专业版用户推出了推理服务，提供了针对策划的最先进模型的加速 API 端点，并提高了免费推理 API 的速率限制。
OpenAI 红队网络
OpenAI 已启动红队网络，这是一个由全球领域专家组成的正式社区，负责严格评估 AI 模型以识别风险并在整个开发生命周期中提升安全性。
Rocket Money x Hugging Face: 在生产环境中扩展易变的 ML 模型
Rocket Money 使用 Hugging Face 的 Inference API 将其交易分类系统扩展到每月超过十亿笔交易，以替换遗留的基于正则表达式的系统。
Introduction to 3D Gaussian Splatting
3D 高斯溅射是一种光栅化技术，能够从少量图像中学习并实时渲染出逼真的 3D 场景。
Hugging Face 目标检测排行榜
Hugging Face 发布了一个目标检测排行榜，使用 COCO 风格的指标对开源模型进行排名，并发表了一篇博客，解释了如何计算平均精度（Average Precision，AP）和平均召回率（Average Recall，AR），以及哪些因素可能影响结果。
在生产环境中优化LLM：精度、注意力和架构
Hugging Face 概述了高效 LLM 部署的关键技术，重点在于降低精度的量化、用于内存效率的 Flash Attention，以及如 RoPE、ALiBi、MQA 和 GQA 等架构优化。
OpenAI 通过新都柏林办事处建立欧洲存在
OpenAI 在爱尔兰都柏林开设新办事处，以扩展其欧洲业务、信任与安全、安全工程以及法律职能。
使用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 演示了如何使用 PyTorch Fully Sharded Data Parallelism (FSDP) 和 Accelerate 来微调 Llama 2 70B，以克服 CPU RAM 瓶颈并优化 VRAM 使用。
介绍 Würstchen：用于图像生成的快速扩散
Würstchen 是一种快速且高效的文本到图像扩散模型，通过实现 42x 空间压缩来显著降低训练和推理成本。
Hugging Face Transformers 量化概览
Hugging Face 原生支持 bitsandbytes 和 auto-gptq 量化方案，以在较小的设备上实现大型模型推理以及高效的适配器微调。
SafeCoder vs. 闭源代码助手
Hugging Face 推出 SafeCoder，一个基于开源 StarCoder 模型的企业级代码助手，相较于闭源替代方案，它优先考虑透明度、定制化和数据隐私。
使用 T2I-Adapters 进行 SDXL 的高效可控生成
Hugging Face 和 TencentARC 推出 T2I-Adapter-SDXL，这是一个轻量级的即插即用模型，能够使用外部信号（如草图和深度图）对 Stable Diffusion XL（SDXL）的生成进行精确控制，其计算开销相比 ControlNet 显著降低。
OpenAI DevDay 公告
OpenAI 宣布了其首届开发者大会 DevDay，定于 2023 年 11 月 6 日在旧金山举行，以预览新工具并与开发者社区互动。
Falcon 180B 发布说明
TII 发布了 Falcon 180B，这是目前公开可用的最大语言模型，拥有 1800 亿参数，在 3.5 万亿个 token 上训练，以与专有模型如 PaLM-2 竞争。
Fetch 案例研究：使用 Amazon SageMaker 和 Hugging Face 将 ML 处理延迟降低 50%
Fetch 通过将其机器学习 (ML) 管道迁移到 Amazon SageMaker 和 Hugging Face，将收据扫描的 ML 处理延迟降低了 50%，并将文档理解模型的准确性提高了 200%。
OpenAI 使用 AI 教学指南
OpenAI 为教育工作者提供实用框架和提示模板，以使用 AI 进行语言支持、课程规划和个性化辅导。
AudioLDM 2 优化指南：使用 Hugging Face Diffusers 减少推理时间
Hugging Face 演示了如何将 AudioLDM 2 的推理时间降低超过 10 倍，通过代码和模型优化将 10 秒音频样本的生成时间降低到不到 1 秒。
ChatGPT Enterprise 发行说明
OpenAI 已推出 ChatGPT Enterprise，为组织提供企业级安全、隐私以及无限、高速访问 GPT-4 的能力。
Hugging Face Hub Git 身份验证更改
Hugging Face 在 2023 年 10 月 1 日弃用了基于密码的 Git 身份验证，要求用户切换到个人访问令牌或 SSH 密钥以提高安全性。
Code Llama 发行说明
Code Llama 是一系列基于 Llama 2 的开放访问模型，专门用于代码任务，支持填充以及最多 100,000 token 的长上下文窗口。
OpenAI 与 Scale 合作进行企业级微调
OpenAI 与 Scale 建立合作伙伴关系，为企业提供专业的数据丰富和模型评估支持，以便对 GPT-3.5 Turbo 和 GPT-4 进行微调。
Hugging Face AutoGPTQ 与 Transformers 集成
Hugging Face 已将 AutoGPTQ 库集成到 Transformers 中，实现了将 LLM 量化为 8、4、3 或 2 位精度，从而在 4 位精度下实现极低精度损失的同时减少内存需求。
GPT-3.5 Turbo 微调和 API 更新
OpenAI 已发布 GPT-3.5 Turbo 的微调功能，使开发者能够自定义模型性能、提高输出可靠性并降低提示成本。
IDEFICS: 最先进的视觉语言模型的开放复现
Hugging Face 发布了 IDEFICS，这是一个基于 Flamingo 架构的开放访问视觉语言模型，支持 9B 和 80B 参数规模的交错图像和文本输入。
Hugging Face SafeCoder 公告
Hugging Face 已推出 SafeCoder，这是一种自托管的企业级代码助手解决方案，使公司能够在其自身安全基础设施内构建和部署专有的 Code LLM。
OpenAI 收购 Global Illumination
OpenAI 已收购 Global Illumination，这是一家专注于创意工具和基础设施的公司，以将其团队整合到包括 ChatGPT 在内的核心产品开发中。
使用 GPT-4 进行内容审核
OpenAI 正在利用 GPT-4 通过自动化政策应用和细化来加速内容审核，将开发自定义政策的时间从数月缩短到数小时。
Hugging Face Hub 在 AWS Marketplace
Hugging Face 将其 Hub 与 AWS Marketplace 集成，使组织能够直接通过其 AWS 账户为诸如 Inference Endpoints 和 AutoTrain 之类的托管服务付费。
使用 BentoML 部署 DeepFloyd IF
Hugging Face 演示了如何使用 BentoML 部署 DeepFloyd IF 文本到图像模型，使其多阶段像素扩散架构能够在多个 GPU 上独立扩展。
使用 🤗 Transformers 优化 Bark
Hugging Face 演示了如何使用 Better Transformer、半精度（fp16）和 CPU 卸载来减少 Bark 文本转语音模型的内存占用并提高推理速度。
Swift Transformers 发布：在 Apple 设备上运行 On-Device LLMs
Hugging Face 发布了 alpha版 swift-transformers Swift 包、swift-chat 演示应用、已更新的 exporters 和 transformers-to-coreml 工具，以及 Llama 2 7B 和 Falcon 7B 的 Core ML 版本，使开发者能够在 Apple 应用中运行设备端 LLMs。
使用 TRL 通过 Direct Preference Optimization (DPO) 微调 Llama 2
Hugging Face 已将 Direct Preference Optimization (DPO) 集成到 TRL 库中，使用简化的二元交叉熵损失而不是复杂的 RLHF 管道来对齐 Llama 2 和其他 LLMs。
通过 Hugging Face 推理端点部署 MusicGen
Hugging Face 演示了如何使用推理端点和自定义处理程序将 MusicGen（一种文本到音乐生成模型）作为 API 部署，以支持标准管线不支持的模型。
使用 FHE 的加密大型语言模型之路
Hugging Face 和 Zama 演示了 Fully Homomorphic Encryption (FHE) 如何使大型语言模型能够处理加密的用户数据，同时保护模型所有者的知识产权。
Huggy Lingo: 使用机器学习改进 Hugging Face Hub 语言元数据
Hugging Face 正在使用 fastText 语言识别模型和 Librarian-Bots 自动检测并为当前缺少语言元数据的数据集提出建议。
人工智能的置信建立措施
OpenAI 和伯克利风险与安全实验室提出六项置信建立措施（CBM），以减轻基础模型带来的国际安全风险。
Practical 3D Asset Generation Guide
Hugging Face 提供了一种逐步工作流程，通过结合 OpenAI 的 Shap-E 模型、Blender 和 Dream Textures 来创建低保真、PS1 风格的 3D 资产。
Segmind SD-Small 和 SD-Tiny 知识蒸馏发布
Segmind 开源了 SD‑Small 和 SD‑Tiny 的代码和预训练权重，这两个扩散模型相比 Stable Diffusion 小了 35% 和 55%，同时实现了最高 2× 的推理速度提升。
在Mac上使用高级Core ML量化的Stable Diffusion XL
Hugging Face 和 Apple 已将 Stable Diffusion XL 移植到 Core ML，引入混合位调色板量化技术，在保持 Apple Silicon Mac 上图像质量的同时将 UNet 大小降低了 71%。
前沿模型论坛公告
OpenAI、Google、Microsoft 和 Anthropic 已启动前沿模型论坛，以协调前沿 AI 模型开发的安全标准、研究和信息共享。
Agents.js 发布：使用 JavaScript 为 LLMs 提供工具
Hugging Face 已发布 Agents.js，一个 JavaScript 库，使 LLMs 能够在浏览器或服务器上访问和执行工具。
Hugging Face 及合作伙伴概述欧盟 AI 法案的开放机器学习考量
Hugging Face 与创意共用、Eleuther AI、GitHub、LAION 和 Open Future 组成的联盟提出了五项关键建议，以确保欧盟 AI 法案支持开源机器学习发展。