ChatGPT 团队发布说明
OpenAI 推出了 ChatGPT Team,这是一项面向中小团队的自助订阅计划,提供协作工作空间、管理员工具以及企业级数据隐私。
OpenAI GPT 商店发布
OpenAI 已推出 GPT 商店,使 ChatGPT Plus、Team 和 Enterprise 用户能够发现、共享并变现自定义的 ChatGPT GPT 版本。
Unsloth 和 Hugging Face TRL 集成以实现更快的 LLM 微调
Unsloth 是一个轻量级库,可将 LLM 微调速度提高最高 2.7 倍,并将内存使用量降低最高 74%,相比 QLoRA 精度无损(0% 下降)。
OpenAI 与新闻业:对《纽约时报》诉讼的回应
OpenAI 主张在公共互联网数据上训练 AI 模型属于合理使用,并将版权内容的重复出现描述为罕见的错误,以此回应《纽约时报》的诉讼。
WHOOP Coach: 通过 GPT-4 进行个性化健康指导
WHOOP 已将 OpenAI 的 GPT-4 集成以推出 WHOOP Coach,这是一个由 AI 驱动的健康和健身教练,能够根据用户独特的生理数据提供个性化的即时指导。
aMUSEd:高效文本到图像生成
Hugging Face 发布了 aMUSEd,这是一款基于遮罩图像建模(MIM)的高效非扩散文本到图像模型,也是对 Google 的 MUSE 的公开复现。
Hugging Face SDXL Dreambooth LoRA 高级训练指南
Hugging Face 引入了一个用于 SDXL Dreambooth LoRA 的高级训练脚本,结合了 Pivotal Tuning 和 Prodigy 优化器,以提升概念捕获和图像质量。
投机解码实现 Whisper 推理速度提升 2×
Hugging Face 证明,投机解码将 Whisper 转录延迟减半,同时保持输出和准确性完全一致。
2023 年开放大语言模型回顾
Hugging Face 2023 年回顾显示,开源 LLM 发布激增,出现了更小但性能更强的模型,以及新颖的微调技术,极大拓宽了访问渠道和社区参与度。
OpenAI 对治理具备代理性的 AI 系统的实践
OpenAI 提出了一套基础责任和安全最佳实践框架,以确保具备代理性的 AI 系统——在有限监督下追求复杂目标的 AI——能够负责任地融入社会。
OpenAI 超级对齐快速资助
OpenAI 已启动一项 $1000 万美元的资助计划,用于资助超人类 AI 系统的对齐与安全的技术研究。
Summer Health 使用 GPT-4 自动化儿科就诊记录
Summer Health 已集成 GPT-4,将儿科医生的观察转化为清晰、无行话的就诊记录,使每份记录的行政时间从 10 分钟降低至 2 分钟。
OpenAI 弱到强泛化研究
OpenAI 研究人员已经证明,较小、能力较弱的模型可以监督更大的模型,以激发接近 GPT-3.5 水平的能力,为对齐超人类 AI 系统提供了一条潜在路径。
OpenAI 与 Axel Springer 的 AI 新闻合作伙伴关系
OpenAI 与 Axel Springer 合作,将 POLITICO、Business Insider 等品牌的权威新闻内容整合到 ChatGPT 中,同时利用 Axel Springer 的内容用于大型语言模型的训练。
专家混合(MoE)解释
专家混合(MoE)通过在每个 token 上仅激活部分神经网络专家,使 Transformer 模型能够在扩展参数规模的同时保持高效的预训练和更快的推理。
Mixtral 8x7B 发布说明
Mistral AI 已发布 Mixtral 8x7B,这是一款 Mixture of Experts(MoE)模型,在大多数基准测试中超越 Llama 2 70B 并匹配 GPT-3.5 的性能,同时在 Apache 2.0 许可证下保持商业宽松。
SetFitABSA:少样本方面情感分析
Hugging Face 和 Intel Labs 推出了 SetFitABSA,这是一种无需提示、少样本的方面情感分析框架,在数据稀缺的情况下能够超越更大的生成模型如 Llama 2 和 T5 的表现。
Optimum-NVIDIA 发布说明
Hugging Face 发布了 Optimum-NVIDIA,这是一款通过 FP8 量化和 TensorRT-LLM 在 NVIDIA 平台上将 LLM 推理加速至最高 28 倍的推理库。
Hugging Face LoRA 动态加载加速推理 300% 并降低延迟
Hugging Face 宣布了一套动态 LoRA 加载系统,将热身时间从 25 秒降低至 3 秒,使 LoRA 推理速度提升最高达 300%,并将总响应时间从 35 秒缩短至 13 秒。
Hugging Face 与 AMD 为 LLM 提供 GPU 加速
Hugging Face 与 AMD 已将针对 AMD Instinct GPU 的开箱即用支持集成到 Transformers 库和 Text Generation Inference 中,实现了无需更改代码即可进行高性能 LLM 执行。
Hugging Face Open LLM Leaderboard DROP 基准分析
Hugging Face 在发现有缺陷的归一化和停止令牌配置导致大多数模型得分异常低后,已将 DROP 基准从 Open LLM Leaderboard 中移除。
OpenAI 领导层更新:山姆·阿尔特曼回任 CEO
山姆·阿尔特曼已回任 OpenAI 首席执行官,并在新初始董事会的支持下以及加强公司治理的承诺下开展工作。
OpenAI 领导层过渡:米拉·穆拉蒂被任命为临时首席执行官
OpenAI 已任命米拉·穆拉蒂为临时首席执行官,继萨姆·阿尔特曼离开首席执行官职位和董事会之后。
OpenAI 数据合作伙伴
OpenAI 已推出数据合作伙伴计划,旨在与组织合作创建公共和私有数据集用于训练 AI 模型,以提升特定领域的理解并迈向通用人工智能(AGI)。
SDXL 和 Stable Diffusion 使用 Latent Consistency LoRAs 的快速推理
Hugging Face 推出 LCM LoRAs,一种使 SDXL 和 Stable Diffusion 模型能够在 4 到 8 步内生成高质量图像的方法,显著降低推理时间。
Prodigy-HF 集成发布说明
Explosion 已发布 Prodigy-HF,一个插件,使得可以在标注数据上直接微调 Hugging Face Transformer 模型,并能够直接将数据集上传到 Hugging Face Hub。
在 AWS Inferentia2 上使用 optimum-neuron 部署 Llama 2
Hugging Face 已将 optimum-neuron 与 AWS Neuron SDK 集成,以在 AWS Inferentia2 加速器上部署 Llama 2 模型,实现高性能文本生成。
比较 RoBERTa、Llama 2 和 Mistral 在灾难推文分类中的 LoRA 应用
一项比较研究表明,在使用低秩适应(LoRA)进行微调时,较小的 RoBERTa 模型在灾难推文的二分类任务中优于 Llama 2 和 Mistral 7B。
OpenAI 介绍 GPTs
OpenAI 已推出 GPTs,即用户可在无需编码的情况下为特定目的创建的 ChatGPT 自定义版本,使得个人、专业或企业场景下能够构建定制化的 AI 助手。
OpenAI DevDay 2023: GPT-4 Turbo, Assistants API, 以及多模态更新
OpenAI 宣布了具有 128K 上下文窗口的 GPT-4 Turbo、用于构建类 Agent 体验的新 Assistants API,以及包括 DALL·E 3 和 TTS 在内的扩展多模态能力。
Hugging Face Hub 存储区域
Hugging Face 为 Enterprise Hub 客户引入了存储区域,使组织能够选择其模型和数据集的存储位置,以提高监管合规性和数据传输性能。
个人 Copilot: 训练你自己的编码助手
Hugging Face 展示了如何通过在特定代码库上使用 QLoRA 和全量微调技术微调 StarCoder 来创建个性化编码助手 HugCoder。
OpenAI 前沿风险与准备工作框架
OpenAI 已成立专门的准备工作团队并制定了风险告知开发政策,旨在识别、评估和减轻与前沿 AI 模型相关的灾难性风险。
前沿模型论坛更新
OpenAI、Anthropic、Google和微软任命Chris Meserole为前沿模型论坛执行董事,并设立了1000万美元AI安全基金,以推进对有能力的AI模型的评估研究。
Hugging Face 与 Renumics Spotlight 集成以实现可扩展的数据检查
Hugging Face 已与 Renumics Spotlight 集成,以实现机器学习数据集的交互式、一行代码可视化和检查,包括对多模态数据和模型结果的支持。
优化 Stable Diffusion XL (SDXL) 的推理速度与内存占用
Hugging Face 探索了 Stable Diffusion XL (SDXL) 的多种优化技术,展示了如何将内存占用从 28GB 降低到低至 11.47GB,并将推理延迟从 72.2 秒降低到大约 10.3 秒。
使用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 通过 Inference Endpoints 引入 Text Embeddings Inference (TEI),为部署开源嵌入模型以用于 RAG 和语义搜索提供了一种高性能、成本效益高的方式。
The N 实现细节 of RLHF with PPO – Hugging Face 博客摘要
Hugging Face 博客文章复现了 OpenAI 的 2019 年 RLHF 代码库,匹配了其学习曲线,并详细说明了 N 项实现细节,包括一个关键的 PyTorch Adam 优化器差异,导致更新更加激进。
DALL·E 3 在 ChatGPT Plus 和 Enterprise 中的集成
OpenAI 已将 DALL·E 3 集成到 ChatGPT Plus 和 Enterprise 中,推出了一种能够实现更高视觉保真度、更好提示遵循以及改进文本、手部和面部渲染的模型。
Gradio-Lite: 完全在浏览器中运行的无服务器 Gradio
Hugging Face 推出 Gradio-Lite (@gradio/lite),这是一个使用 Pyodide 在网页浏览器中直接运行 Gradio 应用的 JavaScript 库,消除了对服务器端基础设施的需求。
Typeform Formless:AI 驱动的对话式数据收集
Typeform 已推出 Formless,一个基于 GPT-3.5 Turbo 和 GPT-4 构建的 AI 驱动平台,用动态的双向对话体验取代传统的表单结构。
Ironclad AI Assist 与 GPT-4 的集成
Ironclad 已通过 AI Assist 将 GPT-4 集成到其合同生命周期管理平台中,将初步合同修订时间从 40 分钟缩短至两分钟。
Retool AI 与 GPT-4 集成
Retool 已推出 Retool AI,这是一套由 GPT-4 驱动的功能,使企业能够使用可视化画布构建自定义的 AI 驱动应用程序和工作流。
使用 ONNX Runtime 加速 Hugging Face 模型
Hugging Face 和 ONNX Runtime 使超过 130,000 个模型实现性能加速,包括相比 PyTorch,whisper-tiny 模型的延迟降低高达 74.30%。
DALL·E 3 系统卡
OpenAI 发布了 DALL·E 3 系统卡,详细说明了相较于 DALL·E 2 在描述忠实度和图像质量方面的改进,并伴随广泛的安全评估和风险缓解措施。
Hugging Face Chat Templates
Hugging Face 引入了基于 Jinja 的聊天模板系统,以确保聊天模型接收到的输入格式与其训练时完全一致,从而防止性能隐形下降。
在 Cloud TPU v5e 上使用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现在支持在 Cloud TPU v5e 上使用 JAX 来服务 Stable Diffusion XL (SDXL),相比 TPU v4 提供最高 2.4 倍的每美元性能。
通过 Hugging Face Inference API 部署 AI Comic Factory
Hugging Face 提供了一个使用 Inference API 部署 AI Comic Factory 私有实例的指南,利用 Llama-2 和 SDXL 1.0 模型。
通过 TRL 使用 DDPO 微调 Stable Diffusion
Hugging Face 已将去噪扩散策略优化 (DDPO) 集成到 TRL 库中,使得使用强化学习实现 Stable Diffusion 模型与人类偏好的对齐成为可能。
Hugging Face 伦理与社会更新 夏季 2023
Hugging Face 详细介绍了其在 2023 年夏季在美国、欧盟和英国影响 AI 监管的努力,同时通过公开倡导和技术研究推进开源伦理。