✷ 归档 · 6,244 篇 dispatch
全部 dispatch
AgentLensHQ 归档的全部内容——提炼自整个 AI 生态。
TAPEX：通过神经SQL执行实现高效表格预训练
TAPEX是一种表格预训练方法，利用合成的SQL执行对，实现了在表格问答和事实验证任务上的最新水平（SOTA）结果，并且相较于以往方法显著提升了效率。
Anthropic 研究：重复数据的缩放定律与可解释性
Anthropic 研究人员发现，重复训练数据中的一小部分会导致 LLM 性能严重下降，因为它消耗了模型的容量用于记忆，并破坏了诸如 induction heads 之类的泛化结构。
Hugging Face 对 Q 学习的介绍
Hugging Face 提供了一份关于 Q 学习的技术指南，Q 学习是一种离策略、基于价值的强化学习方法，使用 Q 表来确定最优的状态-动作对。
Hugging Face 多模态项目伦理宪章
Hugging Face 为其多模态学习项目制定了伦理宪章，将伦理原则、透明性和公平性直接融入机器学习研究生命周期。
Sempre Health 案例研究：通过 Hugging Face 专家加速计划加速 NLP 流水线
Sempre Health 利用 Hugging Face 专家加速计划部署了一个 NLP 流水线，自动处理超过 20% 的入站患者消息，显著提升了业务可扩展性。
OpenAI DALL·E 2 研究预览更新
OpenAI 正在以每周 1,000 人的速度向等候名单用户扩大 DALL·E 2 的访问权限，此前的有限研究预览已生成超过 300 万张图像。
Hugging Face 深度强化学习课程 第2单元 第1部分：Q学习概念简介
Hugging Face 发布了其深度强化学习课程的第一部分，阐述了基于价值的方法、贝尔曼方程以及 Monte‑Carlo 与 Temporal‑Difference 学习，为 Q‑Learning 打下基础。
Hugging Face 奖学金计划公告
Hugging Face 推出了奖学金计划，通过资源、认可和定制化支持，帮助并赋能开源机器学习生态系统的关键贡献者。
机器学习专家访谈 Sasha Luccioni——关于伦理 AI 与气候影响的要点
Hugging Face 采访了研究科学家 Sasha Luccioni，她讨论了自己在伦理 AI、碳足迹测量以及将机器学习应用于气候和社会挑战方面的工作。
Gradio 3.0 发布说明
Hugging Face 已发布 Gradio 3.0，包含完整的前端重新设计，并引入 Gradio Blocks，用于在 Python 中构建复杂的自定义机器学习网页应用。
Hugging Face 学生大使计划 2022
Hugging Face 已启动首个学生大使计划，以帮助实现其在 2023 年向 500 万人教授机器学习的目标。
Hugging Face 机器学习洞察总监：SaaS 版
Hugging Face 采访了来自 Salesforce、Amplitude、ZoomInfo 和 Repustate 的四位机器学习总监，讨论将机器学习集成到 SaaS 产品中的实际挑战、常见陷阱和未来机遇。
Optimum 1.2 推理发布 添加 ONNX Runtime 加速管道
Hugging Face 宣布了 Optimum 1.2，新增了通过 ONNX Runtime 的推理支持和 Transformers 管道集成，实现更快、量化和优化的模型服务。
Hugging Face C轮融资公告
Hugging Face 获得了 1亿美元的 C 轮融资，以通过开源研究、产品和协作式机器学习加速 AI 的民主化。
fastai 与 Hugging Face Hub 的集成
Hugging Face 已将 fastai 库集成到平台，使实践者能够仅用一行 Python 代码直接将 fastai Learner 对象上传到 Hugging Face Hub 或从中下载。
OpenAI 领导团队更新
OpenAI 宣布了 Greg Brockman、Brad Lightcap、Mira Murati 和 Chris Clark 的执行职务变动，以使领导层与公司的增长和战略里程碑保持一致。
Hugging Face 深度强化学习简介
Hugging Face 发布了一个免费深度强化学习入门教程，涵盖核心 RL 概念、RL 框架、探索‑利用权衡、基于策略与基于价值的方法，以及深度神经网络在 RL 中的融合。
使用 PyTorch Fully Sharded Data Parallel 加速大模型训练
Hugging Face 将 PyTorch Fully Sharded Data Parallel (FSDP) 集成到了 Accelerate 库中，通过在 GPU 之间分片优化器状态、梯度和参数，并提供可选的 CPU offloading，从而实现了海量模型的训练。
Anthropic 用于 AI 安全与研究的 B 轮融资
Anthropic 已筹集 5.8 亿美元的 B 轮融资，用于构建旨在提高计算密集型 AI 模型的控制性、可解释性和鲁棒性的大规模实验性基础设施。
使用 Kili 和 HuggingFace AutoTrain 进行观点分类
Hugging Face 演示了如何使用 Kili 进行数据标注并利用 AutoTrain 自动化模型训练，构建文本分类的主动学习流水线。
Hugging Face 机器学习总监洞察 – 行业视角
Hugging Face 发布了一系列对六位机器学习总监的访谈，分享了 ML 如何在媒体、制药、科学、物流、营销和能源领域产生变革，同时突显了共同的挑战和未来机遇。
在 Habana Gaudi 上使用 Transformers 入门
Hugging Face 与 Habana Labs 合作，加速 Transformer 模型训练，相较于基于 GPU 的 Amazon EC2 实例，Habana Gaudi 加速器提供高达 40% 的性价比提升。
使用机器学习提升客户服务
Hugging Face 展示了如何使用微调的 DeBERTa-v3-base 模型以及 Transformers 和 Datasets 库来自动化过滤不满意的客户反馈。
Hugging Face 教育计划 2022 启动
Hugging Face 于 2022 年 4 月宣布了一项多轨教育计划，目标是在 2023 年底前向 500 万人教授机器学习，为学习者、教师以及更广泛的公众提供免费资源。
Hugging Face Hub 碳排放追踪
Hugging Face 引入了工具，以跟踪、报告和基于 CO2 排放量过滤机器学习模型，从而提升 AI 领域的环境透明度。
衡量 AI 对齐中的古德哈特定律
OpenAI 探讨了在 AI 模型中优化代理目标如何导致真实目标性能下降，这一现象被称为古德哈特定律，并提出将 best-of-n 采样作为分析方法。
层次化文本条件图像生成与 CLIP 潜在向量
OpenAI 推出了一种两阶段生成模型，使用先验从文本生成 CLIP 图像嵌入，再通过解码器从这些嵌入生成图像，从而提升了多样性并实现了零样本图像操作。
Lewis Tunstall 访谈 – Hugging Face 机器学习专家
Hugging Face 宣布了对机器学习工程师 Lewis Tunstall 的详细访谈，重点介绍了他在 Transformers 库上的工作、新出版的《NLP with Transformers》一书以及不断扩展的 Hugging Face 课程。
Habana Labs 与 Hugging Face 的变压器模型训练合作伙伴关系
Habana Labs 与 Hugging Face 已将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 库集成，以加速在 Habana Gaudi 处理器上进行变压器模型的训练。
Anthropic: 使用 RLHF 训练一个乐于助人且无害的助手
Anthropic 证明了来自人类反馈的强化学习 (RLHF) 在确保助手保持乐于助人且无害的同时，提高了语言模型在大多数 NLP 评估中的性能。
Hugging Face Transformers 设计哲学
Hugging Face 为 Transformers 库采用了“一模型文件”政策，刻意摒弃 DRY（不要重复自己）原则，以优先保证可读性、社区贡献以及静态机器学习模型的稳定性。
Decision Transformer 在 Hugging Face Transformers 中的集成
Hugging Face 已将 Decision Transformer——一种将强化学习视为条件序列建模问题的离线强化学习方法——集成到 transformers 库和 Hugging Face Hub 中。
机器学习专家：访谈 Margaret Mitchell
Dr. Margaret Mitchell 讨论了伦理 AI 的关键作用、用于提高透明度的 Model Cards 的开发，以及机器学习开发中多样性和包容性的必要性。
Hugging Face AI Research Residency Program Announcement
Hugging Face 推出了为期 9 个月的 AI Research Residency Program，旨在帮助有志向的研究人员与 Hugging Face Science Team 合作，开发机器学习技术并发布开源工作。
使用自定义数据集微调 SegFormer 进行语义分割
Hugging Face 提供了一份技术指南，介绍如何使用 Transformers 库微调 SegFormer 模型，以便为自动驾驶人行道导航等自定义用例执行像素级图像分类。
使用 Hugging Face 数据集进行图像搜索
Hugging Face 展示了如何通过结合 datasets 库、CLIP 嵌入和 FAISS 来构建图像搜索应用，以实现高效的相似性搜索。
使用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 提供了一份关于如何使用 AWS Inferentia 和 Neuron SDK 来加速 BERT 推理的指南，在 Amazon SageMaker 上实现了 5-6ms 的延迟。
GPT-3 和 Codex 的编辑与插入功能
OpenAI 发布了 GPT-3 和 Codex 的新版本，它们可以编辑现有文本并在文档中间插入内容，超越了简单的文本补全。
在 Hugging Face Transformers 中使用约束束搜索引导文本生成
Hugging Face 将约束束搜索引入了 Transformers 库，允许用户在保持语言连贯性的同时，将特定的词汇或短语强制加入到生成的文本中。
Anthropic In-context Learning and Induction Heads
Anthropic 于 2022 年 3 月 8 日发布了一篇题为 “In-context Learning and Induction Heads” 的研究文章，但该页面仅包含相关链接，没有实质性的技术细节。
OpenAI 经济影响研究计划
OpenAI 已向研究人员和公司发出征集意向书的通知，以研究 GPT-3、ChatGPT 和 DALL-E 2 等大型语言模型的经济影响。
OpenAI 代码生成模型经济影响研究议程
OpenAI 提出了一个研究议程，旨在研究像 Codex 这样的代码生成模型如何影响生产力、就业和经济不平等，从而为部署、系统设计和公共政策提供参考。
OpenAI 关于语言模型安全与滥用的经验教训
OpenAI 分享了从部署 GPT-3 和 Codex 中获得的见解，强调实际滥用往往与理论风险不同，并且安全研究经常能提升商业价值。
BERT 101: 理解Transformer的双向编码器表示
BERT是由Google AI Language开发的基于Transformer的双向模型，通过在巨大数据集上进行无监督预训练，在11+项常见NLP任务上实现了最先进的性能。
Anthropic 研究：大型生成式模型中的可预测性与意外性
Anthropic 指出大型生成式模型中可预测的 loss 扩展性与不可预测的特定能力和输出的涌现之间存在张力，这为 AI 安全和政策带来了挑战。
使用 Hugging Face Transformers 微调视觉 Transformer (ViT) 进行图像分类
Hugging Face 提供了一个使用 datasets 和 transformers 库微调 Vision Transformer (ViT) 模型进行图像分类的指南，并以 beans 数据集为例演示了该过程。
OpenAI 形式化数学奥林匹克竞赛问题求解
OpenAI 展示了其模型使用形式化证明助手解决来自 AMC12、AIME 和 IMO 等竞赛的形式化数学奥林匹克竞赛问题的能力。
使用 Python 开始进行情感分析
Hugging Face 提供了一份关于如何使用 Python 实现情感分析的全面指南，利用了来自 Hugging Face Hub 的预训练模型、用于微调的 Trainer API 以及无代码工具 AutoNLP。
使用 Transformers 中的 Wav2Vec2 对大文件进行自动语音识别
Hugging Face 通过利用 Wav2Vec2 的 Connectionist Temporal Classification (CTC) 架构来实现一种步长技术，从而在任意长度的音频文件和实时推理中实现高质量的 ASR。
OpenAI InstructGPT：使语言模型符合指令要求
OpenAI 推出了 InstructGPT，这是一系列通过人类反馈强化学习 (RLHF) 训练的模型，与 GPT-3 相比，它们能更好地遵循用户意图，增加真实性并减少毒性。