BLOOM:全球最大开放多语言语言模型
Hugging Face 和 BigScience 项目发布了 BLOOM,这是一款拥有 1760 亿参数的开放获取多语言语言模型,已在 46 种自然语言和 13 种编程语言上以完全透明的方式进行训练。
开始使用 Twitter 情感分析
Hugging Face 提供了一份指南,介绍如何使用 Inference API 对 Twitter 数据进行自动化情感分析,适用于开发者和非编码人员。
使用 PyTorch 的策略梯度 – Hugging Face 深度强化学习课程 第5单元
Hugging Face 发布了一个教程,详细演示了如何在 PyTorch 中从零实现 REINFORCE 蒙特卡罗策略梯度算法,并在 CartPole‑v1、PixelCopter 和 Pong 上进行评估。
使用 Sentence Transformers 入门机器学习
Hugging Face 为初学者提供了一份指南,帮助他们使用 Sentence Transformers 库创建嵌入并进行语义搜索,以启动首个机器学习项目。
DALL·E 2 预训练缓解措施
OpenAI 实施了主动学习用于数据过滤、重新加权方案防止偏见放大,以及基于聚类的去重流程,以消除 DALL·E 2 中的图像复制问题。
Hugging Face 在 Hub 上的评估
Hugging Face 已推出 Evaluation on the Hub,这是一款由 AutoTrain 提供动力的无代码工具,允许用户在 Hugging Face Hub 上直接使用任意指标对任意模型进行任意数据集的评估。
使用 DeepSpeed 加速大模型训练
Hugging Face 演示了如何使用 Accelerate 库集成 DeepSpeed 的 ZeRO 优化,从而实现更大的批量大小并训练原本会超出 GPU 内存限制的模型。
OpenAI 视频预训练(VPT)用于 Minecraft
OpenAI 引入了视频预训练(VPT),一种半监督模仿学习方法,使代理能够通过在大规模未标记的人类游戏视频上训练,在 Minecraft 中学习复杂行为。
嵌入入门 – Hugging Face 教程
Hugging Face 宣布了一份逐步指南,介绍如何使用 Sentence‑Transformers 库和 Hugging Face Hub 创建、托管和查询向量嵌入,演示了一个可搜索的 FAQ 系统。
使用 Hugging Face Optimum 将 Transformers 转换为 ONNX
Hugging Face 提供了三种将 Transformers 模型转换为 ONNX 的方法,范围从低层的 torch.onnx API 到高层的 Optimum 库。
OpenAI 大模型进化(ELM)研究
OpenAI 推出大模型进化(ELM),一种利用大型语言模型(LLM)通过模拟人类式代码变异来改进遗传编程,从而在新领域生成功能性程序的方法。
英特尔与 Hugging Face 的机器学习硬件加速合作
英特尔已加入 Hugging Face 硬件合作伙伴计划,开发 Optimum Intel 库,实现对英特尔平台上 Transformer 模型的训练、微调和推理的简化硬件加速。
Hugging Face 机器学习洞察总监:金融版
来自美国银行、加拿大皇家银行(RBC)和穆迪分析的专家讨论了机器学习如何通过欺诈检测和个性化产品改变金融业,同时应对遗留系统和监管要求等挑战。
AI 编写的批评帮助人类注意到缺陷
OpenAI 的研究表明,AI 生成的批评帮助人类评估者显著识别出更多摘要中的缺陷,暗示了一条可扩展的人类监督复杂 AI 任务的路径。
OpenAI 大型神经网络训练技术
OpenAI 概述了主要的并行策略——数据并行、流水线并行、张量并行和专家并行——以及用于在 GPU 集群上训练大规模 AI 模型的内存节省技术。
使用《太空侵略者》的深度 Q 学习
Hugging Face 解释了深度 Q 学习(DQN),这是一种使用神经网络来近似 Q 值的强化学习方法,适用于像 Atari 游戏这样的高维状态空间。
注释扩散模型 – DDPM 实现的详细演练
Hugging Face 发布了一个带注释的、逐步的 PyTorch 实现,演示了去噪扩散概率模型(DDPM)的构建、训练和采样,用于图像生成。
OpenAI、Cohere 和 AI21 Labs 部署语言模型的最佳实践
OpenAI、Cohere 和 AI21 Labs 发布了一套联合的初步最佳实践,旨在负责任地开发和部署大型语言模型,以降低风险并防止滥用。
OpenAI 研究:教模型用文字表达不确定性
OpenAI 研究人员展示了 GPT-3 可以在不依赖模型 logits 的情况下,通过自然语言表达其答案的校准不确定性。
Graphcore 和 Hugging Face 扩展 IPU 就绪的 Transformer 模型
Graphcore 和 Hugging Face 已将 Hugging Face Optimum 库扩展至包括 10 种针对 Graphcore IPU 优化的 Transformer 模型,覆盖 NLP、语音和计算机视觉。
Hugging Face Hub 社区更新:拉取请求和讨论
Hugging Face 已在 Hub 中引入拉取请求和讨论功能,使社区能够在模型、数据集和 Spaces 上进行协作,无需创建仓库 fork。
OpenAI Codex 应用与集成
OpenAI Codex 是基于 GPT-3 的自然语言转代码系统,支持超过 70 个应用,包括 GitHub Copilot,通过将英文指令转换为代码来提升开发者的生产力。
TAPEX:通过神经SQL执行实现高效表格预训练
TAPEX是一种表格预训练方法,利用合成的SQL执行对,实现了在表格问答和事实验证任务上的最新水平(SOTA)结果,并且相较于以往方法显著提升了效率。
Hugging Face 对 Q 学习的介绍
Hugging Face 提供了一份关于 Q 学习的技术指南,Q 学习是一种离策略、基于价值的强化学习方法,使用 Q 表来确定最优的状态-动作对。
Hugging Face 多模态项目伦理宪章
Hugging Face 为其多模态学习项目制定了伦理宪章,将伦理原则、透明性和公平性直接融入机器学习研究生命周期。
Sempre Health 案例研究:通过 Hugging Face 专家加速计划加速 NLP 流水线
Sempre Health 利用 Hugging Face 专家加速计划部署了一个 NLP 流水线,自动处理超过 20% 的入站患者消息,显著提升了业务可扩展性。
OpenAI DALL·E 2 研究预览更新
OpenAI 正在以每周 1,000 人的速度向等候名单用户扩大 DALL·E 2 的访问权限,此前的有限研究预览已生成超过 300 万张图像。
Hugging Face 深度强化学习课程 第2单元 第1部分:Q学习概念简介
Hugging Face 发布了其深度强化学习课程的第一部分,阐述了基于价值的方法、贝尔曼方程以及 Monte‑Carlo 与 Temporal‑Difference 学习,为 Q‑Learning 打下基础。
Hugging Face 奖学金计划公告
Hugging Face 推出了奖学金计划,通过资源、认可和定制化支持,帮助并赋能开源机器学习生态系统的关键贡献者。
机器学习专家访谈 Sasha Luccioni——关于伦理 AI 与气候影响的要点
Hugging Face 采访了研究科学家 Sasha Luccioni,她讨论了自己在伦理 AI、碳足迹测量以及将机器学习应用于气候和社会挑战方面的工作。
Gradio 3.0 发布说明
Hugging Face 已发布 Gradio 3.0,包含完整的前端重新设计,并引入 Gradio Blocks,用于在 Python 中构建复杂的自定义机器学习网页应用。
Hugging Face 学生大使计划 2022
Hugging Face 已启动首个学生大使计划,以帮助实现其在 2023 年向 500 万人教授机器学习的目标。
Hugging Face 机器学习洞察总监:SaaS 版
Hugging Face 采访了来自 Salesforce、Amplitude、ZoomInfo 和 Repustate 的四位机器学习总监,讨论将机器学习集成到 SaaS 产品中的实际挑战、常见陷阱和未来机遇。
Optimum 1.2 推理发布 添加 ONNX Runtime 加速管道
Hugging Face 宣布了 Optimum 1.2,新增了通过 ONNX Runtime 的推理支持和 Transformers 管道集成,实现更快、量化和优化的模型服务。
Hugging Face C轮融资公告
Hugging Face 获得了 1亿美元的 C 轮融资,以通过开源研究、产品和协作式机器学习加速 AI 的民主化。
fastai 与 Hugging Face Hub 的集成
Hugging Face 已将 fastai 库集成到平台,使实践者能够仅用一行 Python 代码直接将 fastai Learner 对象上传到 Hugging Face Hub 或从中下载。
OpenAI 领导团队更新
OpenAI 宣布了 Greg Brockman、Brad Lightcap、Mira Murati 和 Chris Clark 的执行职务变动,以使领导层与公司的增长和战略里程碑保持一致。
Hugging Face 深度强化学习简介
Hugging Face 发布了一个免费深度强化学习入门教程,涵盖核心 RL 概念、RL 框架、探索‑利用权衡、基于策略与基于价值的方法,以及深度神经网络在 RL 中的融合。
使用 PyTorch Fully Sharded Data Parallel 加速大模型训练
Hugging Face 将 PyTorch Fully Sharded Data Parallel (FSDP) 集成到了 Accelerate 库中,通过在 GPU 之间分片优化器状态、梯度和参数,并提供可选的 CPU offloading,从而实现了海量模型的训练。
使用 Kili 和 HuggingFace AutoTrain 进行观点分类
Hugging Face 演示了如何使用 Kili 进行数据标注并利用 AutoTrain 自动化模型训练,构建文本分类的主动学习流水线。
Hugging Face 机器学习总监洞察 – 行业视角
Hugging Face 发布了一系列对六位机器学习总监的访谈,分享了 ML 如何在媒体、制药、科学、物流、营销和能源领域产生变革,同时突显了共同的挑战和未来机遇。
在 Habana Gaudi 上使用 Transformers 入门
Hugging Face 与 Habana Labs 合作,加速 Transformer 模型训练,相较于基于 GPU 的 Amazon EC2 实例,Habana Gaudi 加速器提供高达 40% 的性价比提升。
使用机器学习提升客户服务
Hugging Face 展示了如何使用微调的 DeBERTa-v3-base 模型以及 Transformers 和 Datasets 库来自动化过滤不满意的客户反馈。
Hugging Face 教育计划 2022 启动
Hugging Face 于 2022 年 4 月宣布了一项多轨教育计划,目标是在 2023 年底前向 500 万人教授机器学习,为学习者、教师以及更广泛的公众提供免费资源。
Hugging Face Hub 碳排放追踪
Hugging Face 引入了工具,以跟踪、报告和基于 CO2 排放量过滤机器学习模型,从而提升 AI 领域的环境透明度。
衡量 AI 对齐中的古德哈特定律
OpenAI 探讨了在 AI 模型中优化代理目标如何导致真实目标性能下降,这一现象被称为古德哈特定律,并提出将 best-of-n 采样作为分析方法。
层次化文本条件图像生成与 CLIP 潜在向量
OpenAI 推出了一种两阶段生成模型,使用先验从文本生成 CLIP 图像嵌入,再通过解码器从这些嵌入生成图像,从而提升了多样性并实现了零样本图像操作。
Lewis Tunstall 访谈 – Hugging Face 机器学习专家
Hugging Face 宣布了对机器学习工程师 Lewis Tunstall 的详细访谈,重点介绍了他在 Transformers 库上的工作、新出版的《NLP with Transformers》一书以及不断扩展的 Hugging Face 课程。
Habana Labs 与 Hugging Face 的变压器模型训练合作伙伴关系
Habana Labs 与 Hugging Face 已将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 库集成,以加速在 Habana Gaudi 处理器上进行变压器模型的训练。
Hugging Face Transformers 设计哲学
Hugging Face 为 Transformers 库采用了“一模型文件”政策,刻意摒弃 DRY(不要重复自己)原则,以优先保证可读性、社区贡献以及静态机器学习模型的稳定性。