EthicalML/awesome-production-machine-learning

A curated list of awesome open source libraries to deploy, monitor, version and scale your machine learning

它是什么： 一个由社区维护的精选开源库列表，用于在生产环境中运行机器学习（ML）——不是用于构建模型，而是用于模型训练后的一切：部署、监控、版本跟踪、扩展和安全保障。

它包含什么： 该列表按大约25个类别组织，每个类别都有指向具体工具的链接。类别包括AutoML、数据管道、部署和服务、评估和监控、可解释性和公平性、特征存储、模型训练和编排、隐私和安全，以及针对计算机视觉、自然语言处理、推荐系统和强化学习等专业领域的多个“行业级”部分。

它如何保持更新： 该项目每月发布新增库的摘要，因此您可以关注仓库以获取更新。它还提供了一个单独的搜索工具包（托管在Hugging Face上），以便快速浏览工具链。

如何贡献： 有一个CONTRIBUTING.md文件，其中包含提交拉取请求的要求，README强调社区支持列表的稳定增长。

额外资源： README链接到一个10分钟的ML操作视频概述（以及一个更新的2024版本）、一个拥有超过70,000订阅者的机器学习工程师通讯，以及一个名为“Awesome Production GenAI”的配套列表，用于生成式AI应用。

底线： 如果您是需要在生产ML任务中找到合适开源工具的从业者——无论是服务模型、跟踪实验还是监控性能——这是一个组织良好、积极更新的目录，值得浏览。

相关

  • 项目
    confident-ai/deepeval

    DeepEval 是一个开源的 Python 框架，允许你为任何基于 LLM 的应用（如聊天机器人、代理、RAG 管道或多模态生成器）编写 pytest 风格的测试。它附带数十种基于研究的指标（例如 G-Eval、JevEval、任务完成度、幻觉、偏见），可以在任何模型上本地运行，并且你可以添加自定义指标。该库与流行的工具包（LangChain、OpenAI、Anthropic、LlamaIndex 等）集成，自动跟踪模型调用，实现端到端和步骤级评估。测试从命令行运行，适合 CI/CD，并可连接到商业的 Confident AI 平台进行生产环境监控。非常适合需要为 LLM 应用提供定量质量门的开发者和团队。

  • 项目
    DataTalksClub/mlops-zoomcamp

    一个免费、开源、为期 9 周的课程，教授将机器学习模型投入生产的 MLOps 技能。适合有一定编程经验的数据科学家和工程师。目前为自定进度；实时队列暂停，但曾提供证书。

  • 项目
    openobserve/openobserve

    OpenObserve 是一个开源的云原生可观测性平台，将日志、指标、追踪、RUM 和 AI 监控整合在一个工具中，声称通过 Parquet 列式存储和 S3 原生设计，存储成本比 Elasticsearch 低 140 倍。它提供了 Datadog、Splunk 和 Elasticsearch 的经济高效、可自托管的替代方案，支持单二进制部署和 OpenTelemetry 原生支持。

  • 项目
    comet-ml/opik

    一个用于 AI 代理追踪、提示词管理和生产监控的开源 LLM 可观测性与评估平台。