InseeFrLab/onyxia

🔬 Data science environment for k8s

解决的问题

Onyxia 为数据科学家提供了一个集中式的 Web 界面，用于在 Kubernetes 集群上部署和管理其工作环境。它消除了数据科学家手动配置复杂基础设施的需求，使他们能够按需启动各种数据科学工具（如 Jupyter 和 RStudio）。

工作原理

Onyxia 作为各种开源后端技术之间的「粘合层」。它允许用户从 Helm 图表目录中启动容器，具备以下功能：

  • 资源分配：用户可以指定其会话所需的 CPU、内存和 GPU 资源数量。
  • 自定义：用户可以定义环境变量和自定义初始化脚本，这些脚本将在启动时执行。
  • 集成：与 S3 深度集成用于数据存储，与 Vault 集成用于密钥管理，与 Keycloak 集成用于身份验证。

适用对象

使用 Kubernetes 为研究和分析提供可扩展、按需工作环境的数据科学家和组织。

主要亮点

  • 按需环境：通过 Helm 图表启动 Jupyter、RStudio 及其他工具。
  • GPU 支持：可直接控制容器的 GPU 分配。
  • 企业级集成：内置对 S3、Vault 和 Keycloak 的支持。
  • 配置管理：支持保存和恢复服务配置。

相关

  • 项目
    odysseus-dev/odysseus

    一个将邮件、日历、笔记等工具与 AI 功能集成的统一自托管 AI 工作区，可在私有环境中管理数字生活和 AI 工作流。

  • 项目
    dell/omnia

    Omnia 是 Dell 开发的开源 Ansible 基础工具包，可自动配置 Linux 服务器、安装驱动程序，并部署 Slurm 或 Kubernetes 以及 AI/ML 框架。它简化了 HPC 或本地 AI 集群的构建，采用 Apache 2.0 许可证，由包括 Dell、Intel、大学及其他合作伙伴在内的社区积极维护。

  • 项目
    omnigent-ai/omnigent

    一个开源的元框架，为多个 AI 代理提供通用的编排层，实现跨设备同步和云端沙盒环境。

  • 项目
    lablup/backend.ai

    Backend.AI是一个开源的、基于容器的集群平台，用于运行AI/ML工作负载。它在异构加速器上调度隔离的计算会话（Jupyter、VS Code、SSH等），提供虚拟文件夹存储层，并公开REST/GraphQL API以及Python/Java/JS SDK。通过单一脚本安装，启动Manager/Agent/Storage/Web服务，并使用CLI或Web UI启动会话。LGPL-v3服务器代码，MIT客户端SDK。

  • 项目
    onyx-dot-app/onyx

    Onyx 是一个开源、可自托管的平台，能索引超过 50 种工作应用程序的数据，建立混合向量关键词存储库，并通过代理（agents）将这些知识提供给 LLM。它支持网络搜索、沙盒代码执行、外部操作、语音交互，并可与任何主流 LLM 提供商搭配使用。可通过 Docker/Kubernetes（标准或轻量级 Lite 模式）部署，并提供 MIT 授权的社区版，以及针对大型团队的企业版附加组件。