forrany/Awesome-Ollama-Server

这是一个用于监控和检测 Ollama 服务可用性和性能的系统。它提供了一个现代化的 Web 界面,支持多语言(中文/英文),并具有实时检测和数据展示功能。

它解决了什么问题

这个项目提供了一个用于 Ollama 服务的监控和检测系统。它允许用户跟踪多个 Ollama 实例的可用性和性能,确保它们在线并处于最佳运行状态。

它如何工作

该系统使用 Next.js 14 网页界面来检测和监控 Ollama 服务。它可以批量检测服务地址,测试响应时间和 TPS(每秒事务数),并列出这些服务上的可用模型。它还支持自动 FOFA 扫描以发现服务。

适用人群

专为需要管理或研究多个 Ollama 服务器同日可用性和性能的用户和管理员设计。

主要特性

  • 服务检测:批量检测 Ollama 服务,实时更新状态,并支持导出结果。
  • 性能监控:可视化响应时间和 TPS 数据。
  • 模型过滤:可根据服务托管的模型及其性能指标进行过滤和排序。
  • 多语言支持:界面完全支持中文和英文。
  • 灵活部署:支持标准 Node.js 安装和 Docker Compose 快速部署。

相关

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch