logan-markewich/jeff

解决的问题

它提供了专有的TypeSafe Jev System One API的自托管、成本效益高的替代方案。它允许开发者使用与官方TypeSafe SDK兼容的本地或云部署模型来执行分类任务，例如确定语气、紧急程度或二元是/否标签。

工作原理

它使用GLiFormer（400M参数）模型来处理文本输入并回答结构化分类问题。该项目包含一个基于FastAPI的服务器，模拟Jev API，允许用户将官方端点替换为自己的实例。它支持多种后端（PyTorch或ONNX）、硬件加速（CUDA、MPS、CPU），并且可以轻松部署在Modal等平台上。

适用人群

希望将TypeSafe风格的分类集成到其应用程序中，但需要降低成本、维护数据隐私或避免依赖第三方托管API的开发者。

亮点

• 与官方typesafe-sdk兼容，可直接替换。
• 支持choice、score和noul（是/否概率）分类类型。
• 针对GPU（L4）或CPU部署进行了优化，支持批处理以处理高请求吞吐量。
• 包含模型精度、速率限制和硬件特定优化的全面配置。