logan-markewich/jeff

解決する問題

専有のTypeSafe Jev System One APIに代わる、セルフホストで費用対効果の高い代替手段を提供します。開発者は、公式のTypeSafe SDKと互換性のあるローカルまたはクラウドデプロイされたモデルを使用して、トーン、緊急度、バイナリのyes/noラベルなどの分類タスクを実行できます。

仕組み

GLiFormer（400Mパラメータ）モデルを使用してテキスト入力を処理し、構造化された分類質問に回答します。このプロジェクトには、Jev APIを模倣したFastAPIベースのサーバーが含まれており、ユーザーは公式エンドポイントを自分のインスタンスに置き換えることができます。複数のバックエンド（PyTorchまたはONNX）、ハードウェアアクセラレーション（CUDA、MPS、CPU）をサポートし、Modalなどのプラットフォームに簡単にデプロイできます。

対象者

TypeSafeスタイルの分類をアプリケーションに統合したいが、コストを削減し、データプライバシーを維持し、またはサードパーティのホスト型APIへの依存を避けたい開発者。

ハイライト

• 公式のtypesafe-sdkと互換性があり、ドロップイン置換が可能。
• choice、score、noul（はい/いいえの確率）分類タイプをサポート。
• GPU（L4）またはCPUでのデプロイに最適化され、高いリクエストスループットを処理するためのバッチ処理をサポート。
• モデル精度、レート制限、ハードウェア固有の最適化のための包括的な構成が含まれています。