Helicone/helicone

🧊 Open source LLM observability platform. One line of code to monitor, evaluate, and experiment. YC W23 🍓

What it solves

Heliconeは、AIエンジニアがLLMアプリケーションを監視、管理、最適化するための集中プラットフォームを提供します。複数のAIプロバイダーにまたがるコスト、レイテンシ、品質の追跡の複雑さや、プロンプト管理と異なるモデル間のリクエストルーティングの難しさに対処します。

How it works

HeliconeはAIゲートウェイ兼観測プラットフォームとして機能します。コード内の baseURL をHeliconeのゲートウェイに変更するだけで、1つのAPIキーで100以上のAIモデルへリクエストをルーティングできます。プラットフォームはすべてのリクエストとレスポンスを記録し、ダッシュボード上でトレース、セッション、メトリクスを確認できます。また、コード変更なしでプロンプトのバージョン管理とデプロイが可能なツールも提供します。

Who it’s for

チャットボット、エージェント、文書処理パイプラインを構築するAIエンジニアで、LLMの使用状況を統一的に観測し、モデルルーティングを管理したい方。

Highlights

  • AI Gateway: 100以上のプロバイダーに対応した統一API。インテリジェントなルーティングと自動フェイルバックを実装。
  • Observability: エージェントやパイプラインのデバッグに役立つ詳細なトレースとセッション追跡。
  • Prompt Management: コード変更なしで、プロダクションデータを用いたプロンプトのバージョン管理とデプロイが可能。
  • Analytics: コスト、レイテンシ、品質の追跡と、PostHogへのエクスポート機能を提供。
  • Broad Integration: OpenAI、Anthropic、Gemini、Groq など多数の推論プロバイダーや、LangChain、LlamaIndex、CrewAI などのフレームワークをサポート。