langchain-ai/langsmith-sdk

LangSmith Client SDK Implementations

何を解決するか

チームが言語モデルやインテリジェントエージェントのデバッグ、評価、監視を行うための手段を提供します。複雑なLLMアプリケーション内の正確な動作状況を把握することが難しいという課題に対処し、正常に動作していることを確認できます。

仕組み

SDKは開発者がLangSmithをアプリケーションに統合できるようにします。@traceableなどのラッパーまたはデコレータを使用することで、LLM呼び出しやエージェントロジックの実行トレースを収集し、LangSmithプラットフォームに送信して分析できます。

対象ユーザー

モデルのパフォーマンスや挙動を可視化したい、LLM駆動のアプリケーションやインテリジェントエージェントを開発している開発者。

主な特徴

  • LangChain PythonおよびJSライブラリとのネイティブ統合。
  • PythonおよびJavaScript/TypeScript環境をサポート。
  • 既存のLLMクライアント（例：OpenAI）をラップして、呼び出しを自動的にトレース可能。

関連

  • プロジェクト
    langfuse/langfuse-python

    LLMアプリケーション向けに、可観測性、トレーシング、プロンプト管理、評価ツールを提供するLangfuseプラットフォーム用のPython SDK。

  • プロジェクト
    langwatch/langwatch

    LangWatchは、LLMの可観測性、テスト、ルーティング、ガバナンスのためのオープンコアプラットフォームです。チームは、すべてのLLM呼び出しを追跡し、シミュレーションテストを実行し、プロンプトを管理し、予算付きの仮想キーを適用し、コーディングアシスタント、LangChainスタイルのエージェント、主要なモデルプロバイダーにわたって使用状況レポートを取得できます。

  • プロジェクト
    JudgmentLabs/judgeval

    LLM駆動のアプリケーションのための失敗検出と修正の検証を可能にする、オープンソースのPython SDK。OpenTelemetryトレーシングとエージェントジャッジ評価を提供。

  • プロジェクト
    lmstudio-ai/lmstudio-js

    LM Studio用の公式TypeScript/JavaScript SDK。ローカルLLMをアプリケーションに高度なモデル管理機能とエージェント機能を備えて統合できるようにします。

  • プロジェクト
    traceloop/openllmetry

    OpenTelemetry 上に構築されたオープンソースの可観測性フレームワークで、LLM アプリケーション、プロバイダー、ベクトルデータベースに対して完全なトレースとモニタリングを提供します。