lofcz/LLMTornado

해결하는 문제

LLM Tornado는 AI 에이전트와 워크플로우 개발을 간소화하기 위해 설계된 .NET SDK입니다. 프로바이더에 의존하지 않는 인터페이스를 제공하여 여러 개의 공식 SDK를 통합할 필요 없이, 모델 이름만 바꾸면 OpenAI, Anthropic, Google 등 다양한 AI 프로바이더 간에 쉽게 전환할 수 있는 애플리케이션을 구축할 수 있습니다.

작동 방식

이 SDK는 30개 이상의 API 프로바이더 및 벡터 데이터베이스에 내장된 연결 기능을 제공합니다. 추론, 오케스트레이션, 다중 모달 입력/출력에 대해 통합된 API를 사용합니다. 에이전트 동작을 위해 Orchestrator(그래프), Runner(노드), Advancer(엣지) 기반의 오케스트레이션 시스템을 구현했습니다. 또한 데이터 소스 연결을 위한 Model Context Protocol (MCP) 및 크로스플랫폼 협업을 위한 Agent2Agent (A2A)와 같은 최신 프로토콜도 지원합니다.

대상 사용자

간단한 챗봇부터 자율 에이전트, 엔터프라이즈 수준의 AI 워크플로우까지 .NET 기반 AI 애플리케이션을 개발하는 개발자들입니다.

주요 특징

• 프로바이더 비의존성: Alibaba, Anthropic, Azure, DeepSeek, Google, Groq, OpenAI 등 30개 이상의 프로바이더용 내장 연결.
• 로컬 배포 지원: vLLM, Ollama, LocalAI와의 통합 지원.
• 에이전트 오케스트레이션: 전문 에이전트를 조율하는 도구로 병렬 실행 및 Mermaid 내보내기 기능 지원.
• 다중 모달 기능: 텍스트, 이미지, 동영상, 문서, URL, 오디오를 지원.
• 벡터 데이터베이스 통합: Chroma, PgVector, Pinecone, Faiss, QDrant와의 연결.
• 엔터프라이즈 기능: 가드레일 프레임워크, Open Telemetry 지원, 요청 변환 기능 포함.
• 상호 운용성: Microsoft.Extensions.AI 및 Semantic Kernel과 호환됩니다.