zhongkaifu/TensorSharp

TensorSharp – .NET 기반 로컬 LLM 추론 엔진

소개 – TensorSharp은 GGUF 형식의 LLM을 로컬에서 실행하는 .NET 10 라이브러리입니다. 명령줄 도구, Ollama/OpenAI API를 모방한 웹 서버, 또는 모든 .NET 애플리케이션에 내장하여 사용할 수 있습니다. 이 엔진은 순수 C# CPU 커널과 CUDA, Metal, Vulkan용 네이티브 백엔드를 제공하여 GPU 유무와 관계없이 Windows, macOS, Linux에서 실행할 수 있습니다.

주요 기능

• 모델 지원 – 수십 가지의 텍스트, 추론 및 멀티모달 제품군(Gemma 4, Qwen 3.x, DeepSeek V4, Mistral 3 등)과 확산 모델 기반 텍스트-이미지 변환, 이미지 편집, 영상-오디오 생성 및 임베딩 모델을 지원합니다.
• 백엔드 – ggml_cpu (순수 C#), ggml_cpu 네이티브, ggml_cuda, ggml_metal, ggml_vulkan. 하드웨어에 맞는 백엔드를 선택할 수 있습니다.
• 서빙 기능 – 연속 배치 처리 (continuous batching), 접두사 공유가 포함된 페이징 KV 캐시, 추측 디코딩 (speculative decoding), 텐서 병렬 처리 (tensor-parallelism), 도구 호출/에이전트 스킬.
• API – CLI (TensorSharp.Cli), Ollama 및 OpenAI 호환 엔드포인트를 노출하는 웹 UI/서버 (TensorSharp.Server.Host), 그리고 파일, 셸 및 문서 도구 워크플로우를 추가하는 TensorAgent 데스크톱/모바일 앱.
• 성능 – llama.cpp와 벤치마크 비교 시, RTX 3080 노트북 GPU에서 TensorSharp은 여러 모델에 대해 프리필 (pre-fill) 및 디코딩 속도가 1.0~1.3배 더 빠릅니다.

시작하기

1. 운영체제에 맞는 빌드된 릴리스(CPU 또는 CUDA 버전)를 다운로드합니다.
2. GGUF 모델(예: HuggingFace의 Gemma 4 E4B)을 가져옵니다.
3. CLI를 실행합니다:

   dotnet run --project TensorSharp.Cli -- --model models\gemma-4-E4B-it-Q8_0.gguf \
       --backend ggml_cuda --input prompt.txt --max-tokens 128
   

   (Apple Silicon에서는 ggml_metal, AMD/Intel GPU에서는 ggml_vulkan, CPU 전용인 경우 ggml_cpu를 사용하세요).
4. 서버를 노출하려면 TensorSharp.Server.Host를 실행합니다. 0.0.0.0:5000에서 수신 대기하며 브라우저 채팅 UI와 API 엔드포인트를 제공합니다.
5. 완전한 데스크톱 경험을 원하시면 TensorAgent(macOS용 DMG/PKG, Windows용 MSI/ZIP)를 설치하세요. 앱에는 런타임이 번들로 포함되어 있어 모델 다운로드, 파일 첨부, 에이전트 스킬 실행이 가능합니다.

대상 사용자 – Python 중심 스택에 의존하지 않고 로컬에서 LLM을 실행하려는 .NET 개발자, 그리고 CLI, Web-API, 네이티브 데스크톱/모바일 클라이언트 전반에서 작동하는 단일 엔진이 필요한 모든 분.

문서 및 리소스 – 저장소에는 상세한 문서가 포함되어 있습니다: 퀵스타트 가이드, 백엔드 선택 표, 모델 제품군 카드, 기능 심층 분석(연속 배치 처리, 추측 디코딩, 에이전트 스킬), 벤치마크 표, 그리고 코드를 상세히 다루는 Amazon 출판 도서 2권으로 연결되는 "도서 가이드".

라이선스 – 저장소의 LICENSE 파일을 참조하세요(표준 오픈 소스 약관).

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것이며, 외부적인 가정은 추가되지 않았습니다.