SciSharp/LLamaSharp

해결하는 문제

LLamaSharp는 수동으로 C++ 코드를 컴파일할 필요 없이 LLaMA와 같은 대규모 언어 모델(LLM)을 장치에서 로컬로 실행할 수 있는 방법을 제공합니다. 고수준 API와 Retrieval-Augmented Generation(RAG) 지원을 통해 LLM을 애플리케이션에 쉽게 배포할 수 있습니다.

작동 방식

이것은 llama.cpp를 기반으로 한 C# 라이브러리로, CPU와 GPU 모두에서 효율적인 추론을 가능하게 합니다. 모델 실행의 중량 작업을 처리하기 위해 Windows, Linux, Mac용 네이티브 '백엔드'(사전 컴파일된 라이브러리)를 사용합니다. 이 라이브러리는 메모리 사용량을 줄이기 위해 PyTorch 또는 Huggingface 형식의 모델을 양자화한 GGUF 모델 형식을 지원합니다.

대상 사용자

.NET 애플리케이션에 로컬 LLM을 통합하고자 하는 개발자, 특히 데스크톱 앱(WPF), 웹 앱(ASP.NET, Blazor), 게임 엔진(Unity)을 개발하는 사람들을 대상으로 합니다.

주요 특징

• 크로스플랫폼 지원: Windows, Linux, Mac에서 작동합니다.
• 하드웨어 가속: CPU, CUDA, Metal, Vulkan 백엔드를 지원하여 GPU 오프로드를 가능하게 합니다.
• RAG 지원: Retrieval-Augmented Generation 기능을 내장하고 있습니다.
• 다중 모달 기능: LLaVA와 같은 다중 모달 모델을 지원합니다.
• 광범위한 모델 호환성: Llama 3.1, Gemma, DeepSeek R1 등 GGUF 형식으로 호환되는 다양한 모델과 호환됩니다.