microsoft/onnxruntime-genai

해결하는 문제

ONNX 모델을 위한 생성형 AI 루프를 구현합니다. KV 캐시 관리, 로지트 처리, 검색 및 샘플링, 그리고 전/후처리를 포함합니다. CPU, CUDA, DirectML, OpenVINO, QNN, WebGPU 등 다양한 하드웨어 가속 옵션을 지원하며, Llama, Phi, Mistral, Gemma 등의 다양한 모델 아키텍처를 지원합니다.

작동 방식

ONNX 모델을 위한 생성형 AI 루프를 구현합니다. 이는 KV 캐시 관리, 로지트 처리, 검색 및 샘플링, 전/후처리를 포함합니다. 다양한 하드웨어 가속 옵션(CPU, CUDA, DirectML, OpenVINO, QNN, WebGPU)과 Llama, Phi, Mistral, Gemma 등 다양한 모델 아키텍처를 지원합니다.

대상 사용자

ONNX Runtime을 사용하여 생성형 AI 기능을 애플리케이션에 통합하고 싶은 개발자. Linux, Windows, Mac, Android 등 다양한 운영체제와 x86, x64, arm64 등 다양한 하드웨어 아키텍처를 대상으로 합니다.

주요 특징

• 멀티-LoRA 지원
• 제약 및 연속 디코딩
• Llama, Phi, Mistral 등을 포함한 광범위한 모델 아키텍처 지원
• Python, C#, C/C++, Java용 크로스플랫폼 API 지원
• CUDA 및 DirectML을 포함한 풍부한 하드웨어 가속 옵션