ashhart/TensorFold

해결하는 문제

TensorFold는 Apple Silicon 및 NVIDIA GPU에서 언어 모델을 제공하기 위한 고성능의 독립적인 방법을 제공하며, Python이나 MLX 설치가 필요 없습니다. 체크포인트 읽기, 토큰화, 커널 실행을 직접 처리하는 네이티브 바이너리를 제공하여 특정 자격을 갖춘 모델의 배포를 간소화합니다.

작동 방식

Zig로 구축된 이 엔진은 Metal 또는 CUDA 커널을 직접 실행하여 모델 가중치를 실행합니다. 채팅 완성을 위한 OpenAI 호환 API와 Anthropic Messages를 지원합니다. 주요 기술 기능은 다음과 같습니다:

• Living Weights: 실행 중인 모델이 체크포인트 파일에 직접 새 사실을 기록하여 학습할 수 있는 실험적 기능으로, 학습된 정보를 재시작 후에도 영구적으로 유지합니다.
• Context Compaction: 컨텍스트 창을 초과하는 요청을 거부하는 대신, 오래된 대화 턴을 "메모리 노트"로 요약하고 최근 턴은 그대로 유지합니다.
• Exact Decoding: 초안 작성된 응답이 네이티브 엔진의 참조 출력과 정확히 일치하도록 보장합니다.
• Prompt Caching: 유지 접두사 예산을 지원하여 일반적인 프롬프트 접두사 처리를 가속화합니다.

대상 사용자

macOS(M1-M5) 또는 Linux(NVIDIA Ampere/Blackwell)에서 최소한의 종속성과 높은 효율로 LLM을 로컬에서 실행하려는 개발자 및 사용자.

주요 특징

• 제로 Python 종속성: 네이티브 Zig 바이너리로 모델을 제공합니다.
• Living Weights: 새 사실을 모델 가중치에 실시간으로 영구 학습할 수 있습니다.
• uma 3D 시각화: 사실이 뉴런과 레이어에 어떻게 통합되는지 모니터링하는 3D 뷰가 포함되어 있습니다.
• 광범위한 하드웨어 지원: Apple Silicon(Metal) 및 NVIDIA GPU(CUDA)에 최적화되어 있습니다.
• 컨텍스트 관리: 컨텍스트 오버플로를 방지하기 위한 지능형 압축.