apple/foundation-models-utilities

해결하는 문제

이 패키지는 Apple Foundation Models 프레임워크 내에서 대규모 언어 모델(LLM)의 통합과 관리를 간소화하기 위한 유틸리티 세트를 제공합니다. 특히 긴 대화 기록 관리, 다양한 호스팅된 모델 서버에 연결, 모델의 컨텍스트 창을 오염시키지 않고 작업별 지시를 추가하는 문제를 해결합니다.

작동 방식

이 라이브러리는 세 가지 주요 구성 요소를 제공합니다:

• ChatCompletionsLanguageModel: 어떤 챗 완성 REST API를 구현한 서버에도 연결할 수 있는 클라이언트로, 다양한 오픈소스 LLM 도구와 호환됩니다.
• 히스토리 관리: 트랜스크립트를 압축하여 컨텍스트 창 오버플로우를 방지하는 프로파일 수정자 세트입니다. 롤링 윈도우, 이전 상호작용 요약, 완료된 도구 호출 삭제 등의 전략을 통해 구현됩니다.
• 스킬: 세션에 즉시 지시를 추가하는 시스템입니다. 스킬은 프롬프트로 추가(키-밸류 캐시를 무효화하지 않음)하거나 지시로 추가(고우선순위이지만 캐시를 무효화할 수 있음)할 수 있습니다. 모델은 도구 호출을 통해 이러한 스킬을 활성화할 수 있으며, 지시 기반 스킬은 선택적으로 비활성화하여 컨텍스트 오염을 추가로 줄일 수 있습니다.

대상 사용자

Apple 플랫폼 또는 지원되는 Linux 배포판에서 Foundation Models 프레임워크를 사용하여 AI 기반 애플리케이션을 개발하는 Swift 개발자입니다.

주요 특징

• REST API 호환성: 어떤 챗 완성 호환 서버에도 연결 가능합니다.
• 유연한 히스토리 압축: 롤링 윈도우 및 요약을 조합할 수 있는 전략입니다.
• 동적 컨텍스트 관리: 시간 대 첫 번째 토큰 최적화 및 컨텍스트 오염 감소를 위한 즉시 '스킬' 제공.
• 크로스플랫폼 지원: Apple 플랫폼 및 Ubuntu 등 일부 Linux 배포판에서 작동합니다.