wisent-ai/ster
해결하는 문제
Ster는 오픈 웨이트 언어 모델의 내부 동작을 이해하고 영향을 미치는 방법을 제공합니다. 특정 특성에 해당하는 내부 신호(은닉 상태)를 식별하고, 생성 중에 해당 신호를 조정하여 모델의 출력을 "제어"할 수 있게 합니다.
작동 방식
Ster는 Transformer 레이어에서 은닉 상태를 읽는 네이티브 Rust 툴킷으로 작동합니다. 대조적인 예제를 사용하여 모델의 내부 표현 내에서 특정 특성의 방향을 학습합니다. 일단 식별되면, 이러한 방향을 사용하여 모델의 생성을 제어할 수 있습니다. 또한, 지도 미세 조정, 선호도 최적화, 보상 모델링과 같은 다양한 방법을 사용하여 LoRA 어댑터를 학습하는 것을 지원하며, 이러한 결과를 병합하고 검사하는 도구도 제공합니다.
대상 사용자
외부 호스팅 API나 블랙박스 서비스에 의존하지 않고 모델 동작, 해석 가능성, 미세 조정을 세밀하게 제어해야 하는 로컬 오픈 웨이트 언어 모델을 다루는 개발자와 연구자를 위해 설계되었습니다.
주요 특징
- 광범위한 오픈 웨이트 Transformer 아키텍처 지원.
- 특성별 방향을 식별하고 적용하여 활성화 제어 가능.
- 선호도 최적화 및 보상 모델링을 포함한 LoRA 어댑터 학습 도구 제공.
- 텍스트를 생성하지 않고 모델의 내부 상태에서 직접 질문에 대한 답변을 추출하는 "결정" 모드 제공.
- Metal 및 CUDA 백엔드를 지원하여 로컬 머신에서 완전히 실행 가능.
관련
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- 프로젝트