ZJU-REAL/EasySteer

해결하는 문제

EasySteer는 LLM 조작의 성능과 확장성 부족을 해결합니다. 개발자는 모델의 가중치를 재학습하거나 변경하지 않고도 추론 중에 은닉 상태에 조작 벡터를 적용함으로써 모델의 행동(안전성, 추론 능력, 스타일 등)을 변경할 수 있으며, 동시에 높은 서빙 속도를 유지합니다.

작동 방식

vLLM의 고성능 포크로 구축된 EasySteer는 추론 엔진에 직접 조작 메커니즘을 통합합니다. 조작 벡터(모델의 은닉 상태 공간 내 방향)를 사용하여 모델의 행동을 조정합니다. 이 프레임워크는 은닉 상태, 어텐션 출력, MoE 라우터 로짓을 캡처하는 파이프라인을 제공하며, PCA나 선형 탐색 또는 네이티브 조작 어댑터 학습을 통해 이러한 벡터를 추출하는 도구도 포함합니다.

대상 사용자

표현 공학, 모델 안전성, 대규모 언어 모델 및 시각-언어 모델(VLM)의 행동 제어에 집중하는 AI 연구자 및 개발자에게 적합합니다.

주요 특징

• vLLM 통합: 연속 배치 및 CUDA 그래프 지원을 활용해 다른 조작 프레임워크 대비 10.8~22.3배의 성능 향상을 달성합니다.
• 세밀한 제어: 토큰 수준, 위치 기반, 다중 벡터 조작을 지원합니다.
• 포괄적인 도구 세트: 내부 상태 캡처, 조작 벡터 추출, 어댑터 학습을 위한 모듈을 포함합니다.
• 광범위한 호환성: 표준 LLM, VLM, 그리고 Mixture-of-Experts(MoE) 모델을 지원합니다.
• 즉시 사용 가능한 자산: 안전성, 추론 등 8개의 다양한 도메인용 사전 계산된 조작 벡터를 제공합니다.