ZJU-REAL/EasySteer

解决的问题

EasySteer 解决了 LLM 控制在性能和可扩展性方面的差距。开发者可以通过在推理过程中向模型的隐藏状态应用控制向量，修改模型行为（如安全性、推理能力或风格），而无需重新训练或更改模型权重，同时保持高服务速度。

工作原理

EasySteer 作为 vLLM 的高性能分支构建，将控制机制直接集成到推理引擎中。它使用控制向量——模型隐藏状态空间中的方向——来改变模型行为。该框架提供了一个用于捕获隐藏状态、注意力输出和 MoE 路由器 logits 的管道，以及通过 PCA 或线性探测等方法提取这些向量，或训练原生控制适配器的工具。

适用人群

专为关注表示工程、模型安全性和大语言模型及视觉-语言模型（VLM）行为控制的 AI 研究人员和开发者设计。

主要亮点

• vLLM 集成：通过利用 vLLM 的连续批处理和 CUDA 图支持，相比其他控制框架实现 10.8–22.3 倍的加速。
• 细粒度控制：支持 token 级别、位置特定和多向量控制。
• 全面的工具链：包含用于捕获内部状态、提取控制向量和训练适配器的模块。
• 广泛兼容性：支持标准 LLM、VLM 和混合专家（MoE）模型。
• 开箱即用的资产：提供八个不同领域（包括安全性和推理）的预计算控制向量。