wisent-ai/ster

解决的问题

Ster 提供了一种理解和影响开源权重语言模型内部行为的方法。它帮助你识别对应于特定特征的内部信号(隐藏状态),然后允许你在生成过程中通过调整这些信号来“引导”模型的输出。

工作原理

Ster 是一个原生的 Rust 工具包,用于读取 Transformer 层中的隐藏状态。它使用对比示例来学习模型内部表示中特定特征的方向。一旦确定,这些方向就可以用来引导模型的生成。此外,它还支持使用监督微调、偏好优化和奖励建模等多种方法训练 LoRA 适配器,并提供合并和检查这些结果的工具。

适用人群

它专为使用本地开源权重语言模型的开发者和研究人员设计,他们需要在不依赖外部托管 API 或黑盒服务的情况下,对模型行为、可解释性和微调进行精细控制。

亮点

  • 支持广泛的开源权重 Transformer 架构。
  • 通过识别和应用特定特征方向来实现激活引导。
  • 提供 LoRA 适配器训练工具,包括偏好优化和奖励建模。
  • 提供一种“决策”模式,无需生成文本即可直接从模型的内部状态中提取问题的答案。
  • 完全在你的机器上本地运行,支持 Metal 和 CUDA 后端。

相关