huggingface/setfit

Efficient few-shot learning with Sentence Transformers

解决的问题

SetFit 解决了在微调语言模型进行文本分类时需要大量标注数据或复杂的人工设计提示词的问题。它允许用户在每类仅需极少标注样本(少样本学习)的情况下实现高准确率,而无需依赖通常与此方法相关联的大规模模型。

工作原理

SetFit 是一个无提示框架,它通过微调 Sentence Transformers 来生成丰富的文本嵌入。它不依赖 verbalizer 或提示词,而是在这些嵌入之上训练一个分类头(来自 scikit-learn 或可微的 PyTorch 头)来执行文本分类。

适用人群

需要以最少的标注数据和快速的训练及推理时间构建高性能文本分类器的开发者和数据科学家。

亮点

  • 无提示: 消除了对人工设计提示词或 verbalizer 的需求。
  • 高效: 与 GPT-3 或 T0 等大规模少样本模型相比,训练和运行推理的速度显著提升。
  • 多语言: 支持 Hugging Face Hub 上的任何 Sentence Transformer,可实现跨多种语言的分类。
  • Hugging Face 集成: 与 Hugging Face Hub 完全集成,可轻松加载、训练和推送模型。

相关

  • 项目
  • 项目
  • 项目
  • 项目