huggingface/swift-transformers

Swift Package to implement a transformers-like API in Swift

解决的问题

它提供了一套工具，帮助开发者将语言模型集成到 Swift 应用程序中，为 Swift 生态系统带来了类似于 Python transformers 库的熟悉 API。

工作原理

该库提供了几个专门的模块：

  • Tokenizers：处理文本分词和聊天模板，包括对工具调用（tool calling）格式的原生支持。
  • Hub：支持从 Hugging Face Hub 直接快速、可靠地下载模型和配置文件，并提供进度报告和连接处理。
  • Models & Generation：提供专门用于在 CoreML 中进行设备端执行的语言模型处理工具。

适用对象

希望在应用中实现设备端机器学习和语言模型功能，而无需在 Swift 中重写 Hugging Face 生态系统核心逻辑的 Swift 开发者。

亮点

  • 惯用的 Swift API：设计上让 Python transformers 库的用户感到熟悉。
  • 更智能的下载：包含用于可靠获取模型的 Hub 模块以及用于并行下载的可选 Xet 特性。
  • CoreML 集成：内置支持加载编译后的 CoreML 模型和离线分词器，以避免网络请求。
  • 工具调用支持：为涉及外部工具的复杂模型交互提供原生格式化支持。

相关

  • Dispatch
    Swift Transformers 发布：在 Apple 设备上运行 On-Device LLMs

    Hugging Face 发布了 alpha版 swift-transformers Swift 包、swift-chat 演示应用、已更新的 exporters 和 transformers-to-coreml 工具，以及 Llama 2 7B 和 Falcon 7B 的 Core ML 版本，使开发者能够在 Apple 应用中运行设备端 LLMs。

  • Dispatch
    Swift Transformers 1.0 发布说明 / 新功能

    Hugging Face 发布了 Swift Transformers 1.0，这是一款稳定的库，提供分词器、Hub 访问和模型包装器，简化了 Apple Silicon 开发者本地 LLM 的集成。

  • Dispatch
    swift-huggingface 发行说明 / 新功能

    Hugging Face 已发布 swift-huggingface，这是一个面向 Hugging Face Hub 的全面 Swift 客户端，引入了可靠的模型下载、与 Python 兼容的缓存以及 OAuth 2.0 支持。

  • 项目
    huggingface/huggingface_hub

    The official Python client for the Hugging Face Hub, enabling users to download, upload, and manage open-source ML models, datasets, and demo apps.

  • 项目
    eastriverlee/LLM.swift

    一个在 Apple 平台上运行本地 LLM 的 Swift 库，提供结构化输出、工具使用和思考链推理的高级抽象。