huggingface/swift-transformers

解決する課題

開発者が言語モデルを Swift アプリケーションに統合するのを支援する一連のユーティリティを提供し、Python の transformers ライブラリに似た馴染みのある API を Swift エコシステムにもたらします。

仕組み

このライブラリは、いくつかの特化したモジュールを提供します：

• Tokenizers: テキストのトークン化とチャットテンプレートを処理し、ツール呼び出し形式のネイティブサポートも含まれます。
• Hub: 進捗報告と接続処理を備え、Hugging Face Hub からモデルや設定ファイルを直接、迅速かつ確実にダウンロードできるようにします。
• Models & Generation: デバイス上での実行のために、CoreML 内で言語モデルを扱うためのユーティリティを提供します。

対象者

Hugging Face エコシステムのコアロジックを Swift で書き直すことなく、アプリにデバイス上での機械学習および言語モデル機能を実装したい Swift 開発者。

ハイライト

• 慣習的な Swift API: Python の transformers ライブラリのユーザーにとって馴染みのある設計になっています。
• よりスマートなダウンロード: 確実なモデル取得のための Hub モジュールと、並列ダウンロードのためのオプションの Xet トレイトが含まれています。
• CoreML 統合: ネットワークリクエストを回避するために、コンパイルされた CoreML モデルとオフライントークナイザーをロードする組み込みサポートを提供します。
• ツール呼び出しのサポート: 外部ツールを伴う複雑なモデルインタラクションのためのネイティブなフォーマットを提供します。