huggingface/swift-transformers

解決する課題

swift-transformers は、Swift開発者がHugging Faceの言語モデルをアプリケーションに統合するための、ネイティブで慣用的な方法を提供します。これは、広く普及しているPythonベースの transformers エコシステムとSwift/Appleエコシステムの間のギャップを埋め、トークン化、モデルのダウンロード、デバイス上のモデルとの対話といったタスクを簡素化します。

仕組み

このライブラリは、Pythonの transformers ライブラリの機能を反映した一連のSwiftモジュールを提供します。テキスト処理用の Tokenizers モジュール、進捗追跡とエラー処理を組み込んでHugging Face Hubからモデルをダウンロードするための Hub モジュール、そしてAppleのCoreMLフレームワークを介してモデルを実行するためのユーティリティを提供する Models/Generation モジュールが含まれています。async/await のような最新のSwift機能をサポートしており、Swift Package Managerを通じてプロジェクトに統合できます。

対象ユーザー

このプロジェクトは、Hugging Faceモデルを使用してデバイス上でAIアプリケーションを構築したいiOS、macOS、およびvisionOSの開発者、特にパフォーマンスのためにCoreMLを活用したい開発者を対象としています。

ハイライト

• Pythonの transformers ライブラリの経験があるユーザーにとって馴染み深いAPI。
• トークン化とチャットテンプレート（ツール呼び出しフォーマットを含む）のネイティブサポート。
• 進捗報告機能を備えたHugging Face Hubからの堅牢なモデルダウンロードと、Xetによるオプションの高性能転送。
• コンパイル済みのCoreMLモデルをローカルで読み込み、実行するためのユーティリティ。
• Swift Package Managerとの互換性による容易なプロジェクト統合。