kermitt2/delft

何を解決するか

DeLFT は、テキスト処理のためのディープラーニングフレームワークであり、特にシーケンスラベリング（名前付きエンティティタグ付けなど）およびテキスト分類をターゲットとしています。多くのNLPツールが単純なテキストしか扱えないという制限に対処するため、PDFやHTMLファイルなどの構造化ドキュメント内の位置、フォントスタイル、レイアウト情報と関連付けられた「リッチテキスト」をネイティブにサポートします。

動作方法

Keras と TensorFlow を基盤として構築されており、RNN や Transformers などの最先端のディープラーニングアーキテクチャを実装しています。HuggingFace の Transformers を Keras レイヤーとして統合し、メモリに収まらない大規模なデータセットを処理するための動的データジェネレータを使用しています。プロダクション環境向けに最適化するため、単語埋め込みを削除することで RNN モデルのサイズを大幅に削減し、モデルのサイズをしばしば 2 MB 未満にまで小さくしています。

対象ユーザー

複雑な構造化ドキュメント上で高性能なシーケンスラベリングやテキスト分類を実行したい開発者や研究者、および NLP モデルの再現可能なベンチマーク環境を必要とする人向けです。

主な特徴

• リッチテキスト対応: 構造化ドキュメントから得られるレイアウト情報や記号的文脈情報を備えたトークンを処理します。
• モデル圧縮: RNN モデルのサイズを大幅に削減（例：230 MB → 1.8 MB）し、デプロイを容易にします。
• プロダクション対応: LMDB を通じた事前学習埋め込みの効率的な読み込みにより、パフォーマンスと信頼性に最適化されています。
• 包括的な評価: 標準的なメトリクスと n-fold クロスバリデーションを内蔵した評価フレームワークを提供します。
• HuggingFace 統合: Transformer ベースのモデルを Keras レイヤーとしてシームレスに統合できます。