BaruqueRodrigues/llm-legislativo

🏛️ ブラジル立法言語モデル – クイック概要

概要: ブラジル議会（下院と上院）の公共立法コーパス全体でゼロから学習した、研究グレードのオープンソース因果言語モデル（デコーダーのみのトランスフォーマー）。このプロジェクトは、データパイプライン、トークナイザー、モデルアーキテクチャ、トレーニングループ、評価をすべて社内で構築し、PyTorch（Hugging Face Trainerは不使用）と少数の補助ツールのみを使用しています。

主要コンポーネント

• データ: 法案、修正案、報告書、投票などを含む360 GiB以上の生TARアーカイブ（約93万文書）。データはダウンロードされ、OCR処理（Swift + Apple Vision）、重複排除、関連する立法テキストの「ファミリー」にリンクされ、決定論的に分割（80/10/10）され、トレーニング/検証/テスト間のリークはゼロです。
• トークナイザー: バイトレベルBPE、8192トークンの語彙、トレーニング分割のみで学習。
• モデル: 純PyTorchトランスフォーマーデコーダー（6層、6ヘッド、d-model = 384、コンテキスト = 512トークン）。重み共有、GELU、パディングを正しく処理するための解析的にスケーリングされたクロスエントロピー損失を実装。
• トレーニング: NVIDIA A100（Google Colab）で173kステップ実行し、12.5億トークンを処理。チェックポイントはSHA-256ハッシュで保存され、暗号学的監査可能性を確保。
• 評価: カスタムのbyte_nll_v1メトリック（約0.73 nats/バイト、1.05 bits/バイト）を71k文書の保留テストセットで使用し、トークンあたりの困惑度は約8〜9。
• 成果物: すべてのデータセット（生、抽出、キュレーション）と最終モデル（safetensors、トークナイザー、設定）はHugging Face Hubで公開。

使用方法

import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from legislm.model.gpt import GPTModel
from legislm.model.config import ModelConfig
from tokenizers import Tokenizer

# モデルとトークナイザーをダウンロード
weights = hf_hub_download('BaruqRodrigues/llm-legislativo', 'model.safetensors')
tokenizer_file = hf_hub_download('BaruqRodrigues/llm-legislativo', 'tokenizer.json')

# モデルを設定
cfg = ModelConfig(vocab_size=8192, context_length=512, d_model=384,
                  n_layers=6, n_heads=6, tie_embeddings=True)
model = GPTModel(cfg)
model.load_state_dict(load_file(weights))
model.eval()

tokenizer = Tokenizer.from_file(tokenizer_file)
prompt = "PROJETO DE LEI Nº , DE 2026\n\nDispõe sobre"
ids = torch.tensor([tokenizer.encode(prompt).ids])

with torch.no_grad():
    out = model.generate(ids, max_new_tokens=64, temperature=0.7, top_k=40)
print(tokenizer.decode(out[0].tolist()))

このコードは追加ライブラリなしで事前学習済みの重みを直接読み込み、ポルトガル語の立法スタイルのテキストを生成できます。

重要性

• 大規模なドメイン固有言語モデリングのためのフルスタックで再現可能なパイプラインを示します。
• 国の立法コーパスで学習した、まれに公開されているモデルを提供し、法律言語、政策分析、または下流ツール（文書要約、質問応答など）の構築の研究に役立ちます – 法的助言には使用しないでください。
• 科学的厳密性を強調：暗号学的整合性チェック、決定論的分割、透明な評価。

倫理的注意 このモデルは立法起草の統計的パターンを捉えますが、事実を幻覚することがあります。資格のある法律顧問の代わりになるべきではありません。

---

ライセンス: コードはMIT、ソース文書はブラジルのパブリックドメインの立法テキストです。