BaruqueRodrigues/llm-legislativo

🏛️ 브라질 입법 언어 모델 – 빠른 개요

정의: 브라질 의회(하원 및 상원)의 전체 공공 입법 코퍼스에서 처음부터 훈련된 연구용 오픈소스 인과 언어 모델(디코더 전용 트랜스포머). 이 프로젝트는 데이터 파이프라인, 토크나이저, 모델 아키텍처, 훈련 루프, 평가를 모두 자체적으로 구축하며, PyTorch(Hugging Face Trainer 사용 안 함)와 몇 가지 보조 도구만 사용합니다.

주요 구성 요소

• 데이터: 법안, 수정안, 보고서, 투표 등을 포함하는 360GiB 이상의 원시 TAR 아카이브(약 93만 문서). 데이터는 다운로드, OCR 처리(Swift + Apple Vision), 중복 제거, 관련 입법 텍스트의 "패밀리"로 연결, 결정론적 분할(80/10/10)로 훈련/검증/테스트 간 누출이 없습니다.
• 토크나이저: 바이트 수준 BPE, 8192 토큰 어휘, 훈련 분할에서만 훈련.
• 모델: 순수 PyTorch 트랜스포머 디코더(6계층, 6헤드, d-model = 384, 컨텍스트 = 512 토큰). 가중치 공유, GELU, 패딩을 올바르게 처리하기 위한 분석적으로 스케일링된 크로스 엔트로피 손실을 구현.
• 훈련: NVIDIA A100(Google Colab)에서 173k 스텝, 12.5억 토큰 처리. 체크포인트는 SHA-256 해시로 저장되어 암호화 감사 가능성을 보장.
• 평가: 맞춤형 byte_nll_v1 메트릭(약 0.73 nats/바이트, 1.05 bits/바이트)을 71k 문서의 보류 테스트 세트에서 사용, 토큰당 혼란도 약 8-9 보고.
• 산출물: 모든 데이터셋(원시, 추출, 큐레이션)과 최종 모델(safetensors, 토크나이저, 설정)은 Hugging Face Hub에 공개.

사용 방법

import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from legislm.model.gpt import GPTModel
from legislm.model.config import ModelConfig
from tokenizers import Tokenizer

# 모델 및 토크나이저 다운로드
weights = hf_hub_download('BaruqRodrigues/llm-legislativo', 'model.safetensors')
tokenizer_file = hf_hub_download('BaruqRodrigues/llm-legislativo', 'tokenizer.json')

# 모델 설정
cfg = ModelConfig(vocab_size=8192, context_length=512, d_model=384,
                  n_layers=6, n_heads=6, tie_embeddings=True)
model = GPTModel(cfg)
model.load_state_dict(load_file(weights))
model.eval()

tokenizer = Tokenizer.from_file(tokenizer_file)
prompt = "PROJETO DE LEI Nº , DE 2026\n\nDispõe sobre"
ids = torch.tensor([tokenizer.encode(prompt).ids])

with torch.no_grad():
    out = model.generate(ids, max_new_tokens=64, temperature=0.7, top_k=40)
print(tokenizer.decode(out[0].tolist()))

이 코드는 추가 라이브러리 없이 사전 훈련된 가중치를 직접 로드하며, 포르투갈어 입법 스타일 텍스트를 생성할 수 있습니다.

중요성

• 대규모 도메인 특화 언어 모델링을 위한 풀스택, 재현 가능한 파이프라인을 보여줍니다.
• 국가 입법 코퍼스에서 훈련된 드물게 공개된 모델을 제공하며, 법률 언어, 정책 분석 또는 다운스트림 도구(예: 문서 요약, 질의응답) 구축 연구에 유용합니다 – 법적 조언에는 사용하지 마십시오.
• 과학적 엄격성을 강조: 암호화 무결성 검사, 결정론적 분할, 투명한 평가.

윤리적 참고 이 모델은 입법 초안의 통계적 패턴을 포착하지만 사실을 환각할 수 있습니다. 자격을 갖춘 법률 고문을 대체해서는 안 됩니다.

---

라이선스: 코드는 MIT, 원본 문서는 브라질 공공 도메인 입법 텍스트입니다.