aliemo/transfomers-silicon-research
Research and Materials on Hardware implementation of Transformer Model
요약
Transformer Models Silicon Research는 Transformer 스타일 신경망(예: BERT, LLMs, Vision-Transformers)을 실제 실리콘(ASIC, FPGA, 메모리 내 처리 칩 및 기타 맞춤형 가속기)에 매핑한 논문을 수집하는 커뮤니티 관리형 카탈로그입니다. 이 저장소는 데이터를 단일 YAML 파일에 저장하고, 검색 가능한 정적 웹사이트를 자동으로 생성하며, 매주 GitHub-Actions 파이프라인을 실행하여 OpenAlex/arXiv에서 새로운 항목을 가져와 인간의 검토를 위한 풀 리퀘스트를 생성합니다.
프로젝트의 실제 기능
| 기능 | 작동 방식 (README 설명 기준) |
|---|---|
| 논문 카탈로그 | data/papers.yaml에 약 580개의 항목을 보유 (2024-06 기준). 각 항목은 DOI, 학회, 연도, 하드웨어 플랫폼, 모델 태그 및 3단계 검토 상태 (Pass 1-3)를 기록합니다. |
| 생성물 | Python 스크립트 (scripts/generator.py)가 YAML을 읽어 사람이 읽을 수 있는 README.md, CSV 내보내기 파일 및 간단한 그래프를 생성합니다. |
| 정적 웹사이트 | website/build.py가 카탈로그를 GitHub Pages에서 호스팅되는 필터링 가능한 HTML 사이트로 변환합니다. 사용자는 연도, 학회, 하드웨어 플랫폼, 모델 및 검토 상태별로 필터링할 수 있습니다. |
| 주간 수집 파이프라인 | GitHub Action이 매주 월요일에 실행됩니다. OpenAlex와 arXiv에서 최근 논문을 쿼리하고, transformer 하드웨어를 언급하는 논문을 필터링하여 YAML에 추가(ignore: check 및 review_pass: 1 부여)한 뒤 사이트를 재생성하고 PR(auto/papers-ingest)을 생성합니다. |
| 로컬 관리 UI | scripts/admin_server.py를 실행(pip install -r requirements.txt 후)하면 작은 웹 UI(http://127.0.0.1:8787/admin/)가 실행되어 큐레이터가 항목을 승인/거부하고 Pass 1-3 단계를 진행할 수 있습니다. |
| 기여 워크플로우 | 기여자가 papers.yaml에 항목을 추가하거나 수정하여 PR을 보내면 CI가 자동으로 사이트를 재구축합니다. |
| 선택적 AI 분류 | 파이프라인은 Groq 또는 Gemini API를 사용하여 휴리스틱한 "AI 보조" 관련성 검사를 수행할 수 있지만, API 없이도 작동합니다. |
이 프로젝트가 유용한 대상
- 하드웨어 연구자: Transformer 워크로드의 이전 실리콘 구현 사례를 찾는 분.
- 실리콘 설계자 (ASIC/FPGA 팀): 이미 구축된 내용에 대한 문헌 조사가 필요한 분.
- 학생 또는 조사 보고서 작성자: Transformer-on-Silicon 논문의 큐레이션된 서지 정보가 필요한 분.
- 도구 개발자: 하드웨어 논문을 분류하는 모델을 학습시키기 위한 데이터셋(
papers.yaml/ CSV)이 필요한 분.
로컬에서 시작하는 방법
# Clone the repo
git clone https://github.com/aliemo/transfomers-silicon-research.git
cd transfomers-silicon-research
# Install the tiny Python environment
pip install -r requirements.txt
# Re-build the website (outputs to website/dist)
python website/build.py
# Open the generated index.html in a browser
# Run the admin UI for curation
python scripts/admin_server.py # then visit http://127.0.0.1:8787/admin/
제한 사항 / 참고 사항
- 이 카탈로그는 큐레이션된 것이며, 포괄적이지 않습니다. 항목을 "실리콘"으로 표시하거나 무시하는 것은 인간 검토자의 판단에 의존합니다.
- 자동 수집은 기본적으로 최근 약 21일간의 데이터만 확인합니다. 더 오래된 데이터를 가져오려면 수동으로 실행해야 합니다 (
scripts/pipeline/fetch_papers.py). - 사이트는 정적이며 서버 측 검색은 없고 클라이언트 측 필터링만 가능합니다.
- 실제 하드웨어 설계나 코드는 제공되지 않으며, 이 저장소는 서지/메타데이터 서비스입니다.
요약
실제 하드웨어에서 Transformer 계열 모델을 구현한 논문을 체계적으로 정리하고 자동으로 업데이트하는 서지 정보 서비스입니다. 검색 가능한 웹 프론트엔드와 커뮤니티 큐레이션을 위한 간단한 UI를 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트