aliemo/transfomers-silicon-research
Research and Materials on Hardware implementation of Transformer Model
クイックサマリー
Transformer Models Silicon Research は、Transformerスタイルのニューラルネットワーク（BERT、LLMs、Vision-Transformersなど）を実際のシリコン（ASIC、FPGA、メモリ内処理チップ、その他のカスタムアクセラレータ）にマッピングした論文を収集するコミュニティ管理型のカタログです。リポジトリはデータを単一の YAML ファイルに保存し、検索可能な静的ウェブサイトを自動生成します。また、毎週 GitHub-Actions パイプラインを実行して OpenAlex/arXiv から新しいエントリを取得し、人間によるレビューのためにプルリクエストを作成します。
プロジェクトの実際の機能
| 機能 | 仕組み (READMEの記述通り) |
|---|---|
| 論文カタログ | data/papers.yaml に約580件のエントリを保持 (2024-06時点)。各エントリには DOI、会場、年、ハードウェアプラットフォーム、モデルタグ、3段階のレビュー状況 (Pass 1-3) が記録されています。 |
| 生成物 | Python スクリプト (scripts/generator.py) が YAML を読み込み、人間が読める README.md、CSV エクスポート、および簡単なグラフを生成します。 |
| 静的ウェブサイト | website/build.py がカタログを GitHub Pages でホストされるフィルタリング可能な HTML サイトに変換します。ユーザーは年、会場、ハードウェアプラットフォーム、モデル、レビュー状況でフィルタリングできます。 |
| 毎週の取り込みパイプライン | GitHub Action が毎週月曜日に実行されます。OpenAlex と arXiv で最近の論文をクエリし、transformer ハードウェアに言及しているものをフィルタリングして YAML に追加（ignore: check および review_pass: 1 を付与）し、サイトを再生成して PR (auto/papers-ingest) を作成します。 |
| ローカル管理UI | scripts/admin_server.py を実行（pip install -r requirements.txt 後）すると、小さなウェブ UI (http://127.0.0.1:8787/admin/) が立ち上がり、キュレーターがエントリの承認/拒否や Pass 1-3 の進捗管理を行えます。 |
| 貢献ワークフロー | 貢献者が papers.yaml にエントリを追加・編集して PR を送ると、CI が自動的にサイトを再構築します。 |
| オプションのAIトリアージ | パイプラインは Groq や Gemini API を使用してヒューリスティックな「AI支援」による関連性チェックを行えますが、これらなしでも動作します。 |
このプロジェクトが役立つ人
- ハードウェア研究者：Transformer ワークロードの過去のシリコン実装を探している方。
- シリコン設計者 (ASIC/FPGA チーム)：すでに構築された内容の文献調査を素早く行いたい方。
- 学生や調査執筆者：Transformer-on-Silicon 論文のキュレーション済み書誌が必要な方。
- ツール開発者：ハードウェア論文を分類するモデルを学習させるためのデータセット (
papers.yaml/ CSV) を探している方。
ローカルでの開始方法
# Clone the repo
git clone https://github.com/aliemo/transfomers-silicon-research.git
cd transfomers-silicon-research
# Install the tiny Python environment
pip install -r requirements.txt
# Re-build the website (outputs to website/dist)
python website/build.py
# Open the generated index.html in a browser
# Run the admin UI for curation
python scripts/admin_server.py # then visit http://127.0.0.1:8787/admin/
制限事項 / 注意点
- このカタログはキュレーションされたものであり、網羅的ではありません。エントリを「シリコン」とマークするか無視するかは人間のレビュー担当者に依存します。
- 自動取り込みはデフォルトで過去約21日間のみを遡ります。より深い過去のデータ取得は手動で実行する必要があります (
scripts/pipeline/fetch_papers.py)。 - サイトは静的であり、サーバーサイド検索はなく、クライアントサイドのフィルタリングのみです。
- 実際のハードウェア設計やコードは提供されません。このリポジトリは書誌/メタデータサービスです。
概要
実際のハードウェア上で Transformer ファミリーモデルを実装した論文の、整理され自動更新される書誌。検索可能なウェブフロントエンドと、コミュニティ管理用のシンプルな UI を備えています。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト