aliemo/transfomers-silicon-research
Research and Materials on Hardware implementation of Transformer Model
快速摘要
Transformer Models Silicon Research 是一个由社区维护的论文目录,收录了将 Transformer 风格神经网络(例如 BERT、LLMs、Vision-Transformers)映射到真实硅芯片(如 ASIC、FPGA、内存内处理芯片及其他定制加速器)的研究。该仓库将数据存储在单个 YAML 文件中,自动生成可搜索的静态网站,并运行每周一次的 GitHub-Actions 流水线,从 OpenAlex/arXiv 抓取新条目并开启 Pull Request 以供人工审核。
项目实际功能
| 功能 | 运作方式 (如 README 所述) |
|---|---|
| 论文目录 | data/papers.yaml 包含约 580 条条目 (2024-06 快照)。每条条目记录 DOI、发表场地、年份、硬件平台、模型标签以及三阶段审核状态 (Pass 1-3)。 |
| 生成输出 | Python 脚本 (scripts/generator.py) 读取 YAML 并生成人类可读的 README.md、CSV 导出文件及简单的图表。 |
| 静态网站 | website/build.py 将目录转换为托管于 GitHub Pages 的可筛选 HTML 网站。用户可按年份、场地、硬件平台、模型及审核状态进行筛选。 |
| 每周抓取流水线 | GitHub Action 每周一执行。它会查询 OpenAlex 和 arXiv 获取近期论文,筛选提及 transformer 硬件的论文,将其附加到 YAML 中并标记 ignore: check 和 review_pass: 1,然后重新生成网站并开启 PR (auto/papers-ingest)。 |
| 本地管理界面 | 运行 scripts/admin_server.py (在 pip install -r requirements.txt 之后) 以获得小型网页界面 (http://127.0.0.1:8787/admin/),整理者可在该处接受/拒绝条目并推进其审核进度 (Pass 1-3)。 |
| 贡献工作流 | 贡献者在 papers.yaml 中新增或编辑条目,推送 PR,CI 将自动重建网站。 |
| 可选 AI 筛选 | 流水线可使用 Groq 或 Gemini API 进行启发式“AI 辅助”相关性检查,但即使没有这些 API 也能运作。 |
谁会觉得这很有用?
- 硬件研究人员:寻找 Transformer 工作负载的先前硅实现方案。
- 硅芯片设计师 (ASIC/FPGA 团队):需要快速浏览已构建内容的文献调查。
- 学生或调查报告撰写者:需要一份关于 Transformer-on-Silicon 论文的整理书目。
- 工具开发者:需要现成的数据集 (
papers.yaml/ CSV) 来训练硬件论文分类模型。
如何在本地开始
# Clone the repo
git clone https://github.com/aliemo/transfomers-silicon-research.git
cd transfomers-silicon-research
# Install the tiny Python environment
pip install -r requirements.txt
# Re-build the website (outputs to website/dist)
python website/build.py
# Open the generated index.html in a browser
# Run the admin UI for curation
python scripts/admin_server.py # then visit http://127.0.0.1:8787/admin/
限制 / 注意事项
- 此目录是经过整理的,而非详尽无遗;它依赖人工审核员将条目标记为“硅”或忽略它们。
- 自动抓取默认仅回溯约 21 天;更深入的历史抓取必须手动执行 (
scripts/pipeline/fetch_papers.py)。 - 网站是静态的 – 没有服务器端搜索,仅有客户端筛选。
- 不提供实际的硬件设计或代码;该仓库是一个书目/元数据服务。
总结
这是一个组织良好、自动更新的书目,收录了在真实硬件上实现 Transformer 系列模型的论文,并配备可搜索的网页前端及用于社区整理的简单界面。
相关
- 项目
- 项目
- 项目
- 项目