IBM/aihwkit
IBM Analog Hardware Acceleration Kit
解决的问题
IBM Analog Hardware Acceleration Kit (aihwkit) 解决了“冯·诺依曼瓶颈”问题，即在独立的内存和计算单元之间传输数据所造成的效率损失。它支持探索和模拟模拟内存内计算 (AIMC) 硬件，让计算直接在数据存储处进行，从而显著提升 AI 工作负载的速度和能源效率。
运作原理
该工具包提供了一个高性能的 C++ 模拟器 (支持 CUDA)，用于建模模拟设备 (如相变内存或 RRAM) 的物理特性以及交叉开关配置。它与 PyTorch 直接集成，允许用户将标准神经网络层替换为模拟版本 (全连接层、卷积层、LSTM)，并使用专门的模拟优化器 (如 AnalogSGD)。
目标客群
适合希望模拟模拟 AI 硬件、执行硬件感知训练以增强模型对物理噪声和非理想特性鲁棒性的 AI 研究人员与硬件工程师，或用于探索内存内计算设备的材料规格。
特色亮点
- PyTorch 集成：在 PyTorch 中无缝使用模拟神经网络模块和训练工作流程。
- 硬件感知训练：在正向传播中纳入噪声和非理想特性，确保模型能在真实的模拟硬件上运行。
- 高性能模拟器：支持 CUDA 的 C++ 模拟器，用于建模设备波动、ADC/DAC 离散化以及随机更新脉冲序列。
- 模型转换：自动将预训练的标准模型转换为等效模拟模型的工具。
- 广泛的硬件支持：通过 CUDA 支持 NVIDIA GPU，并通过 ROCm/HIP 支持 AMD GPU。
相关
- 项目
qualcomm/aimetAIMET 是 Qualcomm 开发的用于量化和压缩 PyTorch/ONNX 模型的开源工具包，能够在以极小的精度损失实现边缘设备上的快速、低内存推理。
- 项目
pytorch/benchmarkPyTorch Benchmarks 是一组标准化、轻量级的流行深度学习模型（如 BERT、ResNet、Stable Diffusion 等）的集合，可用于衡量不同 PyTorch 构建、CUDA 版本和后端的性能。它提供统一 API、安装脚本、多种运行器（简单测试、pytest-benchmark、自定义用户基准）以及用于在 AWS g4dn.metal 实例上进行低噪声调优的实用工具。
- Dispatch
- 项目
DashAISoftware/dashAIdashAI 是一个跨平台的图形化工具箱，用于训练、评估和部署现代 AI 模型（特别是 LLM）。它提供开箱即用的安装程序、PyPI 包和 Docker 镜像，支持仅 CPU 以及 CUDA/ROCm GPU 加速，并包含实验管理、数据集处理和数据库迁移功能。
- 项目
SYSTRAN/faster-whisperfaster-whisper 是一个 Python 库，使用高性能的 CTranslate2 推理引擎重新实现了 OpenAI 的 Whisper 语音转文字模型。它提供高达 4 倍的转录速度，同时保持相似的准确性，支持 CPU、GPU 和 8 位量化，并提供词级时间戳、VAD 过滤和批量推理等功能。可通过 pip 安装，选择模型大小（例如“large-v3”），使用指定的设备/精度创建 WhisperModel，然后调用 `transcribe`。非常适合实时字幕、批量处理，或任何需要 Whisper 质量转录且要求更低延迟和内存使用的项目。