IBM/aihwkit
IBM Analog Hardware Acceleration Kit
해결하는 문제
IBM Analog Hardware Acceleration Kit (aihwkit)은 별도의 메모리와 연산 장치 간의 데이터 이동으로 인해 발생하는 효율성 저하인 '폰 노이만 병목 현상'을 해결합니다. 데이터가 저장된 곳에서 직접 연산이 수행되는 아날로그 인메모리 컴퓨팅(AIMC) 하드웨어를 탐색하고 시뮬레이션할 수 있게 하여, AI 워크로드의 속도와 에너지 효율성을 크게 향상시킵니다.
작동 방식
이 툴킷은 아날로그 장치(상변화 메모리나 RRAM 등)의 물리적 특성과 크로스바 구성을 모델링하는 고성능 C++ 시뮬레이터(CUDA 지원)를 제공합니다. PyTorch와 직접 통합되어 사용자가 표준 신경망 레이어를 아날로그 버전(완전 연결, 컨볼루션, LSTM)으로 교체하고 특수 아날로그 옵티마이저(AnalogSGD 등)를 사용할 수 있도록 합니다.
대상 사용자
아날로그 AI 하드웨어를 시뮬레이션하고, 물리적 노이즈 및 비이상적 특성에 강건한 모델을 만들기 위해 하드웨어 인식 학습을 수행하거나, 인메모리 컴퓨팅 장치의 재료 사양을 탐색하려는 AI 연구원 및 하드웨어 엔지니어를 위한 도구입니다.
주요 특징
- PyTorch 통합: PyTorch 내에서 아날로그 신경망 모듈과 학습 워크플로우를 원활하게 사용 가능.
- 하드웨어 인식 학습: 순방향 패스에 노이즈와 비이상적 특성을 포함하여 실제 아날로그 하드웨어에서 모델이 작동하도록 보장.
- 고성능 시뮬레이터: 장치 변동, ADC/DAC 이산화, 확률적 업데이트 펄스 트레인을 모델링하기 위한 CUDA 지원 C++ 시뮬레이터.
- 모델 변환: 사전 학습된 표준 모델을 동등한 아날로그 모델로 자동 변환하는 유틸리티.
- 광범위한 하드웨어 지원: CUDA를 통한 NVIDIA GPU 및 ROCm/HIP을 통한 AMD GPU 지원.
관련
- 프로젝트
qualcomm/aimetAIMET는 PyTorch/ONNX 모델을 양자화하고 압축하는 Qualcomm의 오픈 소스 툴킷으로, 정확도 손실을 최소화하면서 엣지 디바이스에서 빠르고 메모리 사용량이 적은 추론을 가능하게 합니다.
- 프로젝트
pytorch/benchmarkPyTorch Benchmarks 는 BERT, ResNet, Stable Diffusion 등 인기 있는 딥러닝 모델의 표준화되고 가벼운 버전 모음으로, 다양한 PyTorch 빌드, CUDA 버전, 백엔드의 성능을 측정하기 위해 실행할 수 있습니다. 일관된 API, 설치 스크립트, 여러 러너(간단한 테스트, pytest-benchmark, 사용자 정의 사용자 벤치마크)와 함께 AWS g4dn.metal 인스턴스에서 낮은 노이즈 튜닝을 위한 유틸리티도 제공합니다.
- Dispatch
- 프로젝트
DashAISoftware/dashAIdashAI는 최신 AI 모델(특히 LLM)을 학습, 평가 및 배포하기 위한 크로스 플랫폼 그래픽 툴박스입니다. 즉시 실행 가능한 설치 프로그램, PyPI 패키지 및 Docker 이미지를 제공하며, CPU 전용 및 CUDA/ROCm GPU 가속을 지원하고 실험 관리, 데이터셋 처리, 데이터베이스 마이그레이션 기능을 포함합니다.
- 프로젝트
SYSTRAN/faster-whisperfaster-whisper는 고성능 CTranslate2 추론 엔진을 사용하여 OpenAI의 Whisper 음성-텍스트 모델을 재구현한 Python 라이브러리입니다. 유사한 정확도로 최대 4배 빠른 전사를 제공하며, CPU, GPU 및 8비트 양자화를 지원하고, 단어 수준 타임스탬프, VAD 필터링, 배치 추론과 같은 기능을 제공합니다. pip로 설치하고, 모델 크기(예: "large-v3")를 선택하고, 원하는 장치/정밀도로 WhisperModel을 만든 다음 `transcribe`를 호출하세요. 라이브 캡션, 배치 처리, 또는 낮은 지연 시간과 메모리 사용으로 Whisper 품질의 전사가 필요한 모든 프로젝트에 이상적입니다.