mil-tokyo/webdnn

해결하는 문제

WebDNN은 개발자가 웹 브라우저 내에서 직접 신경망 추론을 수행할 수 있게 해주며, AI 모델을 처리하기 위한 전용 서버가 필요 없도록 합니다. 특히 ONNX 모델을 Python 전처리 없이 브라우저에 직접 로드할 수 있도록 하여 프로세스를 간소화합니다.

작동 방식

WebDNN은 브라우저에서 사용 가능한 다양한 하드웨어 가속 기술을 사용하여 ONNX 모델을 변환하고 실행합니다. 주요 세 가지 백엔드를 지원합니다:

• WebGPU (WGSL 사용): Chrome 및 Edge와 같은 최신 브라우저용.
• WebGL (WebGL2 및 WebGL1 백업 포함): 더 넓은 호환성 제공.
• WebAssembly (emscripten 경유): CPU 기반 실행용.

대상 사용자

외부 API나 서버 측 처리에 의존하지 않고 웹 애플리케이션에 AI 모델 추론을 통합하고자 하는 웹 개발자.

주요 특징

• 직접적인 ONNX 지원: Python 전처리 없이 브라우저에 ONNX 모델을 직접 로드 가능.
• 다중 가속 백엔드: 최적의 성능을 위해 WebGPU, WebGL, WebAssembly 지원.
• 오프라인 최적화: 배포 전에 모델을 오프라인으로 최적화할 수 있는 시스템 제공.
• 동적 로딩: 런타임에 연산자 번들(dynamic loading)을 동적으로 로드하여 초기 로드 시간을 단축.