midudev/runonweb.ai

해결하는 문제

AI 모델을 실행하려면 일반적으로 데이터를 서버로 보내야 하며, 이는 개인정보 보호 문제를 야기하고 지연 시간과 비용을 증가시킵니다. 이 프로젝트는 브라우저에서 직접 실행되는 모듈식 AI 기능을 제공하여 이 문제를 해결하므로 사용자 기기에서 데이터가 나가지 않습니다. 또한 통합을 단순화합니다. 각 작업은 하나의 임포트로 처리되며, 기본 모델은 항상 명확한 라이선스와 함께 공개됩니다.

작동 방식

이 프로젝트는 두 부분으로 구성된 모노레포를 제공합니다: 라이브러리(runonweb)와 데모 웹사이트(packages/web). 각 모듈은 단일 임포트에 해당합니다. 예를 들어 음성-텍스트용 runonweb/stt 또는 배경 제거용 runonweb/remove-bg가 있습니다. 라이브러리는 최상의 백엔드를 자동으로 선택합니다: WebGPU를 사용할 수 있으면 WebGPU를 사용하고, 그렇지 않으면 WASM 폴백을 사용합니다. 모든 계산은 로컬에서 이루어집니다. 모델은 첫 사용 시 Hugging Face Hub에서 다운로드되며, 각 모델은 자체 라이선스를 유지합니다. 웹사이트는 Astro로 구축되고 Cloudflare Workers를 통해 배포되며, 라이브 데모와 모든 기본 모델에 대한 크레딧이 포함됩니다.

대상 사용자

이 프로젝트는 백엔드 서버를 구축하지 않고도 전사, 번역, 이미지 캡셔닝 또는 깊이 추정과 같은 AI 기능을 사이트에 추가하려는 웹 개발자를 위한 것입니다. 또한 모든 데이터가 기기에 유지되므로 개인정보 보호에 관심이 있는 모든 사람에게 유용합니다. 이 프로젝트는 오픈소스(코드는 MIT)이며 재배포 및 상업적 사용을 허용하는 모델만 사용하므로 프로덕션 애플리케이션에 적합합니다.

하이라이트

• 제로 프라이버시 누출: 모든 추론은 로컬에서 실행되며 서버로 전송되는 것이 없습니다.
• WebGPU 우선, WASM 폴백: 최신 GPU에서 빠르며, 구형 기기에서도 작동합니다.
• 다양한 모듈: 음성-텍스트, 배경 제거, 이미지 캡셔닝, 깊이 추정, 객체 감지, OCR, 텍스트 임베딩, 분류, 번역, 오디오 정리, 이모지 제안, 텍스트-음성 변환.
• 모든 모델이 공개: 각 데모 페이지는 기본 모델, 작성자, 라이선스를 명시합니다. 코드는 MIT이며 모델은 자체 조건을 유지합니다.
• 쉬운 통합: 작업당 하나의 임포트, 일관된 API 및 자동 백엔드 선택.
• 적극적인 연구 노트: README에는 실제 백엔드 제한 사항과 해결 방법이 문서화되어 있어 함정을 피하기 쉽습니다.