webmachinelearning/prompt-api

해결하는 문제

이 프로젝트는 웹 개발자가 브라우저나 운영체제에 직접 내장된 언어 모델에 직접 접근할 수 있도록 하는 표준화된 JavaScript API를 제안합니다. 클라우드 기반 AI API에 의존하거나 WASM과 WebGPU를 사용해 대규모 모델을 수동으로 번들링하고 실행할 필요 없이, 지연 시간을 줄이고 비용을 낮추며 민감한 데이터를 로컬에서 처리함으로써 프라이버시를 향상시킵니다.

작동 방식

API는 내장 모델과 상호작용할 수 있는 일관된 인터페이스(LanguageModel)를 제공합니다. 개발자는 세션을 생성하고, 단일 문자열 또는 "system", "user", "assistant"와 같은 역할을 가진 구조화된 메시지 형태의 프롬프트를 전송하며, 응답을 수신할 수 있습니다. 표준 응답 외에도 스트리밍 결과를 지원하여 사용자 경험을 향상시킵니다.

주요 기술적 기능은 다음과 같습니다:

• 샘플링 파라미터: temperature와 topK를 제어하여 모델의 동작을 조정할 수 있습니다.
• 도구 사용: 모델이 실시간 데이터를 가져오거나 작업을 수행하기 위해 호출할 수 있는 외부 JavaScript 함수(도구)를 정의할 수 있습니다.
• 다중 모달 입력: 텍스트 프롬프트와 함께 이미지 및 오디오 클립을 함께 전달할 수 있습니다.
• 세션 관리: 효율성을 위해 세션을 복제하고, 컨텍스트 창의 제한을 관리할 수 있습니다.

대상 사용자

자신의 AI 인프라를 관리하거나 클라우드 API 토큰 비용을 지불하는 부담 없이 웹 애플리케이션에 텍스트 요약, 번역, 콘텐츠 생성 등의 AI 기능을 통합하고자 하는 웹 개발자.

주요 특징

• 로컬 실행: 오프라인 사용과 민감한 데이터의 로컬 처리를 가능하게 합니다.
• 모델 독립성: 모델 관리(다운로드, 업데이트 등)를 개발자로부터 추상화합니다.
• 도구 통합: 모델이 JavaScript 함수를 호출하여 웹 애플리케이션의 다른 부분과 상호작용할 수 있도록 합니다.
• 다중 모달 지원: 텍스트, 이미지, 오디오를 하나의 프롬프트에 통합하여 입력할 수 있습니다.
• 표준화된 인터페이스: Web Machine Learning Community Group를 통해 크로스 브라우저 상호운용성을 목표로 합니다.