Ternlight: 7 MB 임베딩 모델을 활용한 브라우저 기반 의미 검색

Ternlight: 7 MB 임베딩 모델을 활용한 브라우저 기반 의미 검색

Ternlight는 WebAssembly (WASM) 를 통해 CPU에서 실행되는 고도로 압축된 임베딩 모델을 활용하여 웹 브라우저에서 직접 고성능 의미 검색을 가능하게 합니다. 서버‑사이드 API 호출이 필요 없으므로 밀리초 수준의 지연 시간으로 "입력 즉시 검색" 기능을 제공하고 사용자 프라이버시를 강화합니다.

기술 구현 및 아키텍처

Ternlight는 대형 언어 모델(LLM)이 아니라 텍스트를 384 차원 벡터로 변환하도록 설계된 문장 인코더입니다. 이 벡터를 이용해 코사인 유사도를 계산함으로써 두 텍스트 간의 의미적 관계를 판단할 수 있어, 키워드 일치가 아니라 의미 기반 매칭을 수행합니다(예: "reset my password"와 "I forgot my password"를 매칭).

주요 기술 사양은 다음과 같습니다:

  • 모델 출처: ternary quantization‑aware training을 적용해 MiniLM에서 증류함.
  • 추론 엔진: Rust로 처음부터 작성했으며, 최적의 CPU 성능을 위해 WASM SIMD으로 컴파일됨.
  • 하드웨어 요구사항: CPU 전용; GPU가 필요 없음.
  • 성능: 임베딩 생성에 약 2.5 ms~5 ms 소요.

모델 티어 및 배포

Ternlight는 npm 패키지 형태로 배포되어 별도의 모델 다운로드 단계나 백엔드 인프라가 필요하지 않습니다. 기능과 성능의 균형을 맞춘 두 가지 크기 티어를 제공합니다:

Tier Package Size Inference Speed
Base @ternlight/base 7 MB ~5 ms
Mini @ternlight/mini 5 MB ~2.5 ms

개발자는 최소한의 코드로 의미 검색을 구현할 수 있습니다:

import { embed, similar } from '@ternlight/base';

similar('easy weeknight dinner ideas', recipes, { topK: 3 });
// 네트워크 지연 없이 ~5 ms 안에 순위가 매겨진 결과 반환

활용 사례 및 실용 응용

임베딩을 디바이스에서 직접 실행할 수 있게 되면서 다음과 같은 구체적인 기술 기회가 열립니다:

  • 의미 검색: 문서(React docs 데모와 같이)나 제품 카탈로그에 대한 빠른 로컬 검색 구현.
  • FAQ 및 인텐트 매칭: 데이터를 서버에 전송하지 않고 사용자 질의를 사전 정의된 답변에 매핑.
  • 클러스터링: 클라이언트 측에서 유사 텍스트를 그룹화.
  • 프라이버시 보호 검색: 민감한 데이터에 대해 사용자 질의가 로컬 디바이스를 떠나지 않도록 보장.

커뮤니티 인사이트 및 고려 사항

커뮤니티 토론에서는 분산 검색의 잠재력과 클라이언트‑사이드 자원 사용에 대한 우려가 동시에 제기되었습니다.

통합 가능성

사용자들은 Ternlight를 다른 로컬‑퍼스트 기술과 결합해 완전 정적 벡터 검색 생태계를 만들 것을 제안했습니다. 한 사용자는 Astro 플러그인과 결합해 HTML 파일을 자동으로 파싱하고 임베딩을 생성하자는 아이디어를 제시했으며, 또 다른 사용자는 Parquet 파일에 대한 HTTP range 쿼리를 활용한 휴대용 HNSW(Hierarchical Navigable Small World) 검색과 결합해 중앙 집중식 기업이 통제하지 않는 분산 검색 시스템을 만들 것을 제안했습니다.

자원 및 프라이버시 우려

프라이버시 이점은 명확하지만, 일부 사용자는 시스템 자원에 미치는 영향에 대해 우려를 표했습니다:

"웹 페이지를 열 때 팬이 미친 듯이 돌아가는 걸 보면 조금 놀라워요."

또한 모델을 브라우저에 자동으로 다운로드하는 보안적 측면에 대한 우려도 있습니다. 일부 사용자는 이를 잘 관리하지 않으면 메모리를 과다 점유하거나 악성 코드를 배포하는 데 악용될 수 있다고 지적했습니다.

요약: Ternlight는 5‑7 MB 크기의 초소형 임베딩 모델로, WASM을 통해 완전히 클라이언트‑사이드에서 실행됩니다. 이를 통해 API 호출 없이 빠르고 프라이버시를 보장하는 의미 검색이 가능합니다.

제목: Ternlight: 7 MB 임베딩 모델을 활용한 브라우저 기반 의미 검색

Sources