tencentmusic/supersonic

해결하는 문제

SuperSonic은 대규모 실세계 애플리케이션에서 흔히 발생하는 환각 현상과 복잡한 SQL 구문 문제를 겪는 기존의 '채팅 BI'(Text2SQL) 시스템의 신뢰성 문제를 해결합니다. 자연어 쿼리와 구조화된 데이터 사이의 격차를 LLM 기반 채팅 인터페이스와 관리된 세마틱 레이어를 결합함으로써 메우고 있습니다.

작동 방식

이 플랫폼은 두 가지 패러다임을 통합합니다: 채팅 BI는 자연어 상호작용을 위해, 헤드리스 BI는 세마틱 데이터 모델(메트릭, 차원, 태그)을 정의하기 위해 사용됩니다.

사용자가 질문을 하면, SuperSonic은 요청을 처리하기 위한 파이프라인을 사용합니다:

1. 지식 기반 및 스키마 매핑기: 사용자 질문 텍스트를 스키마 요소 사전과 매칭합니다.
2. 세마틱 파서: 규칙 기반 및 LLM 기반 논리를 혼합하여 세마틱 쿼리 문장을 생성합니다.
3. 세마틱 보정기: 규칙 또는 LLM을 사용하여 문장을 검증하고 수정합니다.
4. 세마틱 번역기: 검증된 세마틱 문장을 실행 가능한 SQL로 변환합니다. LLM에서 복잡한 조인 및 수식 로직을 세마틱 레이어로 이관함으로써 오류를 줄입니다.

대상 사용자

• 비즈니스 사용자: SQL을 몰라도 자연어로 데이터를 쿼리하고 시각화를 생성하고 싶은 사람.
• 분석 엔지니어: 조직 전체에서 일관성을 보장하기 위해 관리된 세마틱 데이터 모델을 구축하고 유지 관리해야 하는 사람.

주요 특징

• 하이브리드 파싱: 효율성과 신뢰성을 높이기 위해 규칙 기반 및 LLM 기반 파서를 결합합니다.
• 환각 감소: 세마틱 모델에서 가져온 비즈니스 용어와 컬럼 값을 프롬프트에 포함시켜 LLM을 안내합니다.
• 세밀한 접근 제어: 데이터셋, 컬럼, 행 수준에서 데이터 접근 제한을 지원합니다.
• 확장 가능한 아키텍처: Java SPI를 통해 채팅 플러그인 및 소수의 프롬프팅을 위한 메모리와 같은 사용자 정의 구현이 가능합니다.