santifer/cv-santiago

해결하는 문제

정적인 이력서는 실제 기술 역량을 보여주지 못하는 경우가 많습니다. 이 프로젝트는 음성 지원 챗봇, 자동 평가 파이프라인 및 완전한 관측성을 포함하는 복잡한 AI 시스템을 구현함으로써 기술의 실질적인 증거 역할을 하는 프로덕션 등급의 인터랙티브 포트폴리오를 제공합니다.

작동 원리

이 시스템은 텍스트에는 Claude Sonnet을, 음성에는 OpenAI Realtime API를 사용하는 "Santi"라는 이름의 AI 챗봇을 중심으로 작동합니다. 하이브리드 검색(pgvector 시맨틱 검색과 BM25 전체 텍스트 검색의 결합) 및 Claude Haiku를 통한 리랭킹을 특징으로 하는 에이전틱 RAG(Retrieval-Augmented Generation) 파이프라인을 채택하고 있습니다.

신뢰성을 보장하기 위해 프롬프트 인젝션에 대한 6단계 방어 시스템과 프로덕션 실패(점수 0.7 미만)가 자동으로 새로운 테스트를 생성하여 CI 게이트를 통해 향후 배포를 차단하는 "폐쇄 루프" 품질 시스템을 구현했습니다. 모든 활동은 Langfuse와 Supabase를 사용하는 프라이빗 LLMOps 대시보드를 통해 추적됩니다.

대상

RAG, LLMOps 및 자동 평가 프레임워크에 특히 초점을 맞춘 프로덕션 준비가 된 LLM 애플리케이션의 참조 구현을 보고 싶은 개발자 및 AI 엔지니어.

주요 특징

• 듀얼 모드 상호작용: 스트리밍 텍스트 채팅과 저지연 오디오-투-오디오 음성 세션을 모두 지원합니다.
• 자동 평가: 10개 카테고리(예: 사실 정확성, 안전성, RAG 품질)에 걸친 71개의 자동 테스트가 CI 게이트 역할을 합니다.
• LLMOps 대시보드: 비용, 지연 시간, 보안 위협 및 RAG 활성화율을 모니터링하기 위한 프라이빗 /ops 인터페이스.
• 6단계 보안: Canary tokens, 핑거프린팅, 실시간 탈옥 이메일 알림을 포함한 포괄적인 방어.
• 자가 치유 파이프라인: 품질 점수가 낮은 프로덕션 트레이스를 자동으로 테스트 케이스로 변환하여 회귀를 방지합니다.