JioStar AI 콘텐츠 탐색 아키텍처 및 프로덕션 확장
JioStar 대화형 인터페이스 개요
JioStar는 5억 명의 사용자를 위한 콘텐츠 탐색 기능을 개선하기 위해 JioHotstar 플랫폼에 대화형 비디오 및 크리켓 통계 어시스턴트를 통합했습니다. OpenAI API를 활용하여 사용자가 자연어를 사용하여 엔터테인먼트 및 스포츠 콘텐츠를 탐색할 수 있도록 지원하며, 15개 이상의 언어를 지원합니다. 이 시스템은 라이브 스포츠 이벤트 중 최대 7,250만 명의 동시 접속자를 지원한 경험을 바탕으로 고동시성 환경을 처리하도록 설계되었습니다.
기술 설계 및 트레이드오프
어시스턴트를 설계하려면 정확성, 지연 시간, 비용 간의 3자 트레이드오프를 관리해야 했습니다. JioStar 사용자의 60% 이상이 텍스트보다 음성 입력을 선호하기 때문에, 시스템은 높은 관련성을 유지하면서 낮은 지연 시간의 응답을 우선시해야 했습니다. 대규모 환경에서 이러한 제약 조건을 관리하기 위해 팀은 다음 사항에 집중했습니다:
- 범위 정의: 개발 초기 단계에서 시스템이 답변해서는 안 되는 내용을 정의하기 위한 엄격한 가드레일을 설정했습니다.
- 검증 아키텍처: 한 모델이 응답을 생성하고 두 번째 모델이 "LLM-as-a-judge" 역할을 하여 출력을 검증하는 "메이커-체커(maker-checker)" 패턴을 구현했습니다.
- 전문가 주도 평가: 스포츠 잡지 편집자의 도메인 전문 지식을 통합하여 평가 데이터셋을 구축함으로써 시스템이 크리켓 팬들의 미묘한 질문을 처리할 수 있도록 했습니다.
프로덕션 모니터링 및 평가
실험 모델에서 프로덕션 시스템으로 전환하려면 P99 지연 시간과 같은 전통적인 인프라 지표를 넘어서야 합니다. 수석 아키텍트 Vijay Seshadri에 따르면, 효과적인 프로덕션 시스템에는 다음이 필요합니다:
- 모델 효능 모니터링: 시스템 가동 시간뿐만 아니라 실시간으로 모델의 실제 성능과 정확성을 추적합니다.
- 피드백 플라이휠: 고객 행동과 식별된 실패 사례가 평가 프레임워크로 다시 피드백되어 새로운 테스트 케이스를 생성하는 지속적인 루프를 구축합니다.
- Human-in-the-Loop: AI 도구가 프로덕션 시스템을 검증하기 위해 인간의 판단을 필요로 한다는 점을 인식합니다. Seshadri는 다음과 같이 언급했습니다. "유능한 엔지니어에게 Codex와 같은 도구를 제공하면 그 영향력은 배가될 수 있지만, 프로덕션 시스템을 검증할 판단력이 없다면 위험 또한 배가됩니다."
엔터프라이즈 AI 배포를 위한 교훈
AI 실험에서 프로덕션으로 전환하는 조직을 위해 JioStar의 경험은 세 가지 주요 전략적 고려 사항을 강조합니다:
- 결과에 집중: 생성된 코드 라인 수와 같은 활동 지표를 실제 비즈니스 가치보다 우선시하는 함정을 피하십시오.
- 구현 격차 인정: 최첨단 모델의 기능과 엔터프라이즈 통합의 실제 현실 사이에는 상당한 차이가 있습니다. 기업은 모든 새로운 모델 릴리스를 채택하려고 시도하기보다는 구체적이고 가치가 높은 사용 사례에 집중해야 합니다.
- 인간의 주체성 우선: 엔터프라이즈 AI의 성공은 인간의 기술과 자동화된 출력에 판단을 적용하는 능력에 달려 있습니다. 리더는 팀이 대규모 배포에 필요한 가드레일과 검증 계층을 관리할 수 있는 권한을 갖도록 보장해야 합니다.