Fyxer AI 비서 기술 구현

Fyxer는 고맥락 커뮤니케이션 문제를 해결하기 위해 멀티 모델 시스템을 구현합니다

Fyxer는 OpenAI 모델과 500,000시간의 주석이 달린 비서 워크플로우라는 독점 데이터셋을 결합하여 전문적인 커뮤니케이션을 관리하는 AI 비서 서비스를 개발했습니다. 이 접근 방식은 미묘한 이메일 커뮤니케이션과 같이 인간이 쉽게 느끼는 작업이 AI에게는 어렵다는 '모라벡의 역설(Moravec’s paradox)'을 해결하기 위해 개별 사용자의 선호도와 관계 맥락을 학습합니다.

이메일 워크플로우를 전문화된 모델로 분해

Fyxer는 이메일 생성에 대한 단일 프롬프트 방식을 대신하여 30~50개의 전문화된 모델 시스템을 사용합니다. 각 모델은 정밀도와 신뢰성을 높이기 위해 워크플로우의 좁은 세그먼트를 담당합니다.

분류 및 의도 파이프라인

새 이메일이 도착하면 시스템은 특정 예측 시퀀스를 따릅니다:

  1. Reply Decision: 메시지가 응답, 일정 예약 작업, 또는 단순 정보 전달용인지 분류합니다.
  2. Intent Analysis: 응답이 필요한 경우, 모델은 의도를 분석하고 예상되는 결과(예: 회의 일정 예약 또는 요청 해결)를 예측합니다.
  3. Context Retrieval: 검색 모델은 새 이메일을 저장된 상호작용 기록과 비교하여 해당 인물 및 스레드에 대한 관련 기억과 역사적 맥락을 추출합니다.

모델 역할

OpenAI 모델은 이메일 내용을 파악하고, 검색된 맥락을 재순위화하며, 최종 이메일 초안을 생성하는 전체 파이프라인에 걸쳐 활용됩니다.

인간 전문가의 워크플로우를 통한 학습

Fyxer는 인간 기반의 비서 서비스로서의 역사를 활용하여 AI를 학습시킵니다. 이 회사는 타이밍과 어조와 같이 전문적인 커뮤니케이션에 필요한 미묘한 판단력을 포착하기 위해 500,000시간 이상의 인간 비서 워크플로우 데이터셋을 사용합니다.

미세 조정 및 최적화

정확도를 유지하면서 비용을 제어하기 위해 Fyxer는 다음과 같은 기술적 전략을 사용합니다:

  • Supervised Fine-Tuning (SFT) and LoRA: Fyxer는 작업별 모델 변형을 만들기 위해 Low-Rank Adaptation (LoRA)를 사용합니다.
  • Managed Fine-Tuning: 팀은 OpenAI의 관리형 미세 조정 팀과 협력하여 새로운 체크포인트를 프로덕션 환경으로 이동합니다.
  • Validation Sets: 모든 모델은 초안 작성, 분류, 우선순위 지정에 초점을 맞춘 내부 검증 세트를 통해 정확도와 응답 시간 및 비용 사이의 균형을 맞추며 평가됩니다.

사용자 피드백 루프를 통한 지속적인 개선

Fyxer는 실제 사용자 상호작용을 사용하여 시간이 지남에 따라 모델 성능을 향하는 자가 학습 루프를 만듭니다.

Direct Preference Optimization (DPO)

사용자가 이메일 초안을 전송하기 전에 AI가 생성한 초안을 수정하면, Fyxer는 원래 초안과 수정된 버전을 한 쌍의 출력물로 취급합니다. 시스템은 수동 라벨링 없이 이러한 수정을 통해 사용자의 선호도를 학습하는 Direct Preference Optimization (DPO)를 사용합니다.

A/B 테스트 및 성능 지표

새로운 모델 버전은 A/B 테스트를 통해 통계적으로 유기한 개선이 확인된 후에만 배포됩니다. 이 반복적인 프로세스는 다음과 같은 결과를 가져왔습니다:

  • Draft Acceptance: AI가 생성한 초안의 53%가 작성된 대로 수용됩니다.
  • Business Growth: 연간 반복 매출(ARR)이 2025년에 1,000,000달러에서 3,200만 달러로 성장했습니다.
  • Retention: 90일 시점에 사용자의 90% 이상이 유료 고객으로 유지됩니다.

향후 방향: 선제적 조정

Fyxer는 시스템을 초안 작성 도구에서 더 넓은 커뮤니케이션 및 조정 워크플로우를 관리할 수 있는 선제적 비서로 진화시키고 있습니다. 목표는 사용자가 일상적인 조정 작업을 위해 컴퓨터를 수동으로 조작하는 필요성을 줄이는 것입니다.

Sources