LegalOn Technologies AI 비용 최적화 사례 연구
LegalOn Technologies는 모든 작업에 대해 단일 고성능 모델을 사용하는 방식에서 벗어나, 작업의 복잡도에 따라 계층적인 모델 선택 전략을 도입함으로써 예상 일일 AI 비용을 약 65% 감축했습니다. 이 최적화를 통해 회사는 개발 속도를 유지하면서도 각 사업 부문의 성장 단계에 맞춰 AI 지출을 조율할 수 있게 되었습니다.
계층적 모델 선택 전략
LegalOn Technologies는 모든 작업에 GPT-5.5(Fast 모드)를 사용하던 방식에서 벗어나, AI 기반 개발 중심 전문성 센터(AID CoE)가 관리하는 구조화된 선택 프로세스로 전환했습니다. 회사는 작업의 복잡도에 따라 특정 모델을 매칭하여 비용과 성능을 최적화하고 있습니다:
- GPT-6 Luna: 일상적인 실행, 간단한 작업, 분석 및 코드 구현(주로 서브에이전트로 사용).
- GPT-6.1 Sol: 표준 소프트웨어 설계, 루틴한 수치 분석, 문서 작성 및 Luna보다 빠른 완료 시간이 필요한 작업에 사용.
- GPT-6 Astra: 가장 강력한 모델로, 복잡한 분석, 아키텍처 설계, 오케스트레이션 및 에이전트 간 조율에만 사용.
자원 배분 및 거버넌스
생산성을 저해하지 않으면서 예산을 통제하기 위해 LegalOn은 시스템 제어와 전략적 예산 한도를 결합하여 적용했습니다.
예산 통제
- 부서별 제한: 개인 및 부서별 월간 사용 한도를 도입하였으며, AID CoE가 모니터링하고 조정합니다.
- 차별화된 예산 배분: 성숙한 사업 부문은 비용 효율성을 약 20% 향상시키도록 요구받았고, 출시 단계에 있는 신규 사업 부문은 속도와 출력을 우선시하기 위해 유연한 예산을 제공받았습니다.
성능 최적화
"Fast 모드"를 기본으로 제한함에 따라 개발 팀은 병렬 작업 실행을 도입하여, 모델 접근 방식의 변화에도 불구하고 개발 속도를 유지할 수 있도록 했습니다.
기능 릴리스를 통한 AI ROI 측정
LegalOn은 AI 성공 여부를 개발 속도나 사용량으로만 측정하는 것을 넘어선다. 회사는 고객 가치를 기능 릴리스당 기준으로 계산하는 새로운 지표를 개발하고 있습니다.
기능 릴리스를 하나의 작업 단위로 간주함으로써, 특정 릴리스에 투입된 실제 AI 비용과 그 릴리스가 생성하는 고객 가치를 연결하려는 목표를 가지고 있으며, 작업당 총 비용의 '블랙 박스'를 제거하고자 합니다.
조직적 영향 및 미래 거버넌스
AI 도입은 LegalOn이 인력 계획과 채용 방식을 재고하게 만들었으며, AI 역량에 대한 새로운 중점을 두고 있습니다. 개별 전문성을 확장하기 위해 회사는 설계, 구현, 검토에 대한 모델 조합 최적화 방법을 공유하는 지식 기반을 구축하고 있습니다.
통제와 유연성의 균형에 관해 LegalOn Technologies의 상급 엔지니어링 매니저인 Yuta Tokitake는 다음과 같이 말했습니다:
"규칙과 예산을 통해 지나친 제약을 가하면 조직의 추진력을 약화시킬 수 있습니다. 우리가 필요한 것은 위험 통제와 팀이 필요로 하는 속도를 효과적으로 균형 잡는 유연한 운영 모델입니다."
이 거버넌스 프레임워크는 AID CoE와 보안 팀이 공동으로 관리하여 성능, 비용, 리스크를 균형 있게 조율하고 있습니다.