Mistral AI Workflows 퍼블릭 프리뷰

Mistral AI는 AI 기반 비즈니스 프로세스를 개념 증명(PoC) 단계에서 프로덕션 단계로 전환할 수 있도록 설계된 오케스트레이션 레이어인 Workflows를 퍼블릭 프리뷰로 출시했습니다. Workflows는 내구성이 있고 관찰 가능하며 결함 허용(fault-tolerant)이 가능한 실행 환경을 제공함으로써, 프로덕션에서의 무음 실패(silent failures), 장기 실행 프로세스의 네트워크 타임아웃, 인간의 승인 메커니즘 부족과 같은 기업용 AI의 일반적인 실패 모드를 해결합니다.

Workflows의 핵심 기능

Workflows는 개발자가 복구 및 인프라 로직보다는 비즈니스 로직에 집중할 수 있도록 하는 엔터프라이즈급 기능 세트를 제공합니다:

• Durable Execution (내구성 있는 실행): 시스템은 모든 단계에서 상태를 추적하여, 실패한 프로세스가 중단된 지점에서 정확히 다시 시작될 수 있도록 합니다.
• Observability (관찰 가능성): 모든 상태 변경, 재시도, 분기는 Studio에 기록되어, 결정이 어떻게 내려졌는지에 대한 전체 감사 가능한 타임라인을 제공합니다.
• Human-in-the-Loop (인간 참여형): 개발자는 단 한 줄의 코드(wait_for_input())를 사용하여 인간의 승인을 위해 워크플로우를 일시 중지할 수 있습니다. 워크플로우는 컴퓨팅 자원을 소비하지 않고 일시 중지되며, 검토자가 Le Chat, 웹훅(webhook) 또는 다른 연결된 인터페이스를 통해 응답하면 다시 재개됩니다.
• Native Studio Integration (네이티브 Studio 통합): Workflows는 Mistral Studio 생태계의 나머지 부분과 동일한 에이전트 및 커넥터를 활용하므로 별도의 통합 작업이 필요 없습니다.
• Enterprise Governance (기업용 거버넌스): Studio Workspaces는 프로젝트 분리를 제공하며, 역할 기반 액세스 제어(RBAC)는 액세스 규칙의 일관된 적용을 보장합니다.
• Deployment Flexibility (배포 유연성): 제어 평면(control plane)은 Mistral이 호스팅하며, 워커(worker)와 데이터 처리는 고객의 자체 환경(클라우드, 온프레미스 또는 하이브리드) 내에서 실행됩니다.

실제 기업용 애플리케이션

ASML, ABANCA, CMA-CGM, France Travail, La Banque Postale, Moeve를 포함한 여러 조직이 중요한 비즈니스 프로세스를 자동화하기 위해 Workflows를 활용하고 있습니다:

화물 인도 자동화

글로벌 해운 분야에서 Workflows는 세관 규칙에 따라 선적 서류를 검증하고 이상 징후를 확인하는 데 사용됩니다. 시스템은 인간의 승인이 필요한 항목을 표시하고 wait_for_input() 함수를 사용하여 승인이 완료될 때까지 실행을 일시 중지하여 화물 지연 및 규정 준수 위반을 방지합니다.

문서 컴플라이언스 확인

KYC (Know Your Customer) 검토를 위해, Workflows는 신원 확인 서류의 추출과 제재 명단 및 PEP 데이터베이스에 대한 검증을 자동화합니다. 이는 프로세스를 수 시간의 수동 분석가 시간에서 수 분으로 단축하는 동시에, 추론 과정에 대한 구조화된 타임라인과 규제 감사를 위한 네이티브 OpenTelemetry 지원을 제공합니다.

고객 지원 분류

Workflows는 의도와 긴급도에 따라 들어오는 지원 티켓의 분석, 분류 및 라우팅을 자동화합니다. 라우팅 결정이 Studio에서 가시적이고 추적 가능하기 때문에, 팀은 기본 모델을 재학습시킬 필요 없이 워크플로우 수준에서 오분류를 수정할 수 있습니다.

기술 아키텍처 및 구현

Workflows는 Netflix, Stripe, Salesforce와 같은 기업들이 사용하는 Temporal의 내구성 있는 실행 엔진을 기반으로 구축되었습니다. Mistral AI는 스트리밍, 페이로드 처리, 멀티테넌시 및 향상된 관찰 가능성을 포함하여 AI 특화 요구 사항을 지원하기 위해 이 엔진을 확장했습니다.

배포 모델

아키텍처는 제어 평면(control plane)과 데이터 평면(data plane)을 분리합니다:

• Control Plane (제어 평면): Mistral가 Temporal 클러스터, Workflows API 및 Studio를 호스팅합니다.
• Data Plane (데이터 평면): 사용자는 Helm 차트를 통해 자체 Kubernetes 환경에 워커를 배포합니다. 이러한 워커는 보안 자격 증명을 사용하여 중앙 클러스터에 다시 연결되므로, 비즈니스 로직과 데이터가 사용자의 경계 내에 유지됨을 보장합니다.

개발자 경험

개발자는 Mistral SDK를 사용하여 Python으로 워크플로우를 작성합니다. SDK는 데코레이터와 단 한 줄의 설정을 통해 재시도 정책, 타임아웃, 속도 제한 및 트레이싱을 포함한 복잡한 운영 요구 사항을 관리합니다.

Workflows는 이제 Python SDK v3.0을 통해 사용할 수 있으며, uv add mistralai-workflows로 설치할 수 있습니다.