CrewAI: 반복적이고, 거버넌스가 적용된, 임베디드된 기업용 워크플로우 구축하기

경영 요약

현대 기업들은 일회성 AI 실험에서 벗어나 반복적이고, 거버넌스가 적용된, 임베디드된 워크플로우를 통해 AI를 운영화하는 방향으로 전환하고 있습니다. 핵심 과제는 AI 에이전트를 구축하는 능력이 아니라, 복잡한 조직 구조 내에서 에이전트를 배포, 확장 및 거버넌스를 관리하는 능력입니다. 기업의 AI 도입 성공은 일회성 프로세스에서 재사용 가능한 빌딩 블록으로의 전환과 발견(discovery) 및 조직적 기억(organizational memory)에 대한 전략적 집중을 필요로 합니다.

에이전트 워크플로우의 진화

AI 에이전트는 단순한 작업 실행 도구에서 깊이 통합된 조직적 자산으로 진화하고 있습니다. 이러한 진화는 두 가지 주요 워크플로우 유형으로 특징지어집니다:

• Ad Hoc 워크플로우: 최종 결과물(예: 스프레드시트 또는 슬라이드 데크)이 주요 목표이며, 그 결과를 달성하기 위해 사용된 특정 프로세스는 일회성인 경우를 말합니다.
• Embedded 워크플로우: 프로세스 자체가 결과물만큼이나 중요한 미션 크리티컬 프로세스입니다. 예를 들어, 의료 분야에서 채용을 위한 의사의 자격 검증 프로세스는 단순한 수단이 아니라 규제 및 비즈니스 측면에서 필수적인 요소입니다.

도입이 증가함에 따라 이 두 카테고리 사이의 경계가 모호해지고 있습니다. 조직들은 에이전트가 대화형(conversational)이기를 요구하고 있으며, 이는 워크플로우가 ad hoc인지 embedded인지에 관계없이 사용자가 에이전트와 상호작용할 수 있게 하며, 서로 다른 에이전트들이 이러한 카테고리를 가로질러 서로를 트리거할 수 있게 합니다.

기업용 AI 운영화를 위한 전략

실험 단계를 넘어서기 위해, 기업들은 AI 개발을 고립된 스크립트가 아닌 재사용 가능한 구성 요소의 시스템으로 취급해야 합니다.

재사용 가능한 빌딩 블록

구축(building)은 점차 범용화되고 있으며, 가치는 창조의 행위에서 오케스트레이션(orchestration)의 행위로 이동하고 있습니다. 효율성을 극대화하기 위해 조직은 다음과 같은 사항을 구현해야 합니다:

• Tool Repositories: 조직 전체에서 인간과 에이전트 모두가 코드나 노코드 플랫폼 사용 여부에 관계없이 재사용할 수 있는 통합 기능(예: MCP)의 중앙 집중식 혼합체입니다.
• Shareable Skills: 회사 특유의 지식과 의사결정 로직을 공유 가능한 "skills"로 인코딩하는 것입니다. CrewAI는 이를 내부적으로 사용하여 기업의 의사결정 프레임워크를 엔지니어의 터미널에 직접 인코딩함으로써, 조직의 목표와 정렬을 유지하면서도 조직의 말단(edges)에 권한을 위임합니다.
• Cross-Framework Compatibility: 서로 다른 프레임워크(예: LangGraph, 8K, Salesforce, ServiceNow)에서 온 에이전트들을 하나의 응집력 있는 시스템으로 모으는 능력입니다.

Human-in-the-Loop (HITL) 및 거버넌스

신뢰할 수 있는 기업용 워크플로우는 과직한 마찰 없이 인간의 감독을 필요로 합니다. 효과적인 HITL 구현은 다음 사항에 집중합니다:

• Low-Friction Interaction: 인간의 승인이나 입력을 위해 이메일 알림과 같은 친숙한 채널을 사용하는 것입니다. 이를 통해 사용자가 별도의 AI 대시보드에 로그인할 필요 없이 이메일 응답만으로 에이전트가 작업을 진행할 수 있게 합니다.
• Accountability 및 SLAs: 인간이 에이전트의 요청에 응답하는지 추적하고, 워크플로우가 중단되지 않도록 서비스 수준 계약(SLAs)을 것을 설정합니다.

Observability: 줌 인(Zoom-In) 및 줌 아웃(Zoom-Out)

거버넌스는 에이전트 성능에 대한 두 가지 수준의 가시성을 요구합니다:

• Zoom-Out Metrics: 비용, 총 실행 횟수, 실행 중인 에이전트의 전반적인 상태(정상, 경고, 비정상)에 초점을 맞춘 고수준의 조직적 관점입니다.
• Zoom-In Traces: 엔지니어가 특정 에이전트의 의정을 결정하고 결론의 정확한 출처를 규명할 수 있도록 하는 세밀한 개별 실행 추적(traces)입니다.

프로덕션 배포 사례로부터의 교훈

AI 도입에 대한 초기 가정은 종종 틀렸습니다. 많은 이들이 에이전트를 구축하는 것이 어려운 부분이고 배포/확장이란 것은 유일하게 남은 해자(moat)라고 믿었습니다. 하지만 실제 병목 현상은 종종 전략과 발견(discovery)과 관련된 변혁적 문제입니다.

"실제로 수백만 개의 에이전트를 도입하고 운영하는 곳들은... 그들은 무엇을 먼저 해야 할지 정확히 알고, 다음에 무엇을 해야 할지 알고 있으며, 그들은 전략을 가지고 있습니다."

기술적이지 않은 기업들에게는, 어떤 유스케이스가 가장 높은 투자 대비 수익(ROI)을 제공하는지 식별하는 "발견(discovery)" 단계가 종종 가장 중요한 돌파구입니다. 성공은 에이전트가 조직적 기억을 생성하여 회사가 어떻게 운영되는지에 대한 세계 모델(world model) 세계 모델을 효과적으로 구축하는 "플라이휠(flywheel)"을 만드는 데서 옵니다.

에이전트 시스템의 미래

미래의 AI 개발은 사용하면 사용할수록 더 좋아지는 "entangled agents" 시스템을 향하는 데 있습니다. 주요 트렌드는 다음과 같습니다:

• Self-Improving Cores: 에이전트가 자신의 메모리를 자동으로 업데이트하고, 스스로의 skills를 작성하고, 스스로의 플로우를 개선할 수 있는 에이전트입니다.
• Long-Running Agents: 지속적인 프롬프트가 필요하지 않고 몇 시간 또는 며칠 동안 자율적으로 실행될 수 있는 에이전트로의 전환입니다.
• Conversational-First Design: 모든 에이전트 유형에 대해 대화형 인터페이스를 최중선 우선순위로 취급하는 것입니다.

For engineers, the primary advice는 이 도구들을 즉시 받아들이는 것입니다. 근본적인 모델의 궤적은 개인의 통제 범위를 벗어나 있지만, 이러한 시스템을 배포하고 오케스트레이션하는 능력은 어떤 특정 모델이 시장을 점유하더라도 상관없이 상당한 경쟁 우위를 제공합니다.