genai-processors: 비동기 및 조합 가능한 멀티모달 AI 파이프라인 구축을 위한 모듈형 프레임워크

문제 해결 방식

GenAI Processors는 LLM API의 파편화를 줄이고 복잡한 비동기 AI 파이프라인 구축을 단순화하기 위해 설계된 경량 Python 라이브러리입니다. 복잡한 연결 코드 없이도 멀티모달 콘텐츠를 처리하고 다양한 모델, 에이전트, 도구 간에 데이터를 스트리밍할 수 있는 통합된 방식을 제공합니다.

작동 원리

이 라이브러리는 작업 단위를 캡슐화하는 Processor 추상화를 중심으로 구축되었습니다. 프로세서를 생성하는 로직(Producer)과 이를 사용하는 로직(Consumer)을 분리하기 위해 "이중 인터페이스" 패턴을 사용합니다.

주요 메커니즘은 다음과 같습니다:

• 통합 콘텐츠 모델: ProcessorPart를 사용하여 멀티모달 데이터(텍스트, 이미지, 오디오, JSON)를 MIME 타입 및 역할과 같은 메타데이터와 함께 래핑합니다.
• Asyncio 통합: Python의 asyncio를 기반으로 구축되어 네이티브 비동기 스트리밍 및 동시 작업 오케스트레이션을 지원합니다.
• 조합 가능한 파이프라인: + 연산자를 사용하여 프로세서를 체이닝하거나 // 연산자를 사용하여 병렬화함으로써 정교한 데이터 흐름을 구축할 수 있습니다.
• 통합 API 지원: 표준 API 호출을 위한 GenaiModel 및 Gemini API와의 실시간 스트리밍 상호작용을 위한 LiveProcessor와 같은 내장 프로세서를 포함합니다.

대상 사용자

생성형 AI 애플리케이션을 구축하는 개발자, 특히 멀티모달 스트리밍 데이터를 오케스트레이션하고 모듈식의 재사용 가능한 에이전트 동작을 생성해야 하는 개발자에게 적합합니다.

주요 특징

• 모듈형 설계: 작업은 재사용 가능한 Processor 및 PartProcessor 단위로 분할됩니다.
• 네이티브 스트리밍: 비동기 스트리밍이 기본적으로 내장되어 있습니다.
• 멀티모달 지원: 텍스트, 이미지, 오디오 및 사용자 정의 JSON을 원활하게 처리합니다.
• 유연한 오케스트레이션: 턴 기반 상호작용과 실시간 스트리밍 에이전트를 모두 지원합니다.