mlflow/mlflow

MLflow – 오픈소스 AI 엔지니어링 플랫폼

무엇인가요 – MLflow는 성숙한 오픈소스 플랫폼으로, 팀이 머신러닝 및 생성형 AI(LLM/에이전트) 애플리케이션을 구축, 추적, 평가, 배포하는 데 도움을 줍니다. 초기에는 전통적인 ML 실험 추적과 모델 레지스트리 도구로 시작했으며, 최근에는 완전한 GenAI 스택(트레이싱, 평가, 프롬프트 관리, 최적화, AI 게이트웨이)을 추가했습니다. 프로젝트는 MLflow 커뮤니티가 유지 관리하고 Databricks가 지원합니다.

핵심 기능

영역	제공되는 기능
실험 추적	모든 실행에 대한 매개변수, 메트릭, 아티팩트, 소스 코드를 로그로 기록; 웹 UI에서 확인하거나 Python/Java SDK로 쿼리 가능.
모델 레지스트리	스테이지 전환(스테이징 → 프로덕션)을 지원하는 버전 관리 모델 저장소, 라인리지, 접근 제어.
배포	Docker, Kubernetes, Azure ML, SageMaker, 기타 런타임으로 한 번의 클릭으로 서빙 가능.
LLM/에이전트 가시성	60개 이상의 LLM 프레임워크(LangChain, LangGraph, OpenAI 에이전트 등)에 대해 자동 OpenTelemetry 기반 트레이싱. 프롬프트, 응답, 토큰 사용량, 사용자 정의 메타데이터를 캡처.
평가 및 모니터링	50개 이상의 품질 메트릭과 LLM 평가자 내장; 시간이 지남에 따라 회귀를 추적.
프롬프트 레지스트리 및 최적화	라인리지가 있는 버전 관리 프롬프트 저장소; 최신 알고리즘을 사용한 자동 프롬프트 튜닝(옵션).
AI 게이트웨이	어떤 프로바이더(OpenAI, Anthropic, Gemini, Bedrock, LiteLLM 등)로도 요청을 라우팅하는 통합 OpenAI 호환 프록시; 레이트 제한, 비용 제한, 가드레일을 강제.
다국어 지원	Python, TypeScript/JavaScript, Java용 SDK와 REST API를 제공하여 거의 모든 스택을 인스트루먼트 가능.

일반적인 워크플로우

1. 서버 시작 – uvx mlflow server로 로컬 또는 클라우드에서 추적 UI 실행.
2. 코드 인스트루먼트 – mlflow.openai.autolog()(다른 프로바이더용 동등 기능)로 프롬프트, 응답, 메트릭을 자동 로깅.
3. 실험 실행 – LLM 또는 ML 코드를 실행; 모든 실행이 UI에 표시되며 트레이스, 평가 점수, 비용 정보 포함.
4. 반복 – 프롬프트 레지스트리로 새로운 프롬프트를 버전 관리하고, 체계적인 평가를 수행하며, 내장 최적화 도구가 개선점을 제안.
5. 배포 – 검증된 모델 또는 에이전트를 모델 레지스트리로 승격하고 AI 게이트웨이 또는 컨테이너화된 엔드포인트로 제공.

에코시스템 및 통합

• 에이전트 프레임워크: LangChain, LangGraph, OpenAI 에이전트, DSPy, CrewAI, LlamaIndex, AutoGen, Semantic Kernel 등(파이썬 및 타입스크립트/자바 모두 지원).
• LLM 프로바이더: OpenAI, Anthropic, Google Gemini, Amazon Bedrock, Databricks, LiteLLM, Mistral 등.
• 가시성: 네이티브 OpenTelemetry 지원; Jaeger, Zipkin, 또는 어떤 OTLP 컬렉터로도 트레이스 전달 가능.
• 배포 대상: Docker, Kubernetes, Azure ML, AWS SageMaker, Databricks, 일반 REST 엔드포인트.

시작하기

# 1️⃣ Python SDK 설치
pip install mlflow

# 2️⃣ 로컬 서버 실행 (UI는 http://localhost:5000에서 실행)
uvx mlflow server

# 3️⃣ 자동 LLM 로깅 활성화
python - <<'PY'
import mlflow
mlflow.set_tracking_uri('http://localhost:5000')
mlflow.openai.autolog()

from openai import OpenAI
client = OpenAI()
client.responses.create(model='gpt-4o-mini', input='Hello!')
PY

http://localhost:5000에 접속하여 트레이스, 메트릭, 프롬프트 버전을 탐색하세요.

누가 사용해야 할까요?

• 재현 가능한 실험 추적과 모델 버전 관리가 필요한 데이터 사이언스 팀.
• 프로덕션용 LLM 애플리케이션 또는 자율 에이전트를 개발하는 엔지니어링 팀으로, 내장된 가시성, 비용 제어, 안전 가드레일을 원하는 사람.
• 전통적인 ML 파이프라인과 현대적인 GenAI 워크플로우를 모두 커버하는 단일 플랫폼을 찾는 조직.

라이선스 – Apache 2.0 (LICENSE.txt 파일 참조).

---

위 모든 세부 정보는 리포지토리의 README에서 직접 가져왔으며, 추가 기능은 추측되지 않았습니다.