mindsdb/lightwood

해결하는 문제

Lightwood는 기계 학습(ML) 수명 주기와 관련된 반복적인 보일러플레이트 코드를 줄이기 위해 설계된 AutoML 프레임워크입니다. 사용자가 데이터 준비 및 파이프라인 구축의 수동 설정보다는 데이터와 모델의 고유한 측면에 집중할 수 있게 해줍니다.

작동 방식

Lightwood는 "JSON-AI"라는 선언적 구문을 사용하여 ML 파이프라인을 정의합니다. 프로세스를 세 가지 핵심 단계로 추상화합니다:

1. 전처리 및 정제: 프레임워크는 데이터셋을 분석하여 데이터 유형(숫자, 범주형 등)을 식별하고 정제 및 분할 전략을 자동으로 생성합니다.
2. 특징 엔지니어링: "인코더"를 사용하여 전처리된 데이터를 수치 표현으로 변환합니다. 이러한 인코더는 규칙 기반(특정 지침 따름)이거나 학습 기반(훈련된 표현)일 수 있습니다.
3. 모델 구축 및 훈련: "믹서" 모델이 인코딩된 특징을 받아 예측을 생성합니다. 주로 PyTorch를 사용하지만 다른 모델 아키텍처도 지원합니다.

사용자는 동일한 기본 동작을 그대로 수용하거나 JSON-AI 구문의 특정 단계를 재정의하여 파이프라인을 사용자 정의할 수 있으며, Lightwood는 이를 실행 가능한 Python 코드로 변환합니다.

대상 사용자

기계 학습의 민주화를 원하는 개발자 및 사용자를 위해 구축되었으며, 전문 데이터 과학자가 되지 않고도 예측 모델을 구축할 수 있도록 지원합니다.

하이라이트

• 선언적 파이프라인: 보일러플레이트 코드 작성 없이 JSON-AI를 사용하여 ML 파이프라인을 정의하고 사용자 정의합니다.
• 다중 모달 데이터 지원: 숫자, 날짜, 범주, 태그, 텍스트, 배열 및 다양한 멀티미디어 형식과 함께 작동합니다.
• 시계열 지원: 행 간 종속성이 있는 문제를 위한 전용 모드가 포함되어 있습니다.
• 확장 가능한 아키텍처: "Bring Your Own Model" (BYOM)을 지원하여 사용자가 사용자 정의 클리너, 스플리터 및 믹서를 도입할 수 있습니다.