spotify/featran

해결하는 문제

Featran은 데이터 과학 및 머신러닝에서 시간이 많이 소요되는 피처 엔지니어링 과정을 간소화합니다. 스케일링이나 인코딩과 같은 피처 변환의 단순하고 수동적인 구현을 구조화된 타입 안전(type-safe) 방식으로 대체하여 복잡한 피처 세트를 더 쉽게 관리할 수 있게 합니다.

작동 방식

이 라이브러리는 피처 변환을 위해 2단계 프로세스를 사용합니다. 데이터를 요약하는 전역 집계 단계(예: 최솟값 및 최댓값 찾기)를 먼저 수행한 다음, 해당 요약을 기반으로 데이터를 변환하는 요소별 매핑 단계를 수행합니다. 사용자는 FeatureSpec을 정의하여 어떤 필드를 변환할지, 어떤 변환기(예: MinMaxScaler 또는 OneHotEncoder)를 적용할지 지정합니다.

대상 사용자

Scala 생태계에서 작업하며 머신러닝 모델을 위해 원시 데이터를 피처로 변환해야 하는 데이터 과학자 및 머신러닝 엔지니어를 위해 설계되었습니다.

주요 특징

• 광범위한 통합: Scala 컬렉션, Apache Flink, Scalding, Scio, Apache Spark에서 데이터를 추출하는 기능을 지원합니다.
• 유연한 출력: 피처를 Scala 컬렉션, Breeze 벡터, TensorFlow Example Protobufs, XGBoost LabeledPoints, NumPy 파일로 내보낼 수 있습니다.
• 학습/테스트 분할 지원: 이전 추출에서 집계 결과를 가져올 수 있어 학습, 검증, 테스트 세트 간의 일관성을 보장합니다.
• 구성 가능한 사양: 피처 사양 구성 및 출력 분리를 지원합니다.