hustvl/Moebius

해결하는 문제

Moebius는 AI 이미지 인페인팅 분야에서 "모든 비용을 치르더라도 규모를 키우는" 경향을 해결합니다. 고성능 결과를 얻기 위해 일반적으로 거대한 기초 모델(10B 이상 파라미터)이 필요하지만, 이는 계산 비용이 높고 느립니다. Moebius는 산업 수준의 품질을 유지하면서 파라미터 수와 추론 시간을 극적으로 줄여, 소비자용 및 엣지 디바이스에서도 고성능 인페인팅을 가능하게 하는 경량 대안을 제공합니다.

작동 방식

Moebius는 아키텍처 혁신과 지식 증류를 결합하여 효율성을 달성합니다.

• LΙMI Block: 공간적 맥락과 전역적 의미 사전 지식을 고정 크기의 선형 행렬로 압축하여 자기 및 크로스 어텐션을 재정의하는 커스텀 아키텍처입니다. 이로 인해 어텐션 메커니즘과 관련된 2차 계산 오버헤드를 제거합니다.
• 적응형 다중 해상도 증류: 모델은 더 큰 "선생님" 모델(PixelHacker)로부터 학습하는 "학생" 모델로 훈련됩니다. 미세한 중간 특징에서 거시적인 확산 궤적에 이르기까지 여러 수준에서 감독을 정렬하며, 비용이 큰 픽셀 공간 디코딩을 피하기 위해 엄격히 잠재 공간 내에서 수행합니다.
• 상호보완적 균형 조정: 컴팩트한 모델 구조와 증류 프로세스 간의 관계를 최적화하여, 학생 모델이 최대한의 의미적 추론을 흡수하면서도 성능 한계에 도달하지 않도록 합니다.

대상 사용자

Moebius는 하드웨어 제약이나 엣지 디바이스에서 실시간 추론 속도를 필요로 하는 고성능 이미지 인페인팅 및 AI 객체 제거가 필요한 개발자 및 연구자에게 적합합니다.

주요 특징

• 극도의 효율성: FLUX.1-Fill-Dev와 같은 모델보다 2% 미만의 크기인 0.22B 파라미터만 사용합니다.
• 고속 성능: 1단계당 약 26ms의 지연으로 15배 이상의 추론 가속을 제공합니다.
• 경쟁력 있는 품질: 자연 장면과 포트레이트 장면 모두에서 6개의 벤치마크에서 10B 수준의 최신 기술 모델과 동등하거나 더 뛰어난 성능을 발휘합니다.
• 특화된 초점: 일반적인 목적 모델이 아닌, 인페인팅에 특화되어 설계되어 있습니다.