Everlyn-Labs/Everlyn-1

Everlyn‑1 개요

Everlyn‑1은 Everlyn Labs의 오픈소스 연구 제품군으로, 현대의 비디오 생성 및 멀티모달 언어 모델에서 핵심적인 세 가지 문제를 해결합니다.

구성 요소	기능	중요성
벡터 양자화를 위한 분포 매칭 (Wasserstein‑VQ)	벡터 양자화 비디오 모델에서 사용되는 코드북을 학습시키는 새로운 방법을 도입합니다. Wasserstein 거리를 사용하여 잠재 벡터의 분포를 코드북과 일치시킴으로써 코드북 활용도를 높이고 양자화 오차를 줄입니다.	이산 잠재 공간의 동작이 개선되어 학습이 더 안정적이고 비디오 생성 품질이 높아집니다.
EfficientARV	이미지와 비디오를 모두 생성할 수 있는 효율적인 자기회귀 아키텍처입니다. 애니메이션, 인페인팅, 아웃페인팅, 비디오 예측 및 보간과 같은 조건부 작업을 지원하며, 멀티모달 대규모 언어 모델과 즉시 연동되도록 설계되었습니다.	일반적인 자기회귀 비디오 모델의 높은 연산 비용 없이도 다양한 비디오 생성 작업을 단일 모델로 처리할 수 있습니다.
ANTRP (Intervening Anchor Token)	멀티모달 LLM을 위한 디코딩 시점 전략으로, 환각을 줄여줍니다. 쿼리-키 어텐션 매개변수의 분산을 조정하는(TAME 메커니즘) 방식을 통해 "앵커" 토큰이 어텐션 스펙트럼을 지배하지 않도록 합니다.	추론 지연 시간을 추가하지 않고도 멀티모달 출력에서 허구의 객체나 사실이 나타나는 빈도를 낮춥니다.

구성 요소 간의 연동

이 세 가지 저장소는 Everlyn‑1이라는 우산 아래 연결되어 있습니다. 첫 번째 구성 요소는 자기회귀 백본(EfficientARV)이 사용하는 이산 잠재 표현을 개선합니다. 두 번째 구성 요소는 다양한 시각적 작업에 대해 조건화할 수 있는 백본을 제공합니다. 세 번째 구성 요소는 동일한 토큰 스트림을 사용하는 모든 멀티모달 LLM 위에 적용되어, 모델이 시각적 콘텐츠를 설명하거나 생성하도록 요청받을 때 전체 파이프라인의 신뢰성을 높입니다.

권장 사용자

• 연구소: 안정적인 VQ 계층이 필요한 비디오 생성 또는 멀티모달 LLM을 연구하는 연구원.
• 개발자: 비디오-텍스트 변환, 대화형 비디오 편집, AI 기반 애니메이션 등의 애플리케이션을 구축하며 경량 자기회귀 모델을 찾는 개발자.
• LLM 팀: 시각-언어 작업에서 환각을 줄이기 위한 플러그인 방식의 디코딩 전략을 찾는 팀.

시작하기

각 구성 요소는 별도의 GitHub 저장소에 있습니다(링크는 README 참조). 일반적인 워크플로우는 다음과 같습니다.

1. 비디오 데이터셋에서 Wasserstein‑VQ 코드북을 학습하거나 미세 조정합니다.
2. 학습된 코드북을 EfficientARV와 함께 사용하여 비디오 토큰의 자기회귀 생성을 학습합니다.
3. 멀티모달 LLM을 배포할 때 ANTRP/TAME 디코딩 훅을 활성화하여 출력 충실도를 향상시킵니다.

이 세 프로젝트는 모두 오픈소스이며, 메인 Everlyn‑1 페이지 (everlyn.tech)에서 추가 문서, 모델 체크포인트 및 사전 학습된 가중치에 대한 링크를 제공합니다.

---

이 요약은 저장소의 README에 제공된 정보만을 바탕으로 작성되었습니다.