isarandi/nlf

[NeurIPS 2024] Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation

해결하는 문제

Neural Localizer Fields (NLF)는 이미지나 비디오에서 3D 인간 포즈와 형태를 연속적으로 추정하는 방법을 제공합니다. 3D 공간에서 인체 움직임과 물리적 구조를 정확하게 추적하는 과제를 해결합니다.

작동 방식

이 프로젝트는 신경 필드 기반 접근 방식을 사용하여 인체 기하학과 포즈를 표현합니다. 연속 표현을 활용함으로써 모델은 시각 입력에서 3D 인체 파라미터를 추론할 수 있으며, PyTorch 및 TensorFlow 프레임워크 모두에 대한 훈련 코드가 제공됩니다.

대상 사용자

이 프로젝트는 컴퓨터 비전 분야의 연구자와 개발자, 특히 인간 모션 캡처, 3D 재구성, 구현 지능에 초점을 맞춘 사람들을 대상으로 합니다.

주요 특징

  • NeurIPS 2024에서 발표.
  • PyTorch 및 TensorFlow 구현 모두 지원.
  • 사용자 정의 모델 개발을 위한 훈련 코드 포함.
  • 연속적인 3D 포즈 및 형태 추정을 위해 설계.

관련

  • 프로젝트
    PacesaLab/BindCraft2

    BindCraft2는 Linux 기반 명령줄 파이프라인으로, AlphaFold 2와 ProteinMPNN을 사용하여 사용자가 제공한 표적에 대한 de novo 단백질 바인더, 펩타이드, 항체 단편을 설계합니다. 사용자는 JSON 캠페인(표적, 바인더 길이, 모달리티, 선택 속성)을 구성하고 도구는 구조 예측, 서열 재설계 및 필터 점수 계산을 반복하여 순위가 매겨진 후보 서열과 예측 복합체 구조를 출력합니다.

  • 프로젝트
    xibushu/UniForge3D

    UniForge3D는 물체의 몇 장의 정렬되지 않은 사진을 완전한 3D 모델로 변환하는 AI 시스템입니다. 공유 잠재 공간 내에서 관찰된 기하학적 구조를 재구성하고 누락된 부분을 생성하며, 뷰 선택 단계를 통해 세부 정보를 보존합니다. 이 저장소는 Conda 기반 설치, 간단한 infer.py 스크립트, MIT 라이선스 코드 및 사전 학습된 가중치(원래 라이선스 적용)를 제공합니다.

  • 프로젝트
    jasongzy/Make-It-Animatable

    3D 메시에서 관절 위치와 스킨웨이트를 예측함으로써 애니메이션 대응 3D 캐릭터 생성을 자동화하는 효율적인 프레임워크.

  • 프로젝트
    Dai-Wenxun/MotionLCM

    MotionLCM는 실시간 텍스트 조건부 인간 운동 생성을 위한 연구용 코드베이스입니다. 단일 스텝 추론을 가능하게 하는 잠재 일관성 모델과 명시적인 관절 궤적을 포함하는 Motion ControlNet을 사용하며, 운동 재구성, 텍스트에서 운동으로의 변환, 제어 가능한 운동 합성을 지원합니다. README에는 conda 환경 설정, HumanML3D 데이터 준비, 사전 학습 모델 다운로드, 데모 명령어, SMPL/Blender 렌더링, YAML 설정 파일을 통한 완전한 학습 지침이 포함되어 있습니다.