sola1039/HAST-SEC

해결 과제

현실적이고 제어 가능한 가상 캐릭터를 만드는 것은 어렵습니다. 대부분의 시스템은 고가의 하드웨어나 복잡한 학습 과정을 필요로 합니다. 이 프로젝트는 중국어로 3D 캐릭터와 대화하고 '팔을 들어라' 또는 '다리를 들어라'와 같은 간단한 동작 명령을 내릴 수 있는 로컬 비상업용 연구 데모를 제공하며, 모든 과정은 외부 API 없이 자신의 컴퓨터에서 실행됩니다.

작동 원리

이 시스템은 소형 텍스트 모델(약 0.8B 파라미터)과 경량 모션 모델을 결합합니다. 채팅창에 메시지나 동작 지시를 입력하면 텍스트 모델이 의도를 파악하고, 모션 모델이 연속적인 캐릭터 움직임을 생성하여 웹 기반 뷰어에서 재생합니다. 뷰어는 포즈 메트릭과 리소스 사용량을 포함한 지난 15초간의 실시간 그래프를 보여줍니다. 로컬 서비스가 모든 추론을 처리하므로 설치 후 인터넷 연결이 필요하지 않습니다.

대상 사용자

언어 기반 캐릭터 애니메이션을 실험하고자 하는 연구자, 학생, 취미 활동가를 대상으로 합니다. 이 프로젝트는 완성된 제품이 아닌 비상업적 학습 및 연구용 릴리스입니다. 사용자가 코드를 수정하고, 모델을 추가로 학습시키며, 자신의 필요에 맞게 시스템을 조정하는 것을 전제로 합니다. 또한 이는 회사의 더 넓은 연구 방향을 보여주는 데모이기도 합니다.

주요 특징

• 가상 캐릭터와의 중국어 채팅 상호작용.
• 의미론적 모션 제어: "왼손을 흔들어", "오른쪽 다리를 들어"와 같은 간단한 지시 가능.
• CPU 또는 NVIDIA GPU에서 로컬 실행; 외부 API 키 불필요.
• 합법적으로 획득한 자신만의 VRM 캐릭터(전체 스켈레톤, 100MB 미만) 가져오기 가능.
• 15초 모션 곡선, 포즈 메트릭, 리소스 사용량 실시간 표시.
• 학습 및 교육을 위한 비상업적 라이선스로 오픈 소스 공개.