sola1039/HAST-SEC

解決する課題

リアルで制御可能な仮想キャラクターを作成するのは困難です。ほとんどのシステムは高価なハードウェアや複雑なトレーニングを必要とします。このプロジェクトは、中国語で3Dキャラクターと対話し、「腕を上げる」「足を上げる」といった単純な動作コマンドを与えることができる、ローカル環境向けの非商用研究デモを提供します。すべて外部APIなしで、自分のコンピュータ上で動作します。

仕組み

このシステムは、小さなテキストモデル（約0.8Bパラメータ）と軽量なモーションモデルを組み合わせています。チャットボックスにメッセージや動作指示を入力すると、テキストモデルが意図を理解し、モーションモデルが連続的なキャラクターの動きを生成してWebベースのビューアで再生します。ビューアには、ポーズメトリクスやリソース使用量を含む過去15秒間のリアルタイムグラフも表示されます。ローカルサービスがすべての推論を処理するため、インストール後はインターネット接続が不要です。

対象ユーザー

言語駆動型のキャラクターアニメーションを試したい研究者、学生、愛好家を対象としています。これは明確に非商用の学習・研究用リリースであり、完成品ではありません。ユーザーがコードを修正し、モデルをさらにトレーニングし、自分のニーズに合わせてシステムを適応させることを想定しています。また、当社のより広範な研究の方向性を示すデモンストレーションでもあります。

ハイライト

• 仮想キャラクターとの中国語チャット対話。
• セマンティックなモーション制御：「左手を振って」「右足を上げて」といった単純な指示が可能。
• CPUまたはNVIDIA GPUでローカル動作。外部APIキーは不要。
• 合法的に入手した独自のVRMキャラクター（フルスケルトン、100MB以下）をインポート可能。
• 15秒間のモーション曲線、ポーズメトリクス、リソース使用量のライブ表示。
• 学習および教育目的の非商用ライセンス下でのオープンソース公開。