tensorflow/graphics

何を解決するか

3Dビジョンタスク用の機械学習モデルを訓練するには、通常、大量のラベル付きデータが必要ですが、その作成には高コストがかかります。TensorFlow Graphicsは、『合成による解析』（analysis by synthesis）を用いて自己教師あり学習が可能な、微分可能なグラフィックスレイヤーを提供することで、この課題に対処します。システムはシーンのパラメータを抽出し、それを再レンダリングして元の画像と照合することで、正確性を検証します。

仕組み

コンピュータグラフィックス技術をニューラルネットワークアーキテクチャに直接組み込み、微分可能なレイヤーとして利用します。これにより、ネットワークは幾何学的仮定や制約を活用できます。このライブラリには、カメラ、反射モデル、空間変換、メッシュ畳み込みなどの特定のコンポーネントに加え、TensorBoard用の3Dビューアーも提供されており、3Dメッシュやポイントクラウドのデバッグを支援します。

対象ユーザー

3Dコンピュータビジョン、オブジェクトポーズ推定、表面変形用の機械学習モデルを開発している研究者や開発者。

特徴

• ニューラルネットワーク向けの微分可能なグラフィックスおよび幾何学レイヤー。
• 合成による解析を用いた自己教師あり学習のサポート。
• TensorBoard用の統合された3D可視化プラグイン。
• カメラ、反射、メッシュ畳み込み向けの包括的なツールセット。

3Dビジョンモデルの自己教師あり学習を可能にする、微分可能なグラフィックスと幾何学レイヤーのライブラリ— @tensorflow