Sentis Landmark de mano de unity

unity
Detección de objetos

Este es el modelo de landmark de mano de Google en el formato Sentis. El modelo detecta marcadores 3D en una mano centrada en una imagen. Puede utilizar estos marcadores, por ejemplo, para controlar un rig de huesos. IMPORTANTE: Las manos deben estar centradas y recortadas para ajustarse a la imagen. Para imágenes con manos que no están en el centro o para múltiples manos, necesitará otro modelo para detectar las manos y recortarlas antes de alimentarlas a este modelo. Por ejemplo, puede utilizar Blaze Palm para detectarlas (pero este modelo solo funciona con palmas abiertas).

Como usar

Crear una nueva escena en Unity 2023
Instalar com.unity.sentis versión 1.4.0-pre.3 desde el gestor de paquetes
Añadir el archivo C# a la Cámara Principal
Arrastrar el archivo hand_landmark.sentis en el campo de assets
Poner un video en la carpeta Assets/StreamingAssets y establecer la variable videoName al nombre del video
Crear un RawImage y colocarlo en su escena. Enlazar esta imagen en el campo previewUI.

Funcionalidades

Detecta marcadores 3D en una mano centrada en una imagen.
Utilizable para controlar un rig de huesos.
Compatible con la versión 1.4.0-pre.3 de Unity Sentis.

Casos de uso

Controlar un rig de huesos.
Detectar y marcar manos en 3D en imágenes centradas.