Google ha desarrollado un algoritmo que le permite rastrear con gran precisión los movimientos de las manos con un smartphone. Los desarrolladores creen que esto permitirá implementar nuevas funciones como el reconocimiento del lenguaje de señas. El algoritmo está disponible tanto en forma de código fuente en GitHub como en una aplicación para Android.
El reconocimiento de la postura es una de las tareas clásicas de los algoritmos de visión por computadora. Por ejemplo, se usa para determinar acciones violentas en una multitud, y el año pasado Google lo usó para crear un "reflejo" de un usuario a partir de un gran archivo de imágenes.
Hoy en día, hay muchas implementaciones del algoritmo de seguimiento de postura, tanto para todo el cuerpo como para las partes individuales, como la cara o las manos. Muchos de ellos, como OpenPose, son de código abierto y están disponibles para su uso. Sin embargo, casi todos estos algoritmos utilizan modelos de redes neuronales, que requieren una gran potencia informática y, por lo tanto, no son aplicables en dispositivos móviles.
Siguiendo la mano
Ahora, los programadores de Google han creado una implementación abierta del algoritmo de seguimiento adaptado para trabajar en dispositivos móviles. Al principio, el algoritmo analiza los fotogramas de la cámara y detecta una mano sobre ellos, después de lo cual funciona solo con el área deseada, lo que reduce significativamente la potencia informática requerida.
Durante la operación, el algoritmo crea un modelo de la mano que consta de 21 puntos, los cuales son suficientes para tener una descripción relativamente precisa de la posición de la mano en un momento particular.
El algoritmo funciona en dos modos: en el primero crea un modelo bidimensional de la mano, y en el segundo, uno tridimensional. Basado en tal algoritmo, los desarrolladores también crearon un sistema de reconocimiento de gestos: al recibir un modelo de una mano, el algoritmo analiza los ángulos entre las partes de los dedos y los compara con la base de los gestos que conoce.
Percepción manual 3D en tiempo real en un teléfono móvil a través de MediaPipe. La solución utiliza aprendizaje automático para calcular 21 puntos clave 3D de una mano desde un cuadro de video. La profundidad se indica en escala de grises.
Google
Para aprender el algoritmo, los desarrolladores tuvieron que crear su propio conjunto de datos de aproximadamente 30 mil cuadros, en cada uno de los cuales se marcó manualmente un modelo de pincel. El algoritmo está disponible en GitHub y está adaptado para funcionar en los dos principales sistemas operativos móviles: Android e iOS.
Los usuarios de Android también pueden instalar dos aplicaciones de demostración, una de las cuales crea un modelo bidimensional de la mano, y la segunda dibuja un modelo tridimensional que refleja la distancia relativa a cada punto del pincel. Para iOS, las instrucciones para construir un proyecto en Xcode también están disponibles.
Google reveló recientemente detalles sobre el próximo teléfono inteligente Pixel 4, que se dará a conocer en octubre de 2019. Una de las características del dispositivo será el radar Soli: puede reconocer los gestos. Esto permitirá a los usuarios controlar algunas funciones del teléfono inteligente sin tocarlo.
Fuente: NMAS1
No hay comentarios:
Publicar un comentario