Por Edward J. Correia
Intel apunta a revolucionar la manera en que los usuarios interactúan con las PC tradicionales, y Jacob Pennock es uno de los principales impulsores de este movimiento. En 2013, Pennock ganó la competencia Intel Perceptual Computing Challenge con Head of the Order*, un juego que cautivó con su uso de la informática perceptual. Lo creó inicialmente con el SDK de Intel® Perceptual Computing y la cámara Creative Senz3D*, y desde entonces ha evolucionado con la implementación del nuevo SDK de Intel® RealSense™ y la cámara 3D Intel® RealSense™ R200 (de cara al mundo). Las experiencias de Pennock y sus colaboradores están abriendo camino entre las nuevas API y creando una “carta náutica” que los demás desarrolladores pueden usar para marcar el rumbo de sus propias aplicaciones perceptuales.
Con una nueva empresa, Livid Interactive, y el más reciente SDK de Intel RealSense bajo el brazo, Pennock y su equipo se dispusieron a transformar la experiencia del usuario y mejorar Head of the Order (Figura 1) mediante el perfeccionamiento de los controles gestuales y la implementación de puntos de seguimiento de manos 3D, lo cual no era posibles con el SDK de Intel Perceptual Computing.
Figura 1: Avance de Head of the Order*de Livid Interactive.
De la informática perceptual al SDK de Intel® RealSense™
Mejoras en el control por gestos
Al equipo de Head of the Order le interesaban en especial las nuevas posibilidades de seguimiento de manos y dedos del SDK. Estas funcionalidades proporcionan posicionamiento 3D de cada articulación de la mano del usuario, con 22 puntos de seguimiento (Figura 2) que aumentan la precisión. El control por medio de las manos es la esencia del juego; estas se usan para crear y romper hechizos, y para combinar varios y así engendrar otros más poderosos.
Figura 2: La mano se puede seguir en 3D con 22 puntos de referencia [Página de origen de la imagen]
Seguimiento de manos en 3D
Con el primer SDK, las manos del usuario solo se podían representar como imágenes planas, bidimensionales, superpuestas en la pantalla (Figura 3, izquierda). Para trabajar con esos recursos, Pennock tuvo que crear un sistema de representación de manos que interpolaba muestras de imágenes 2D de baja resolución de las manos y luego las agregaba a la pila de representación del juego en múltiples profundidades mediante un proceso especializado con su propio código.
Según Pennock, la implementación de un seguimiento de manos más refinado en el nuevo SDK de Intel RealSense SDK hizo posible que la experiencia de juego fuera mucho más realista y entretenida, con un posicionamiento 3D muy superior. Las manos se ven ahora como modelos 3D (Figuras 3 y 4, derecha) que interactúan en el espacio del juego.
Figura 3: Creación de hechizos original en 2D (izq.) y representación mejorada de manos en 3D (der.).
Esta funcionalidad hace más inmersivo el juego y permite que Head of the Order se ejecute en cascos de realidad virtual. El SDK de Intel RealSense también mejora sustancialmente el seguimiento de las posiciones de todas las articulaciones de los dedos, lo cual suma mucha profundidad y precisión en los hechizos y el desplazamiento por el espacio virtual.
Figura 4: Lanzamiento de hechizo original en 2D (izq.) y representación mejorada de manos en 3D (der.).
El paso del SDK de Intel Perceptual Computing al SDK de Intel RealSense tampoco ha ido como una seda; llevó tiempo que la funcionalidad alcanzara los niveles necesarios en el nuevo SDK. Pero para cuando la versión Gold R2 del SDK estuvo lista, Pennock y su equipo habían reproducido y extendido lo que habían conseguido con su predecesor.
Dificultades
Head of the Order se controla por entero con gestos de las manos, y para crear los hechizos hay que dibujar figuras simples en el aire. Con el tiempo, los jugadores consiguen dominar el arte de combinar gestos para engendrar los hechizos más poderosos. En general cuesta aprender los controles gestuales, más que nada si el jugador está acostumbrado a las interfaces tradicionales de mouse y teclado, o a los joysticks. Una de las mayores complicaciones que tuvieron Pennock y su equipo fue comunicar a los jugadores lo que querían que hicieran.
Observaron que si un jugador hace movimientos fortuitos o irreconocibles, o está demasiado lejos o cerca de la cámara 3D Intel RealSense, esta no puede procesar lo que el jugador intenta hacer. Para aquellos que están acostumbrados a las interfaces tradicionales, esta situación puede ser frustrante. Pennock dijo que “Aunque funcione a la perfección (…) podrían actuar de manera inesperada, y daría la impresión de que el sistema no funciona. Es algo difícil de solucionar en la etapa de desarrollo”.
Para resolver esta cuestión, crearon una guía de 5 minutos con narración y videos de ejemplo en la que se explican las técnicas de control correctas (Figura 5) y se muestran situaciones posibles del juego. La idea de la guía surgió durante el primer concurso, porque a los primeros evaluadores les costó darse cuenta de que la creación de hechizos constaba de tres pasos.
Figura 5:La guía demuestra la técnica correcta.
Como las indicaciones visuales son esenciales en la mecánica del juego, Pennock tomó en consideración para la visualización la velocidad de los gestos. Ahora, solo se dibuja una estela en la pantalla cuando la velocidad de movimiento de la mano cae dentro de los límites aceptables. “Además de eso, cuando estamos siguiendo un gesto en especial, las manos resplandecen”.
Para los usuarios que buscan un juego “fácil”, Head of the Order ofrece personajes que hacen gestos muy simples.
Consejo para los desarrolladores
Pruebas
Pennock recalca la importancia de dejar que los nuevos usuarios prueben la aplicación e interactúen con ella, importancia que se acentúa cuando las aplicaciones están basadas en gestos. También hace hincapié en que la aplicación la pruebe gente que no participó en su desarrollo, porque es fácil hacer funcionar bien algo si ya sabemos cómo usarlo. A eso se suma la oportunidad de ver con qué están en desacuerdo los nuevos usuarios y sopesar maneras de solucionar el problema.
Las pruebas con gente más joven son por lo general las más exitosas, lo cual no sorprende. “A los niños que crecieron con controles por movimiento como Microsoft Kinect* les parece intuitivo el control gestual y normalmente no tienen grandes inconvenientes”, comenta Pennock, y agrega que la mayoría de los problemas surgen cuando prueban el sistema en las ferias con un público más maduro.
El rendimiento antes que la implementación
Pennock y su equipo son conscientes de que el rendimiento puede crear conflictos: los gigantescos flujos de datos que provienen de las cámaras generan latencia. La dificultad se potencia al usar más de un módulo de seguimiento a la vez u optar por muchos puntos de seguimiento.
Al principio llevó tiempo que la funcionalidad estuviera a la altura de lo esperado en el nuevo SDK de RealSense, pero según Pennock “La versión Gold R2 fue una actualización fantástica”. En la versión más reciente, se reduce el ruido del seguimiento de articulaciones y las funciones de suavizado son mejores.
De cara al futuro
Cada vez hay más sistemas en los que se puede jugar Head of the Order. El software se diseñó solo para sistemas equipados con una interfaz de usuario natural, como la que proporciona la cámara 3D Intel RealSense. Intel ofrece versiones ajustadas a la aplicación deseada. En la actualidad, hay tabletas, laptops 2 en 1 convencionales y PC todo en uno equipadas con la tecnología Intel RealSense. Y cada vez son más las empresas que ofrecen o han anunciado equipos con esta tecnología, entre ellas Acer, Asus, Dell, Fujitsu, Hewlett-Packard, Lenovo y NEC.
El SDK de Intel RealSense y las tecnologías a las cuales está vinculado hacen posible el seguimiento y la detección de rostros, la detección de emociones, el escaneo 3D, la eliminación del fondo y el seguimiento de 22 articulaciones de cada mano, para dar gran precisión al reconocimiento de gestos no táctiles. Pennock cree que en el futuro la tecnología Intel RealSense podría aplicarse a la conducción de automóviles, la robótica, la automatización del hogar y la industria: “Veo enormes oportunidades para los dispositivos de medición”.
Acerca del desarrollador
La versión originaria de Head of the Order se presentó al concurso Intel Perceptual Computing a nombre de la empresa de desarrollo Unicorn Forest Games, de Pennock. Esta empresa unió fuerzas con Helios Interactive, donde Pennock trabajaba como desarrollador. El resultado fue una nueva entidad: Livid Interactive, con sede en San Francisco.
De acuerdo con Michael Schaiman, socio gerente de Helios, a su compañía le pidieron desarrollar conceptos para Intel® Experience, un conjunto de “zonas de experiencia práctica” que se iban a instalar en 50 de las tiendas principales de Best Buy en todo el territorio estadounidense. En estas zonas de experiencia práctica se exhiben tecnologías Intel® de punta para gente de todas las edades y habilidades técnicas. La tarea de Schaiman fue demostrar la tecnología Intel RealSense. “Un concepto que se nos ocurrió fue crear una versión especial de Head of the Order con la que pudieran jugar los clientes”, dijo Schaiman. “Les encantó la idea”. La versión demo de Head of the Order llegará a las tiendas en junio de 2015 y poco después aparecerá el juego.
Recursos de Intel
A lo largo de la etapa de desarrollo, el equipo de Head of the Order hizo consultas mensuales a los ingenieros de Intel. Estas consultas les permitieron mantenerse al corriente de las prestaciones del SDK de Intel RealSense, código de ejemplo y documentación próximos a publicarse, y tener una estructura que permitiera gestionar opiniones sobre lo hecho anteriormente.
Para obtener más información, visite las páginas del SDK de Intel RealSensey de Ayuda para el SDK.
Si quiere conocer más acerca de Livid Interactive, haga clic en este vínculo.