Leap SignVR : aplicación basada en realidad virtual para el apoyo de la enseñanza de la lengua de señas colombiana usando Leap Motion.

Abstract

Leap SignVR es una aplicación diseñada para el apoyo de la enseñanza de la lengua de señas colombiana con el objetivo de que los usuarios puedan interactuar, aprender y fortalecer esta lengua con el uso del Leap Motion y a través de un conjunto de software (“Orion”, MatLab y Unity), todo esto desarrollado en un entorno de Realidad Virtual.

La idea principal es que el usuario retroalimente las señas realizadas con ayuda de las gafas de realidad virtual y con el sensor Leap Motion, éste último se encarga de detectar y representar las manos en un ambiente de realidad virtual, y se encuentra ubicado en el visor de las gafas, para permitir que el usuario manipule la aplicación.

Con respecto al diseño, en esta aplicación se trabajó con la dactilología de la lengua de señas colombiana, usando el Leap Motion y MatLab para capturar la posición de cada seña, los datos adquiridos son un conjunto de sistemas de coordenadas espaciales, los cuales fueron almacenados en matrices con el fin de enseñarle a una red neuronal a identificar el alfabeto de la lengua de señas. Por otro lado, se realizó un código que permitió comunicar a MatLab con Unity, para transmitirle los datos aprendidos por la red neuronal y así poder establecer un funcionamiento en los escenarios elaborados en Unity, los cuales fueron diseñados para ilustrar y evaluar la lengua de señas colombiana, además de retroalimentar al usuario a medida que recorre los escenarios.