Prototipo de sistema de reconocimiento de gestos de mano en tiempo real para la interacción humano-computadora – GestOS

Abstract

El presente trabajo se centró en el desarrollo de GestOS, un prototipo de reconocimiento de gestos de mano en tiempo real orientado a mejorar la interacción humano-computadora. Su propósito fue ofrecer una alternativa más accesible e inclusiva a los métodos tradicionales de entrada, como el teclado y el mouse, beneficiando tanto a personas con discapacidades como a quienes buscan nuevas formas de interacción. GestOS se construyó con una arquitectura modular compuesta por cuatro capas: presentación (React, TypeScript y Tailwind CSS), aplicación (Electron y Node.js), lógica de negocio (Python, MediaPipe y OpenCV) y acceso al sistema (PyAutoGUI, pynput y otras librerías). Este diseño permitió mantener una estructura escalable, estable y de fácil mantenimiento. El sistema emplea un enfoque híbrido que combina el análisis de puntos clave de la mano con modelos de aprendizaje automático, logrando reconocer siete gestos principales y algunos adicionales con una precisión cercana al 90%. Para evaluar su funcionamiento, se realizaron pruebas funcionales, de rendimiento y de accesibilidad con 43 usuarios, basadas en las normas WCAG 2.1 (nivel AA). Los resultados fueron positivos, aunque se identificaron áreas de mejora, como el rendimiento en condiciones de baja iluminación y la personalización de gestos. GestOS demuestra que la visión artificial puede contribuir significativamente a crear interfaces más naturales e inclusivas. A futuro, se plantea mejorar la precisión, la velocidad de respuesta y permitir el entrenamiento personalizado de gestos, fortaleciendo así la accesibilidad tecnológica.