Resumen en español

El proyecto presenta el desarrollo de un sistema audiovisual que apoya a personas sordas en la práctica de la pronunciación de palabras, ofreciendo retroalimentación visual y táctil como alternativa a la auditiva. El sistema integra reconocimiento automático de voz, análisis de similitud entre señales de audio y generación de estímulos vibrotáctiles, permitiendo percibir el lenguaje hablado mediante el tacto y la vista. Reconoce 12 palabras en español y las traduce en patrones vibratorios aplicables sobre la piel, con potencial en rehabilitación del habla y accesibilidad sensorial. El módulo de reconocimiento de voz combina dos enfoques: uno basado en características acústicas predefinidas (MFCC, espectrogramas y chroma) para entrenar modelos HMM y LSTM; y otro con el modelo preentrenado Wav2Vec2.0, que genera representaciones profundas de audio a 16 kHz procesadas mediante PCA y usadas como entrada en redes LSTM y GRU. En pruebas con un conjunto balanceado de 12 palabras agrupadas por punto de articulación, el enfoque de características predefinidas alcanzó un F1-score promedio de 0.95 ± 0.02, mientras que el de Transformers logró 0.85 ± 0.03. La generación vibrotáctil se basó en un banco de filtros Gammatone y la transformada de Hilbert para obtener envolventes temporales que modulan una señal portadora de 150 Hz, óptima para estimulación táctil. Las pruebas con seis personas mostraron una precisión promedio de 0.74 ± 0.07, destacando las palabras “mucho” y “amigo” con 0.88 ± 0.07 y ± 0.06 respectivamente.