Resumen en español

Este estudio propone un enfoque no supervisado para asociar información semántica a nubes de puntos 3D generadas a partir de fotografías, abordando la carencia de etiquetas en métodos tradicionales como Estructura desde el Movimiento (SfM) y Multi Visión Estéreo (MVS). Se implementaron redes neuronales convolucionales (CNN) combinadas con autoencoders completos y mapas auto-organizados de Kohonen (SOM), comparando su rendimiento con técnicas clásicas de clustering (k-means) y crecimiento de regiones. Los experimentos se realizaron en tres escenarios: banano (16 imágenes), monumento (396 imágenes) y parque (73 imágenes), procesadas mediante flujos de trabajo en Python con librerías como TensorFlow y OpenMVG. La metodología incluyó cuatro etapas: generación de nubes de puntos, segmentación no supervisada con redes neuronales (extracción de características, SOM y refinamiento con k-means), segmentación con algoritmos tradicionales, y evaluación mediante métricas de precisión e Intersección sobre Unión. Las redes neuronales destacaron en la escena del banano, con precisión global del 98% e Intersección sobre Unión (Intersección sobre Unión) de 0.97 para el fondo, aunque la clase "Banano" mostró menor rendimiento (Intersección sobre Unión: 0.76-0.87). En contraste, el clustering y crecimiento de regiones presentaron precisiones inferiores (70.8% y 67%, respectivamente), con Intersección sobre Unión críticos para clases complejas (ej. 0.08 en clustering para "Banano").