Reconocimiento de expresiones faciales y la postula de la cabeza usando modelos de deep learning

Abstract

En la actualidad, la interacción humano computador (IHC) desempeña un papel crucial en diversas aplicaciones, como videoconferencias, e-learning, vigilancia y seguridad, robótica social y monitoreo de la atención de conductores. Dentro de este campo, la detección de la postura de la cabeza y las expresiones faciales es fundamental para que las máquinas comprendan mejor las emociones humanas, infieran el foco de atención y analicen el comportamiento. No obstante, la variabilidad, precisión y velocidad de los sistemas actuales representan desafíos que restringen su implementación en aplicaciones que exigen respuestas en tiempo real.

Este estudio tiene como objetivo principal reconocer las expresiones faciales y la postura de la cabeza mediante el uso de modelos de Deep Learning. Para ello, se utilizaron los conjuntos de datos FER-2013 y Biwi, que fueron divididos adecuadamente para el entrenamiento y evaluación de tres arquitecturas diferentes: AlexNet, DenseNet y ResNet18. En el proceso se aplicaron técnicas de ajuste de hiperparámetros, aprendizaje por transferencia (transfer learning) y ponderación de clases (class weights) para seleccionar el modelo más adecuado. Finalmente, los modelos seleccionados se integraron en una aplicación web de videoconferencia para realizar pruebas en tiempo real.

En cuanto a los resultados, para el conjunto de datos FER-2013 se obtuvieron los siguientes F1-scores: 67.17% con DenseNet, 64.56% con ResNet18 y 62.66% con AlexNet. Para el conjunto de datos Biwi, los accuracy alcanzados fueron del 98.5% para ResNet18, 98% para DenseNet y 96.25% para AlexNet. Aunque DenseNet obtuvo buenos resultados, su mayor complejidad y requisitos de memoria hicieron que ResNet18 fuera la opción más adecuada para la integración en la aplicación web de videoconferencia, donde se lograron resultados en tiempo real satisfactorios.

En conclusión, los modelos implementados demostraron ser efectivos para el reconocimiento de expresiones faciales y la postura de la cabeza. Sin embargo, aunque para el conjunto de datos Biwi se alcanzó una exactitud superior al 90%, para FER2013 el F1-score no superó el 70%. Esto puede deberse a la falta de balance en las clases de FER-2013, la alta similitud de algunas imágenes que pertenecen a diferentes clases y el hecho de que las imágenes son en escala de grises y de baja resolución (48x48 píxeles). Además, aunque el sistema mostró buenos resultados en tiempo real, no fue completamente preciso en ciertos casos, por lo que se recomienda ampliar el conjunto de datos, incorporando mayor variabilidad en términos de posiciones, fondos, tamaños e iluminación.