Reconocimiento De Acciones Humanas En Videos Usando Una Red Neuronal CNN LSTM Robusta

espanolEl reconocimiento de acciones en videos es actualmente un tema de interes en el area de vision por computadora, debido a potenciales aplicaciones como: indexacion multimedia, vigilancia en espacios publicos, entre otras. En este articulo proponemos: (1) Implementar una arquitectura CNN–LSTM para esta tarea. Primero, una red neuronal convolucional VGG16 previamente entrenada extrae las caracteristicas del video de entrada. Luego, una capa LSTM determina la clase particular del video. (2) Estudiar como la cantidad de unidades LSTM afecta el rendimiento del sistema. Para llevar a cabo las fases de entrenamiento y prueba, utilizamos los conjuntos de datos KTH, UCF-11 y HMDB-51. (3) Evaluar el rendimiento de nuestro sistema utilizando la precision como metrica de evaluacion, dado el balance existente entre las clases de los conjuntos de datos. Obtenemos un 93%, 91% y 47% de precision respectivamente para cada conjunto de datos, mejorando los resultados del estado del arte para los primeros dos. Ademas de los resultados obtenidos, la principal contribucion de este trabajo yace en la evaluacion de diferentes arquitecturas CNN-LSTM para la tarea de reconocimiento de acciones. EnglishAction recognition in videos is currently a topic of interest in the area of computer vision, due to potential applications such as: multimedia indexing, surveillance in public spaces, among others. In this paper we propose (1) The implementation of a CNN–LSTM architecture. First, a pre-trained VGG16 convolutional neural network extracts the features of the input video. Then, an LSTM classifies the video sequence in a particular class. (2) A study of how the number of LSTM units affects the performance of the system. To carry out the training and test phases, we used the KTH, UCF-11 and HMDB-51 datasets. (3) An evaluation of the performance of our system using accuracy as evaluation metric, given the existing balance of the classes in the datasets. We obtain 93%, 91% and 47% accuracy respectively for each dataset, improving state of the art results for the former two. Besides the results attained, the main contribution of this work lays on the evaluation of different CNN-LSTM architectures for the action recognition task.