GENERACIÓN DE IMÁGENES CON TÉCNICAS DE APRENDIZAJE AUTOMÁTICO.APLICACIONES EN RECONOCIMIENTO DE LENGUA DE SEÑAS

El objetivo general de este plan de investigacion es el de crear modelos y tecnicas de entrenamiento capaces de generar imagenes artificiales realistas y variadas en entornos con pocos datos etiquetados. Con estos modelos y tecnicas de entrenamiento se facilitara el acceso a multiples nuevas areas de aplicacion para modelos generativos. El enfasis estara puesto en la generacion de imagenes de gestos de lengua de senas, permitiendo de esta forma entrenar modelos discriminadores precisos que utilicen aprendizaje profundo a partir de pocos datos etiquetados. Los objetivos son los siguientes: 1) Estudiar y analizar las bases de datos publicas sobre reconocimiento de gestos, incluyendo bases de datos especificas para lengua de senas, y de grandes bases de datos de diversos dominios para ser utilizadas en las tecnicas de entrenamiento. Particularmente LSA16 y LSA64, bases de datos para la Lengua de Senas Argentina desarrollada en el III-LIDI. 2) Crear nuevos modelos de generacion de imagenes que posean coherencia semantica. Particularmente se estudiaran los autoencoders y las Generative Adversarial Networks (GAN) ya que son los modelos mas utilizados en el estado del arte. 3) Crear nuevas tecnicas de entrenamiento que permitan el entrenamiento de modelos generadores utilizando una cantidad de datos limitada. En particular se estudiaran transfer learning, data augmentation y aprendizaje semi supervisado. 4) Analizar y comparar los resultados obtenidos utilizando los modelos generativos y tecnicas de entrenamiento desarrollados. Se usaran metricas comunmente utilizadas en este tipo de problemas como Frechet Inception Distance (FID) e Inception Score (IS). Adicionalmente se realizaran evaluaciones semanticas para comprobar la variabilidad y coherencia de las imagenes generadas. 5) Desarrollar modelos clasificadores de imagenes aplicado al reconocimiento de gestos de la lengua de senas. Particularmente, se estudiaran Redes Neuronales Convolucionales (CNN) especificas para problemas de clasificacion de objetos en imagenes. Aplicacion, analisis y comparacion de los resultados obtenidos utilizando los nuevos datos generados. Con esta investigacion se espera realizar un aporte significativo al estado del arte en cuanto a modelos generativos de imagenes artificiales y tecnicas de entrenamiento. Particularmente se espera desarrollar modelos que permitan la generacion de nuevas imagenes para gestos de la lengua de senas. Esto permitira diversificar las bases de datos existentes, que suelen poseer pocos datos etiquetados. Esto podria ser aplicado en un futuro a otros dominios con datos etiquetados limitados.