Title: Análisis de la arquitectura Transformer en el procesamiento del lenguaje natural
University that offers the project: University of Coruña
Director: López Taboada, Guillermo
Student: Graña Vázquez, David
Summary:
La arquitectura Transformer es introducida por primera vez en el artículo de
2017 ‘Attention is all you need’ [2], donde se consigue una mejora sustancial
en la velocidad y la calidad de la traducción entre lenguas en el ámbito del
NLP. Esto fue posible gracias a su mecanismo de ‘Attention’ que es capaz de
destacar partes específicas de la información cuando se considera relevante
para una tarea dada. Más aún, el mecanismo permite operaciones de
aprendizaje y de inferencia en paralelo, optimizando así el tiempo de
procesamiento y la calidad de las predicciones. Esto ha permitido un gran
avance en todos los ámbitos de aplicación del Deep Learning como la visión
por ordenador, el NLP o el reconocimiento de voz.
En este TFM buscamos estudiar su estructura, cómo aprende y obtiene
conocimiento de los datos; su especial valor en el ámbito del NLP, qué
mejoras ha introducido con respecto a los modelos predecesores; y su
rendimiento en una serie de casos de uso, como la clasificación de
sentimientos o la generación de texto.
| More information |