SEMANA #5 Asistente de preguntas Barlas
Hola gente,
Comenzamos a escribir el informe de progreso en esta semana. Antes de comenzar a escribirlo, tratamos de ajustar nuestro conjunto de datos en el modelo mT5 [1] con el conjunto de datos TQuAD [2]. Comencemos explicando el modelo mT5.
Modelo T5 de PNL
T5 es un modelo de lenguaje preentrenado a gran escala desarrollado por Google para tareas de PNL. Se presentó en un artículo publicado por Google Research en 2020, que lo describe como un "transformador de transferencia de texto a texto" que se puede ajustar para una amplia gama de tareas de NLP. T5 se basa en la arquitectura Transformer, que utiliza mecanismos de atención para procesar el texto de entrada y generar texto de salida. A diferencia de muchos modelos de lenguaje anteriores, T5 está capacitado para generar texto en respuesta a un mensaje determinado, lo que permite ajustarlo para una amplia gama de tareas de NLP sin necesidad de arquitecturas específicas de tareas. Desafortunadamente, T5 y muchos de los modelos de lenguaje están entrenados previamente en inglés. \%80 del mundo no habla inglés [3]. Eso restringe el número de usuarios de ese modelo.
Modelo de PNL mT5
mT5 es una variante del modelo T5. La diferencia con el modelo T5 es que es multilingüe. mT5 incluye la mayoría de las características que tiene T5, como su formato de texto a texto de uso general, su diseño basado en conocimientos de un estudio empírico a gran escala y su escala. Utilizaron una variante multilingüe del conjunto de datos C4. Eso es mC4. Consta de 101 idiomas diferentes. Este conjunto de datos se crea mediante web scraping.
El modelo mT5 consta de una serie de bloques de transformadores, cada uno de los cuales contiene múltiples capas de autoatención y capas de avance. Las capas de autoatención permiten que el modelo preste atención a diferentes partes de la entrada en diferentes momentos, mientras que las capas de avance procesan la entrada y generan la salida.
Acabamos de probar el modelo ajustado en diferentes textos. Puede ver los contextos y las preguntas generadas a continuación.
El contexto de la primera prueba proviene de los datos de validación del conjunto de datos TQuAD. Todas las preguntas generadas parecen significativas.
Dado que nuestro conjunto de datos consiste en párrafos de historia de la ciencia turca e islámica. Solo queríamos probar nuestro modelo en datos no históricos. Los resultados son significativos.
¿Qué haremos después?
Intentaremos aumentar el rendimiento del modelo mediante el ajuste de hiperparámetros. Además, echaremos un vistazo al modelo mBERT. Gracias por leer.
no lo olvides Si necesitas ayuda, “Mejor llama a Barlas”.
Espero verte la próxima semana. ¡Adiós!
por Mehmet Berat Ersarı y Zeynep Hafsa Dilmaç
Referencias
[1] Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A. y Raffel, C. Transformador de texto a texto preentrenado. págs. 483– 498, 01 2021. doi: 10.18653/v1/2021.naacl-main.41.
[2] TQuad (2019) Conjunto de datos de preguntas y respuestas de PNL turcohttps://github.com/TQuad/turkish-nlp-qa-dataset[consultado el 11.09.2022]
[3] Crystal, D. ¿Dos mil millones? Inglés hoy, 24:3–6,
03 2008. doi: 10.1017/S0266078408000023

![¿Qué es una lista vinculada, de todos modos? [Parte 1]](https://post.nghiatu.com/assets/images/m/max/724/1*Xokk6XOjWyIGCBujkJsCzQ.jpeg)



































