SEMANA Nº 5 Pergunta Assistente Barlas

Dec 19 2022

Ei pessoal, começamos a escrever o relatório de progresso nesta semana. Antes de começar a escrevê-lo, tentamos ajustar nosso conjunto de dados no modelo mT5 [1] com o conjunto de dados TQuAD [2].

Oi pessoal,

Começamos a escrever o relatório de progresso nesta semana. Antes de começar a escrevê-lo, tentamos ajustar nosso conjunto de dados no modelo mT5 [1] com o conjunto de dados TQuAD [2]. Vamos começar explicando o modelo mT5.

Modelo T5 NLP

T5 é um modelo de linguagem pré-treinado em larga escala desenvolvido pelo Google para tarefas de PNL. Foi apresentado em um artigo publicado pelo Google Research em 2020, que o descreve como um “Transformador de transferência de texto para texto” que pode ser ajustado para uma ampla gama de tarefas de NLP. O T5 é baseado na arquitetura Transformer, que usa mecanismos de atenção para processar o texto de entrada e gerar o texto de saída. Ao contrário de muitos modelos de linguagem anteriores, o T5 é treinado para gerar texto em resposta a um determinado prompt, o que permite que ele seja ajustado para uma ampla gama de tarefas de NLP sem a necessidade de arquiteturas específicas de tarefas. Infelizmente, T5 e muitos modelos de idiomas são pré-treinados em inglês. \%80 do mundo não fala inglês [3]. Isso restringe o número de usuários desse modelo.

Modelo mT5 NLP

mT5 é uma variante do modelo T5. A diferença do modelo T5 é que ele é multilíngue. O mT5 inclui a maioria dos recursos que o T5 possui, como seu formato de texto para texto de uso geral, seu design baseado em insights de um estudo empírico de grande escala e sua escala. Eles usaram uma variante multilíngue do conjunto de dados C4. Isso é mC4. É composto por 101 idiomas diferentes. Este conjunto de dados é criado por web scraping.

O modelo mT5 consiste em uma série de blocos transformadores, cada um contendo múltiplas camadas de auto-atenção e camadas de feedforward. As camadas de auto-atenção permitem que o modelo atenda a diferentes partes da entrada em momentos diferentes, enquanto as camadas de feedforward processam a entrada e geram a saída.

Acabamos de testar o modelo ajustado em diferentes textos. Você pode ver os contextos e perguntas geradas abaixo.

Exemplo de teste 1

O contexto do primeiro teste é de dados de validação do conjunto de dados TQuAD. Todas as perguntas geradas parecem significativas.

Exemplo de teste 2

Exemplo de teste 3

Uma vez que nosso conjunto de dados consiste em parágrafos de história da ciência turca e islâmica. Só queríamos testar nosso modelo em dados não históricos. Os resultados são significativos.

O que faremos a seguir?

Tentaremos aumentar o desempenho do modelo fazendo o ajuste de hiperparâmetros. Além disso, vamos dar uma olhada no modelo mBERT. Obrigado por ler.

Não se esqueça. Se precisar de ajuda, “Better Call Barlas''.

Espero vê-lo na próxima semana. Tchau!

por Mehmet Berat Ersarı e Zeynep Hafsa Dilmaç

Referências

[1] Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A., and Raffel, C. mt5: A massivamente multilingue transformador de texto para texto pré-treinado. pp. 483– 498, 01 2021. doi: 10.18653/v1/2021.naacl-main.41.