IA com Python - processamento de linguagem natural
Processamento de linguagem natural (PNL) se refere ao método de IA de comunicação com sistemas inteligentes usando uma linguagem natural como o inglês.
O processamento de linguagem natural é necessário quando você deseja que um sistema inteligente como o robô execute de acordo com suas instruções, quando você deseja ouvir a decisão de um sistema especialista clínico baseado em diálogo, etc.
O campo da PNL envolve fazer com que os computadores executem tarefas úteis com as linguagens naturais que os humanos usam. A entrada e saída de um sistema PNL pode ser -
- Speech
- Texto Escrito
Componentes da PNL
Nesta seção, aprenderemos sobre os diferentes componentes da PNL. Existem dois componentes da PNL. Os componentes são descritos abaixo -
Compreensão da linguagem natural (NLU)
Envolve as seguintes tarefas -
Mapeamento da entrada fornecida em linguagem natural em representações úteis.
Analisando diferentes aspectos da linguagem.
Geração de linguagem natural (NLG)
É o processo de produção de frases e sentenças significativas na forma de linguagem natural a partir de alguma representação interna. Envolve -
Text planning - Isso inclui recuperar o conteúdo relevante da base de conhecimento.
Sentence planning - Isso inclui escolher as palavras necessárias, formar frases significativas e definir o tom da frase.
Text Realization - Este é o mapeamento do plano da frase na estrutura da frase.
Dificuldades em NLU
O NLU é muito rico em forma e estrutura; no entanto, é ambíguo. Pode haver diferentes níveis de ambigüidade -
Ambigüidade lexical
Está em um nível muito primitivo, como o nível das palavras. Por exemplo, tratar a palavra “tabuleiro” como substantivo ou verbo?
Ambiguidade de nível de sintaxe
Uma frase pode ser analisada de diferentes maneiras. Por exemplo, “Ele levantou o besouro com a tampa vermelha”. - Ele usou boné para levantar o besouro ou levantou um besouro que tinha boné vermelho?
Ambigüidade referencial
Referindo-se a algo usando pronomes. Por exemplo, Rima foi para Gauri. Ela disse: “Estou cansada”. - Exatamente quem está cansado?
Terminologia de PNL
Vejamos agora alguns termos importantes na terminologia da PNL.
Phonology - É um estudo de organização de som sistematicamente.
Morphology - É um estudo de construção de palavras a partir de unidades de sentido primitivas.
Morpheme - É uma unidade primitiva de significado em uma linguagem.
Syntax- Refere-se a organizar palavras para formar uma frase. Também envolve determinar o papel estrutural das palavras na frase e nas frases.
Semantics - Preocupa-se com o significado das palavras e como combiná-las em frases e sentenças significativas.
Pragmatics - Lida com o uso e compreensão de frases em diferentes situações e como a interpretação da frase é afetada.
Discourse - Trata de como a frase imediatamente anterior pode afetar a interpretação da próxima frase.
World Knowledge - Inclui o conhecimento geral sobre o mundo.
Etapas em PNL
Esta seção mostra as diferentes etapas da PNL.
Análise Lexical
Envolve identificar e analisar a estrutura das palavras. Léxico de um idioma significa a coleção de palavras e frases em um idioma. A análise lexical está dividindo todo o pedaço de txt em parágrafos, sentenças e palavras.
Análise sintática (análise)
Envolve a análise gramatical das palavras da frase e a organização das palavras de uma maneira que mostre a relação entre as palavras. A frase como “A escola vai para o menino” é rejeitada pelo analisador sintático inglês.
Análise Semântica
Ele extrai o significado exato ou o significado do dicionário do texto. O texto é verificado quanto ao significado. Isso é feito mapeando estruturas sintáticas e objetos no domínio da tarefa. O analisador semântico desconsidera frases como “sorvete quente”.
Integração de Discurso
O significado de qualquer frase depende do significado da frase imediatamente anterior. Além disso, também traz o significado de frase imediatamente posterior.
Análise Pragmática
Durante isso, o que foi dito é reinterpretado sobre o que realmente significava. Envolve derivar aqueles aspectos da linguagem que requerem conhecimento do mundo real.