Python - Tokenisation de mots

La tokenisation de mots est le processus de division d'un grand échantillon de texte en mots. C'est une exigence dans les tâches de traitement du langage naturel où chaque mot doit être capturé et soumis à une analyse plus approfondie comme les classer et les compter pour un sentiment particulier, etc. Le kit d'outils de langage naturel (NLTK) est une bibliothèque utilisée pour y parvenir. Installez NLTK avant de continuer avec le programme python pour la tokenisation de mots.

conda install -c anaconda nltk

Ensuite, nous utilisons le word_tokenize méthode pour diviser le paragraphe en mots individuels.

import nltk

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
nltk_tokens = nltk.word_tokenize(word_data)
print (nltk_tokens)

Lorsque nous exécutons le code ci-dessus, cela produit le résultat suivant.

['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 
'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the',
'comforts', 'of', 'their', 'drawing', 'rooms']

Tokenizing Phrases

Nous pouvons également tokeniser les phrases dans un paragraphe comme nous avons tokenisé les mots. Nous utilisons la méthodesent_tokenizepour y parvenir. Voici un exemple.

import nltk
sentence_data = "Sun rises in the east. Sun sets in the west."
nltk_tokens = nltk.sent_tokenize(sentence_data)
print (nltk_tokens)

Lorsque nous exécutons le code ci-dessus, cela produit le résultat suivant.

['Sun rises in the east.', 'Sun sets in the west.']