Python - Kelime Jetonlama

Kelime jetonlama, büyük bir metin örneğini kelimelere bölme işlemidir. Bu, her bir kelimenin yakalanması ve belirli bir duygu için onları sınıflandırma ve sayma gibi daha ileri analizlere tabi tutulması gereken doğal dil işleme görevlerinde bir gerekliliktir. Doğal Dil Araç kiti (NLTK), bunu başarmak için kullanılan bir kitaplıktır. Kelime belirtme için python programına devam etmeden önce NLTK'yi kurun.

conda install -c anaconda nltk

Sonra kullanıyoruz word_tokenize paragrafı ayrı kelimelere bölme yöntemi.

import nltk

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
nltk_tokens = nltk.word_tokenize(word_data)
print (nltk_tokens)

Yukarıdaki kodu çalıştırdığımızda aşağıdaki sonucu verir.

['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 
'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the',
'comforts', 'of', 'their', 'drawing', 'rooms']

Sembolleştirme Cümleleri

Kelimeleri sembollere ayırdığımız gibi bir paragraftaki cümleleri de belirtebiliriz. Yöntemi kullanıyoruzsent_tokenizeBunu başarmak için. Aşağıda bir örnek verilmiştir.

import nltk
sentence_data = "Sun rises in the east. Sun sets in the west."
nltk_tokens = nltk.sent_tokenize(sentence_data)
print (nltk_tokens)

Yukarıdaki kodu çalıştırdığımızda aşağıdaki sonucu verir.

['Sun rises in the east.', 'Sun sets in the west.']