Python - Engellenecek Kelimeleri Kaldır

Engellenecek kelimeler, cümleye fazla anlam katmayan İngilizce kelimelerdir. Cümlenin anlamından ödün vermeden güvenle göz ardı edilebilirler. Örneğin, o, sahip vs. gibi kelimeler. Bu tür kelimeler, zaten bu külliyat adlı külliyatta ele alınmıştır. Önce python ortamımıza indiriyoruz.

import nltk
nltk.download('stopwords')

İngilizce engellenecek kelimeler içeren bir dosya indirecektir.

Engellenecek Kelimelerin Doğrulanması

from nltk.corpus import stopwords
stopwords.words('english')
print stopwords.words() [620:680]

Yukarıdaki programı çalıştırdığımızda aşağıdaki çıktıyı alıyoruz -

[u'your', u'yours', u'yourself', u'yourselves', u'he', u'him', u'his', u'himself', u'she', 
u"she's", u'her', u'hers', u'herself', u'it', u"it's", u'its', u'itself', u'they', u'them', 
u'their', u'theirs', u'themselves', u'what', u'which', u'who', u'whom', u'this', 
u'that', u"that'll", u'these', u'those', u'am', u'is', u'are', u'was', u'were', u'be',
u'been', u'being', u'have', u'has', u'had', u'having', u'do', u'does', u'did', u'doing',
u'a', u'an', u'the', u'and', u'but', u'if', u'or', u'because', u'as', u'until',
u'while', u'of', u'at']

İngilizce dışında bu engellenecek kelimelerin bulunduğu çeşitli diller aşağıdaki gibidir.

from nltk.corpus import stopwords
print stopwords.fileids()

Yukarıdaki programı çalıştırdığımızda aşağıdaki çıktıyı alıyoruz -

[u'arabic', u'azerbaijani', u'danish', u'dutch', u'english', u'finnish', 
u'french', u'german', u'greek', u'hungarian', u'indonesian', u'italian', 
u'kazakh', u'nepali', u'norwegian', u'portuguese', u'romanian', u'russian',
u'spanish', u'swedish', u'turkish']

Misal

Engellenecek kelimelerin kelime listesinden nasıl çıkarıldığını göstermek için aşağıdaki örneği kullanıyoruz.

from nltk.corpus import stopwords
en_stops = set(stopwords.words('english'))
all_words = ['There', 'is', 'a', 'tree','near','the','river']
for word in all_words: 
    if word not in en_stops:
        print(word)

Yukarıdaki programı çalıştırdığımızda aşağıdaki çıktıyı alıyoruz -

There
tree
near
river