Python - Xóa từ dừng

Từ dừng là những từ tiếng Anh không bổ sung nhiều ý nghĩa cho một câu. Chúng có thể được bỏ qua một cách an toàn mà không làm mất đi ý nghĩa của câu. Ví dụ, những từ như, anh ấy, có, vv Những từ như vậy đã được ghi lại điều này trong kho ngữ liệu có tên. Trước tiên, chúng tôi tải nó xuống môi trường python của chúng tôi.

import nltk
nltk.download('stopwords')

Nó sẽ tải xuống một tệp với các từ dừng tiếng Anh.

Xác minh các từ dừng

from nltk.corpus import stopwords
stopwords.words('english')
print stopwords.words() [620:680]

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

[u'your', u'yours', u'yourself', u'yourselves', u'he', u'him', u'his', u'himself', u'she', 
u"she's", u'her', u'hers', u'herself', u'it', u"it's", u'its', u'itself', u'they', u'them', 
u'their', u'theirs', u'themselves', u'what', u'which', u'who', u'whom', u'this', 
u'that', u"that'll", u'these', u'those', u'am', u'is', u'are', u'was', u'were', u'be',
u'been', u'being', u'have', u'has', u'had', u'having', u'do', u'does', u'did', u'doing',
u'a', u'an', u'the', u'and', u'but', u'if', u'or', u'because', u'as', u'until',
u'while', u'of', u'at']

Các ngôn ngữ khác nhau ngoài tiếng Anh có những từ dừng này như bên dưới.

from nltk.corpus import stopwords
print stopwords.fileids()

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

[u'arabic', u'azerbaijani', u'danish', u'dutch', u'english', u'finnish', 
u'french', u'german', u'greek', u'hungarian', u'indonesian', u'italian', 
u'kazakh', u'nepali', u'norwegian', u'portuguese', u'romanian', u'russian',
u'spanish', u'swedish', u'turkish']

Thí dụ

Chúng tôi sử dụng ví dụ dưới đây để cho thấy cách các từ dừng bị xóa khỏi danh sách các từ.

from nltk.corpus import stopwords
en_stops = set(stopwords.words('english'))
all_words = ['There', 'is', 'a', 'tree','near','the','river']
for word in all_words: 
    if word not in en_stops:
        print(word)

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

There
tree
near
river