Stopwords✋

Być może zastanawiasz się, jakie są te stopwords?

Zasadniczo jest to koncepcja w ramach NLP i oznacza najczęściej używane słowa w zdaniu. Na przykład przedimki takie jak A, An, The i czasowniki pomocnicze is, are, was itp. Istnieje duża liczba słów w języku angielskim, w których często używamy ich do konstruowania zdania. Nawet jeśli usuniemy te stopwords ze zdania, nadal możemy zrozumieć jego podstawowe znaczenie.

Pokażę ci przykład,

Akapit oryginalny: Słowo stopu to powszechnie używane słowo, które wyszukiwarka została zaprogramowana do ignorowania, zarówno podczas indeksowania wpisów do wyszukiwania, jak i pobierania ich w wyniku zapytania wyszukiwania.

Zaczynajmy,

Najpierw musimy mieć predefiniowane pakiety nltk i stopwords

importuj nltk

nltk.download('odrzucone słowa')

z nltk.corpus importuj stopwords

Następnie weźmiemy listę stopwords za pomocą

stop_words = stopwords.words('polski')

Następnie możemy mieć własną niestandardową metodę sprawdzania słowa w oryginalnym akapicie obecnym na liście słów pomijanych lub nie. Na jej podstawie możemy uzyskać zdania bez słów kluczowych.

W załączeniu fragment kodu.

Pojęcia te służą do uzyskania podstawowego znaczenia konkretnego zdania. W następnym blogu omówimy jeszcze jedną koncepcję NLP.

Czekać na dalsze informacje…

Jeśli masz jakieś sugestie lub pytania, zamieść je w komentarzach.