lemmatyzuj całą kolumnę za pomocą funkcji lambda

Sep 09 2020

Mam ten kod przetestowany pod kątem zdania i chcę go przekonwertować, aby móc lematyzować całą kolumnę, w której każdy wiersz składa się ze słów bez znaków interpunkcyjnych, takich jak: deportivas calcetin hombres deportivas buty

    import wordnet, nltk
nltk.download('wordnet')
from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet
import pandas as pd

df = pd.read_excel(r'C:\Test2\test.xlsx')
# Init the Wordnet Lemmatizer
lemmatizer = WordNetLemmatizer()
sentence = 'FINAL_KEYWORDS'
def get_wordnet_pos(word):
    """Map POS tag to first character lemmatize() accepts"""
    tag = nltk.pos_tag([word])[0][1][0].upper()
    tag_dict = {"J": wordnet.ADJ,
                "N": wordnet.NOUN,
                "V": wordnet.VERB,
                "R": wordnet.ADV}

    return tag_dict.get(tag, wordnet.NOUN)



#Lemmatize a Sentence with the appropriate POS tag
sentence = "The striped bats are hanging on their feet for best"
print([lemmatizer.lemmatize(w, get_wordnet_pos(w)) for w in nltk.word_tokenize(sentence)])

Załóżmy, że nazwa kolumny to df [„słowa kluczowe”], czy możesz mi pomóc użyć funkcji lambda w celu lematyzacji całej kolumny, tak jak lematyzowałem powyższe zdanie?

Z góry bardzo dziękuję

Odpowiedzi

AvivYaniv Sep 09 2020 at 16:41

Proszę bardzo:

  1. Użyj, applyaby zastosować do zdań kolumny
  2. Użyj wyrażenia lambda, które pobiera a sentencejako dane wejściowe i stosuje napisaną przez siebie funkcję, podobnie jak w instrukcji print

Jako lematyzowane słowa kluczowe:

# Lemmatize a Sentence with the appropriate POS tag
df['keywords'] =  df['keywords'].apply(lambda sentence: [lemmatizer.lemmatize(w, get_wordnet_pos(w)) for w in nltk.word_tokenize(sentence)])

Jako zdanie lematyzowane ( joinsłowa kluczowe zawierające „”):

# Lemmatize a Sentence with the appropriate POS tag
df['keywords'] =  df['keywords'].apply(lambda sentence: ' '.join([lemmatizer.lemmatize(w, get_wordnet_pos(w)) for w in nltk.word_tokenize(sentence)]))