Gensim - การสร้างแบบจำลองหัวข้อ LDA

บทนี้จะช่วยให้คุณเรียนรู้วิธีสร้างแบบจำลองหัวข้อการจัดสรร Latent Dirichlet (LDA) ใน Gensim

ดึงข้อมูลเกี่ยวกับหัวข้อจากข้อความจำนวนมากโดยอัตโนมัติในหนึ่งในแอปพลิเคชันหลักของ NLP (การประมวลผลภาษาธรรมชาติ) ข้อความจำนวนมากอาจเป็นฟีดจากบทวิจารณ์ของโรงแรมทวีตโพสต์ Facebook ฟีดจากช่องทางโซเชียลมีเดียอื่น ๆ บทวิจารณ์ภาพยนตร์เรื่องราวข่าวการตอบกลับของผู้ใช้อีเมล ฯลฯ

ในยุคดิจิทัลนี้การรู้ว่าผู้คน / ลูกค้ากำลังพูดถึงอะไรเข้าใจความคิดเห็นและปัญหาของพวกเขาอาจมีประโยชน์อย่างมากสำหรับธุรกิจแคมเปญทางการเมืองและผู้ดูแลระบบ แต่เป็นไปได้ไหมที่จะอ่านข้อความจำนวนมากด้วยตนเองแล้วดึงข้อมูลจากหัวข้อต่างๆ

ไม่มันไม่ใช่. ต้องใช้อัลกอริทึมอัตโนมัติที่สามารถอ่านเอกสารข้อความจำนวนมากเหล่านี้และดึงข้อมูล / หัวข้อที่ต้องการโดยอัตโนมัติ

บทบาทของ LDA

แนวทางของ LDA ในการสร้างแบบจำลองหัวข้อคือการจัดประเภทข้อความในเอกสารเป็นหัวข้อเฉพาะ สร้างแบบจำลองเป็นการแจกแจง Dirichlet, LDA สร้าง -

• หัวข้อต่อรุ่นเอกสารและ
• รูปแบบคำต่อหัวข้อ

หลังจากจัดเตรียมอัลกอริทึมแบบจำลองหัวข้อ LDA เพื่อให้ได้องค์ประกอบที่ดีของการกระจายหัวข้อ - คำหลักจึงจัดเรียงใหม่ -

• การกระจายหัวข้อภายในเอกสารและ
• การกระจายคำหลักภายในหัวข้อ

ในขณะที่ประมวลผลสมมติฐานบางประการของ LDA คือ -

• เอกสารทุกฉบับได้รับการจำลองเป็นการแจกแจงหัวข้อหลายรูปแบบ
• ทุกหัวข้อจะถูกจำลองเป็นการแจกแจงหลายคำ
• เราควรต้องเลือกคลังข้อมูลให้ถูกต้องเพราะ LDA ถือว่าข้อความแต่ละส่วนมีคำที่เกี่ยวข้องกัน
• LDA ยังถือว่าเอกสารนั้นผลิตจากหัวข้อต่างๆ

การใช้งานกับ Gensim

ที่นี่เราจะใช้ LDA (การจัดสรร Dirichlet แฝง) เพื่อแยกหัวข้อที่กล่าวถึงตามธรรมชาติออกจากชุดข้อมูล

กำลังโหลดชุดข้อมูล

ชุดข้อมูลที่เราจะใช้คือชุดข้อมูลของ ’20 Newsgroups’มีบทความข่าวหลายพันบทความจากส่วนต่างๆของรายงานข่าว สามารถใช้ได้ภายใต้Sklearnชุดข้อมูล เราสามารถดาวน์โหลดได้อย่างง่ายดายโดยทำตามสคริปต์ Python -

from sklearn.datasets import fetch_20newsgroups
newsgroups_train = fetch_20newsgroups(subset='train')

ลองดูตัวอย่างข่าวด้วยความช่วยเหลือของสคริปต์ต่อไปนี้ -

newsgroups_train.data[:4]

["From: [email protected] (where's my thing)\nSubject: 
WHAT car is this!?\nNntp-Posting-Host: rac3.wam.umd.edu\nOrganization: 
University of Maryland, College Park\nLines: 
15\n\n I was wondering if anyone out there could enlighten me on this car 
I saw\nthe other day. It was a 2-door sports car, looked to be from the 
late 60s/\nearly 70s. It was called a Bricklin. The doors were really small. 
In addition,\nthe front bumper was separate from the rest of the body. 
This is \nall I know. If anyone can tellme a model name, 
engine specs, years\nof production, where this car is made, history, or 
whatever info you\nhave on this funky looking car, please e-mail.\n\nThanks,
\n- IL\n ---- brought to you by your neighborhood Lerxst ----\n\n\n\n\n",

"From: [email protected] (Guy Kuo)\nSubject: SI Clock Poll - Final 
Call\nSummary: Final call for SI clock reports\nKeywords: 
SI,acceleration,clock,upgrade\nArticle-I.D.: shelley.1qvfo9INNc3s\nOrganization: 
University of Washington\nLines: 11\nNNTP-Posting-Host: carson.u.washington.edu\n\nA 
fair number of brave souls who upgraded their SI clock oscillator have\nshared their 
experiences for this poll. Please send a brief message detailing\nyour experiences with 
the procedure. Top speed attained, CPU rated speed,\nadd on cards and adapters, heat 
sinks, hour of usage per day, floppy disk\nfunctionality with 800 and 1.4 m floppies 
are especially requested.\n\nI will be summarizing in the next two days, so please add 
to the network\nknowledge base if you have done the clock upgrade and haven't answered 
this\npoll. Thanks.\n\nGuy Kuo <;[email protected]>\n",

'From: [email protected] (Thomas E Willis)\nSubject: 
PB questions...\nOrganization: Purdue University Engineering 
Computer Network\nDistribution: usa\nLines: 36\n\nwell folks, 
my mac plus finally gave up the ghost this weekend after\nstarting 
life as a 512k way back in 1985. sooo, i\'m in the market for 
a\nnew machine a bit sooner than i intended to be...\n\ni\'m looking 
into picking up a powerbook 160 or maybe 180 and have a bunch\nof 
questions that (hopefully) somebody can answer:\n\n* does anybody 
know any dirt on when the next round of powerbook\nintroductions 
are expected? i\'d heard the 185c was supposed to make an\nappearence 
"this summer" but haven\'t heard anymore on it - and since i\ndon\'t 
have access to macleak, i was wondering if anybody out there had\nmore 
info...\n\n* has anybody heard rumors about price drops to the powerbook 
line like the\nones the duo\'s just went through recently?\n\n* what\'s 
the impression of the display on the 180? i could probably swing\na 180 
if i got the 80Mb disk rather than the 120, but i don\'t really have\na 
feel for how much "better" the display is (yea, it looks great in the\nstore, 
but is that all "wow" or is it really that good?). could i solicit\nsome 
opinions of people who use the 160 and 180 day-to-day on if its
worth\ntaking the disk size and money hit to get the active display? 
(i realize\nthis is a real subjective question, but i\'ve only played around 
with the\nmachines in a computer store breifly and figured the opinions 
of somebody\nwho actually uses the machine daily might prove helpful).\n\n* 
how well does hellcats perform? ;)\n\nthanks a bunch in advance for any info - 
if you could email, i\'ll post a\nsummary (news reading time is at a premium 
with finals just around the\ncorner... :
( )\n--\nTom Willis \\ [email protected] \\ Purdue Electrical 
Engineering\n---------------------------------------------------------------------------\
n"Convictions are more dangerous enemies of truth than lies." - F. W.\nNietzsche\n',

'From: jgreen@amber (Joe Green)\nSubject: Re: Weitek P9000 ?\nOrganization: 
Harris Computer Systems Division\nLines: 14\nDistribution: world\nNNTP-Posting-Host: 
amber.ssd.csd.harris.com\nX-Newsreader: TIN [version 1.1 PL9]\n\nRobert 
J.C. Kyanko ([email protected]) wrote:\n >[email protected] writes in article 
<[email protected] >:\n> > Anyone know about the 
Weitek P9000 graphics chip?\n > As far as the low-level stuff goes, it looks 
pretty nice. It\'s got this\n> quadrilateral fill command that requires just 
the four points.\n\nDo you have Weitek\'s address/phone number? I\'d like to get 
some information\nabout this chip.\n\n--\nJoe Green\t\t\t\tHarris 
Corporation\[email protected]\t\t\tComputer Systems Division\n"The only 
thing that really scares me is a person with no sense of humor.
"\n\t\t\t\t\t\t-- Jonathan Winters\n']

ข้อกำหนดเบื้องต้น

เราต้องการคำหยุดจาก NLTK และโมเดลภาษาอังกฤษจาก Scapy ทั้งสองสามารถดาวน์โหลดได้ดังนี้ -

import nltk;
nltk.download('stopwords')
nlp = spacy.load('en_core_web_md', disable=['parser', 'ner'])

การนำเข้าแพ็คเกจที่จำเป็น

ในการสร้างโมเดล LDA เราต้องนำเข้าแพ็คเกจที่จำเป็นต่อไปนี้ -

import re
import numpy as np
import pandas as pd
from pprint import pprint
import gensim
import gensim.corpora as corpora
from gensim.utils import simple_preprocess
from gensim.models import CoherenceModel
import spacy
import pyLDAvis
import pyLDAvis.gensim
import matplotlib.pyplot as plt

กำลังเตรียมคำหยุด

ตอนนี้เราต้องนำเข้าคำหยุดและใช้งาน -

from nltk.corpus import stopwords
stop_words = stopwords.words('english')
stop_words.extend(['from', 'subject', 're', 'edu', 'use'])

ล้างข้อความ

ตอนนี้ด้วยความช่วยเหลือของ Gensim's simple_preprocess()เราต้องโทเค็นแต่ละประโยคลงในรายการคำ เราควรลบเครื่องหมายวรรคตอนและอักขระที่ไม่จำเป็นออกด้วย ในการดำเนินการนี้เราจะสร้างฟังก์ชันชื่อsent_to_words() -

def sent_to_words(sentences):
   for sentence in sentences:
      yield(gensim.utils.simple_preprocess(str(sentence), deacc=True))
data_words = list(sent_to_words(data))

การสร้างโมเดล Bigram และ Trigram

ดังที่เราทราบกันดีว่า bigrams เป็นคำสองคำที่มักเกิดขึ้นพร้อมกันในเอกสารและตรีโกณคือสามคำที่มักเกิดขึ้นพร้อมกันในเอกสาร ด้วยความช่วยเหลือของ Gensim'sPhrases โมเดลเราทำได้ -

bigram = gensim.models.Phrases(data_words, min_count=5, threshold=100)
trigram = gensim.models.Phrases(bigram[data_words], threshold=100)
bigram_mod = gensim.models.phrases.Phraser(bigram)
trigram_mod = gensim.models.phrases.Phraser(trigram)

กรองคำหยุด

ต่อไปเราต้องกรองคำหยุดออก นอกจากนั้นเรายังจะสร้างฟังก์ชั่นเพื่อสร้าง bigrams, trigrams และ for lemmatisation -

def remove_stopwords(texts):
   return [[word for word in simple_preprocess(str(doc))
if word not in stop_words] for doc in texts]
def make_bigrams(texts):
   return [bigram_mod[doc] for doc in texts]
def make_trigrams(texts):
   return [trigram_mod[bigram_mod[doc]] for doc in texts]
def lemmatization(texts, allowed_postags=['NOUN', 'ADJ', 'VERB', 'ADV']):
   texts_out = []
   for sent in texts:
     doc = nlp(" ".join(sent))
     texts_out.append([token.lemma_ for token in doc if token.pos_ in allowed_postags])
   return texts_out

การสร้างพจนานุกรมและคอร์ปัสสำหรับรูปแบบหัวข้อ

ตอนนี้เราต้องสร้างพจนานุกรมและคลังข้อมูล เราทำในตัวอย่างก่อนหน้านี้เช่นกัน -

id2word = corpora.Dictionary(data_lemmatized)
texts = data_lemmatized
corpus = [id2word.doc2bow(text) for text in texts]

การสร้างแบบจำลองหัวข้อ LDA

เราได้ดำเนินการทุกอย่างที่จำเป็นในการฝึกโมเดล LDA แล้ว ตอนนี้ถึงเวลาสร้างแบบจำลองหัวข้อ LDA สำหรับตัวอย่างการใช้งานของเราสามารถทำได้โดยใช้รหัสบรรทัดต่อไปนี้ -

lda_model = gensim.models.ldamodel.LdaModel(
   corpus=corpus, id2word=id2word, num_topics=20, random_state=100, 
   update_every=1, chunksize=100, passes=10, alpha='auto', per_word_topics=True
)

ตัวอย่างการใช้งาน

มาดูตัวอย่างการใช้งานที่สมบูรณ์เพื่อสร้างแบบจำลองหัวข้อ LDA -

import re
import numpy as np
import pandas as pd
from pprint import pprint
import gensim
import gensim.corpora as corpora
from gensim.utils import simple_preprocess
from gensim.models import CoherenceModel
import spacy
import pyLDAvis
import pyLDAvis.gensim
import matplotlib.pyplot as plt
from nltk.corpus import stopwords
stop_words = stopwords.words('english')
stop_words.extend(['from', 'subject', 're', 'edu', 'use'])
from sklearn.datasets import fetch_20newsgroups
newsgroups_train = fetch_20newsgroups(subset='train')
data = newsgroups_train.data
data = [re.sub('\S*@\S*\s?', '', sent) for sent in data]
data = [re.sub('\s+', ' ', sent) for sent in data]
data = [re.sub("\'", "", sent) for sent in data]
print(data_words[:4]) #it will print the data after prepared for stopwords
bigram = gensim.models.Phrases(data_words, min_count=5, threshold=100)
trigram = gensim.models.Phrases(bigram[data_words], threshold=100)
bigram_mod = gensim.models.phrases.Phraser(bigram)
trigram_mod = gensim.models.phrases.Phraser(trigram)
def remove_stopwords(texts):
   return [[word for word in simple_preprocess(str(doc)) 
   if word not in stop_words] for doc in texts]
def make_bigrams(texts):
   return [bigram_mod[doc] for doc in texts]
def make_trigrams(texts):
   [trigram_mod[bigram_mod[doc]] for doc in texts]
def lemmatization(texts, allowed_postags=['NOUN', 'ADJ', 'VERB', 'ADV']):
   texts_out = []
   for sent in texts:
      doc = nlp(" ".join(sent))
      texts_out.append([token.lemma_ for token in doc if token.pos_ in allowed_postags])
   return texts_out
data_words_nostops = remove_stopwords(data_words)
data_words_bigrams = make_bigrams(data_words_nostops)
nlp = spacy.load('en_core_web_md', disable=['parser', 'ner'])
data_lemmatized = lemmatization(data_words_bigrams, allowed_postags=[
   'NOUN', 'ADJ', 'VERB', 'ADV'
])
print(data_lemmatized[:4]) #it will print the lemmatized data.
id2word = corpora.Dictionary(data_lemmatized)
texts = data_lemmatized
corpus = [id2word.doc2bow(text) for text in texts]
print(corpus[:4]) #it will print the corpus we created above.
[[(id2word[id], freq) for id, freq in cp] for cp in corpus[:4]] 
#it will print the words with their frequencies.
lda_model = gensim.models.ldamodel.LdaModel(
   corpus=corpus, id2word=id2word, num_topics=20, random_state=100, 
   update_every=1, chunksize=100, passes=10, alpha='auto', per_word_topics=True
)

ตอนนี้เราสามารถใช้โมเดล LDA ที่สร้างขึ้นด้านบนเพื่อรับหัวข้อเพื่อคำนวณ Model Perplexity