Python - การจัดประเภทข้อความ

หลายครั้งเราจำเป็นต้องจัดหมวดหมู่ข้อความที่มีให้เป็นหมวดหมู่ต่างๆตามเกณฑ์ที่กำหนดไว้ล่วงหน้า nltk ให้คุณสมบัติดังกล่าวเป็นส่วนหนึ่งขององค์กรต่างๆ ในตัวอย่างด้านล่างเราดูคลังบทวิจารณ์ภาพยนตร์และตรวจสอบการจัดหมวดหมู่ที่มี

# Lets See how the movies are classified
from nltk.corpus import movie_reviews
all_cats = []
for w in movie_reviews.categories():
    all_cats.append(w.lower())
print(all_cats)

เมื่อเรารันโปรแกรมข้างต้นเราจะได้ผลลัพธ์ดังต่อไปนี้ -

['neg', 'pos']

ตอนนี้เรามาดูเนื้อหาของไฟล์ใดไฟล์หนึ่งพร้อมบทวิจารณ์เชิงบวก ประโยคในไฟล์นี้เป็นโทเค็นและเราพิมพ์สี่ประโยคแรกเพื่อดูตัวอย่าง

from nltk.corpus import movie_reviews
from nltk.tokenize import sent_tokenize
fields = movie_reviews.fileids()
sample = movie_reviews.raw("pos/cv944_13521.txt")
token = sent_tokenize(sample)
for lines in range(4):
    print(token[lines])

เมื่อเรารันโปรแกรมข้างต้นเราจะได้ผลลัพธ์ดังต่อไปนี้ -

meteor threat set to blow away all volcanoes & twisters !
summer is here again !
this season could probably be the most ambitious = season this decade with hollywood churning out films 
like deep impact , = godzilla , the x-files , armageddon , the truman show , 
all of which has but = one main aim , to rock the box office .
leading the pack this summer is = deep impact , one of the first few film 
releases from the = spielberg-katzenberg-geffen's dreamworks production company .

ต่อไปเราจะสร้างโทเค็นคำในแต่ละไฟล์เหล่านี้และค้นหาคำที่พบบ่อยที่สุดโดยใช้ฟังก์ชัน FreqDist จาก nltk

import nltk
from nltk.corpus import movie_reviews
fields = movie_reviews.fileids()
all_words = []
for w in movie_reviews.words():
    all_words.append(w.lower())
all_words = nltk.FreqDist(all_words)
print(all_words.most_common(10))

เมื่อเรารันโปรแกรมข้างต้นเราจะได้ผลลัพธ์ดังต่อไปนี้ -

[(,', 77717), (the', 76529), (.', 65876), (a', 38106), (and', 35576), 
(of', 34123), (to', 31937), (u"'", 30585), (is', 25195), (in', 21822)]