Python - Truy cập Corpora

Corpora là một nhóm trình bày nhiều bộ sưu tập tài liệu văn bản. Một tập hợp duy nhất được gọi là kho tài liệu. Một kho tài liệu nổi tiếng như vậy là Gutenberg Corpus chứa khoảng 25.000 cuốn sách điện tử miễn phí, được lưu trữ tại http://www.gutenberg.org/. Trong ví dụ dưới đây, chúng tôi chỉ truy cập vào tên của những tệp đó từ kho tài liệu là văn bản thuần túy với tên tệp kết thúc là .txt.

from nltk.corpus import gutenberg
fields = gutenberg.fileids()
print(fields)

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

[austen-emma.txt', austen-persuasion.txt', austen-sense.txt', bible-kjv.txt', 
blake-poems.txt', bryant-stories.txt', burgess-busterbrown.txt',
carroll-alice.txt', chesterton-ball.txt', chesterton-brown.txt', 
chesterton-thursday.txt', edgeworth-parents.txt', melville-moby_dick.txt',
milton-paradise.txt', shakespeare-caesar.txt', shakespeare-hamlet.txt',
shakespeare-macbeth.txt', whitman-leaves.txt']

Truy cập văn bản thô

Chúng ta có thể truy cập văn bản thô từ các tệp này bằng cách sử dụng hàm sent_tokenize cũng có sẵn trong nltk. Trong ví dụ dưới đây, chúng tôi lấy hai đoạn đầu tiên của văn bản blake poen.

from nltk.tokenize import sent_tokenize
from nltk.corpus import gutenberg
sample = gutenberg.raw("blake-poems.txt")
token = sent_tokenize(sample)
for para in range(2):
    print(token[para])

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

[Poems by William Blake 1789]
 
SONGS OF INNOCENCE AND OF EXPERIENCE
and THE BOOK of THEL
 SONGS OF INNOCENCE
 
 
 INTRODUCTION
 
 Piping down the valleys wild,
   Piping songs of pleasant glee,
 On a cloud I saw a child,
   And he laughing said to me:
 
 "Pipe a song about a Lamb!"
So I piped with merry cheer.