Python-Corpora 액세스

Corpora는 여러 텍스트 문서 모음을 제공하는 그룹입니다. 단일 컬렉션을 말뭉치라고합니다. 이러한 유명한 말뭉치 중 하나는 http://www.gutenberg.org/에서 호스팅되는 약 25,000 개의 무료 전자 서적이 포함 된 Gutenberg Corpus입니다. 아래 예에서는 파일 이름이 .txt로 끝나는 일반 텍스트 인 말뭉치의 파일 이름에만 액세스합니다.

from nltk.corpus import gutenberg
fields = gutenberg.fileids()
print(fields)

위의 프로그램을 실행하면 다음과 같은 결과가 나옵니다.

[austen-emma.txt', austen-persuasion.txt', austen-sense.txt', bible-kjv.txt', 
blake-poems.txt', bryant-stories.txt', burgess-busterbrown.txt',
carroll-alice.txt', chesterton-ball.txt', chesterton-brown.txt', 
chesterton-thursday.txt', edgeworth-parents.txt', melville-moby_dick.txt',
milton-paradise.txt', shakespeare-caesar.txt', shakespeare-hamlet.txt',
shakespeare-macbeth.txt', whitman-leaves.txt']

원시 텍스트 액세스

nltk에서도 사용할 수있는 sent_tokenize 함수를 사용하여 이러한 파일의 원시 텍스트에 액세스 할 수 있습니다. 아래 예제에서 우리는 blake poen 텍스트의 처음 두 단락을 검색합니다.

from nltk.tokenize import sent_tokenize
from nltk.corpus import gutenberg
sample = gutenberg.raw("blake-poems.txt")
token = sent_tokenize(sample)
for para in range(2):
    print(token[para])

위의 프로그램을 실행하면 다음과 같은 결과가 나옵니다.

[Poems by William Blake 1789]
 
SONGS OF INNOCENCE AND OF EXPERIENCE
and THE BOOK of THEL
 SONGS OF INNOCENCE
 
 
 INTRODUCTION
 
 Piping down the valleys wild,
   Piping songs of pleasant glee,
 On a cloud I saw a child,
   And he laughing said to me:
 
 "Pipe a song about a Lamb!"
So I piped with merry cheer.