Python - Korpora-Zugriff

Corpora ist eine Gruppe, die mehrere Sammlungen von Textdokumenten präsentiert. Eine einzelne Sammlung heißt Korpus. Ein solcher berühmter Korpus ist der Gutenberg-Korpus, der rund 25.000 kostenlose elektronische Bücher enthält, die unter http://www.gutenberg.org/ gehostet werden. Im folgenden Beispiel greifen wir nur auf die Namen der Dateien aus dem Korpus zu, bei denen es sich um einfachen Text handelt, dessen Dateiname auf .txt endet.

from nltk.corpus import gutenberg
fields = gutenberg.fileids()
print(fields)

Wenn wir das obige Programm ausführen, erhalten wir die folgende Ausgabe:

[austen-emma.txt', austen-persuasion.txt', austen-sense.txt', bible-kjv.txt', 
blake-poems.txt', bryant-stories.txt', burgess-busterbrown.txt',
carroll-alice.txt', chesterton-ball.txt', chesterton-brown.txt', 
chesterton-thursday.txt', edgeworth-parents.txt', melville-moby_dick.txt',
milton-paradise.txt', shakespeare-caesar.txt', shakespeare-hamlet.txt',
shakespeare-macbeth.txt', whitman-leaves.txt']

Zugriff auf Rohtext

Wir können aus diesen Dateien mit der Funktion sent_tokenize auf den Rohtext zugreifen, die auch in nltk verfügbar ist. Im folgenden Beispiel rufen wir die ersten beiden Absätze des Blake Poen-Textes ab.

from nltk.tokenize import sent_tokenize
from nltk.corpus import gutenberg
sample = gutenberg.raw("blake-poems.txt")
token = sent_tokenize(sample)
for para in range(2):
    print(token[para])

Wenn wir das obige Programm ausführen, erhalten wir die folgende Ausgabe -

[Poems by William Blake 1789]
 
SONGS OF INNOCENCE AND OF EXPERIENCE
and THE BOOK of THEL
 SONGS OF INNOCENCE
 
 
 INTRODUCTION
 
 Piping down the valleys wild,
   Piping songs of pleasant glee,
 On a cloud I saw a child,
   And he laughing said to me:
 
 "Pipe a song about a Lamb!"
So I piped with merry cheer.