Python - Mã hóa

Trong Python, tokenization về cơ bản đề cập đến việc chia nhỏ phần nội dung văn bản lớn hơn thành các dòng, từ nhỏ hơn hoặc thậm chí tạo từ cho một ngôn ngữ không phải tiếng Anh. Các chức năng mã hóa khác nhau được tích hợp sẵn trong mô-đun nltk và có thể được sử dụng trong các chương trình như hình dưới đây.

Mã hóa dòng

Trong ví dụ dưới đây, chúng tôi chia một văn bản nhất định thành các dòng khác nhau bằng cách sử dụng hàm sent_tokenize.

import nltk
sentence_data = "The First sentence is about Python. The Second: about Django. You can learn Python,Django and Data Ananlysis here. "
nltk_tokens = nltk.sent_tokenize(sentence_data)
print (nltk_tokens)

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

['The First sentence is about Python.', 'The Second: about Django.', 'You can learn Python,Django and Data Ananlysis here.']

Mã hóa không phải tiếng Anh

Trong ví dụ dưới đây, chúng tôi mã hóa văn bản tiếng Đức.

import nltk
german_tokenizer = nltk.data.load('tokenizers/punkt/german.pickle')
german_tokens=german_tokenizer.tokenize('Wie geht es Ihnen?  Gut, danke.')
print(german_tokens)

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

['Wie geht es Ihnen?', 'Gut, danke.']

Word Tokenzitaion

Chúng tôi mã hóa các từ bằng cách sử dụng hàm word_tokenize có sẵn như một phần của nltk.

import nltk
word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
nltk_tokens = nltk.word_tokenize(word_data)
print (nltk_tokens)

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 
'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the',
'comforts', 'of', 'their', 'drawing', 'rooms']