Python - Mã hóa Word

Token hóa từ là quá trình chia nhỏ một mẫu văn bản lớn thành các từ. Đây là một yêu cầu trong các nhiệm vụ xử lý ngôn ngữ tự nhiên, trong đó mỗi từ cần được nắm bắt và phân tích thêm như phân loại và đếm chúng cho một cảm xúc cụ thể, v.v. Bộ Công cụ Ngôn ngữ Tự nhiên (NLTK) là một thư viện được sử dụng để đạt được điều này. Cài đặt NLTK trước khi tiếp tục với chương trình python để mã hóa từ.

conda install -c anaconda nltk

Tiếp theo, chúng tôi sử dụng word_tokenize phương pháp tách đoạn văn thành từng từ.

import nltk

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
nltk_tokens = nltk.word_tokenize(word_data)
print (nltk_tokens)

Khi chúng tôi thực thi đoạn mã trên, nó tạo ra kết quả như sau.

['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 
'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the',
'comforts', 'of', 'their', 'drawing', 'rooms']

Mã hóa các câu

Chúng ta cũng có thể mã hóa các câu trong một đoạn văn giống như chúng ta đã mã hóa các từ. Chúng tôi sử dụng phương phápsent_tokenizeđể đạt được điều này. Dưới đây là một ví dụ.

import nltk
sentence_data = "Sun rises in the east. Sun sets in the west."
nltk_tokens = nltk.sent_tokenize(sentence_data)
print (nltk_tokens)

Khi chúng tôi thực thi đoạn mã trên, nó tạo ra kết quả như sau.

['Sun rises in the east.', 'Sun sets in the west.']