Python - Bigrams

Một số từ tiếng Anh xuất hiện cùng nhau thường xuyên hơn. Ví dụ - Bầu trời cao, làm hoặc chết, hiệu suất tốt nhất, mưa lớn, v.v. Vì vậy, trong tài liệu văn bản, chúng ta có thể cần xác định những cặp từ như vậy sẽ giúp phân tích tình cảm. Đầu tiên, chúng ta cần tạo các cặp từ như vậy từ câu hiện có duy trì trình tự hiện tại của chúng. Những cặp như vậy được gọi là bigram. Python có một hàm bigram như một phần của thư viện NLTK giúp chúng ta tạo các cặp này.

Thí dụ

import nltk
word_data = "The best performance can bring in sky high success."
nltk_tokens = nltk.word_tokenize(word_data)  	
print(list(nltk.bigrams(nltk_tokens)))

Khi chúng tôi chạy chương trình trên, chúng tôi nhận được kết quả sau:

[('The', 'best'), ('best', 'performance'), ('performance', 'can'), ('can', 'bring'), 
('bring', 'in'), ('in', 'sky'), ('sky', 'high'), ('high', 'success'), ('success', '.')]

Kết quả này có thể được sử dụng trong các phát hiện thống kê về tần suất của các cặp như vậy trong một văn bản nhất định. Điều đó sẽ liên quan đến cảm xúc chung của các mô tả hiện trong nội dung của văn bản.