Python-단어 토큰 화

단어 토큰 화는 대량의 텍스트 샘플을 단어로 분할하는 프로세스입니다. 이것은 각 단어를 캡처하고 특정 감정에 대해 분류하고 세는 등의 추가 분석을 거쳐야하는 자연어 처리 작업의 요구 사항입니다. NLTK (Natural Language Tool kit)는이를 달성하는 데 사용되는 라이브러리입니다. 단어 토큰 화를 위해 파이썬 프로그램을 진행하기 전에 NLTK를 설치하십시오.

conda install -c anaconda nltk

다음으로 우리는 word_tokenize 단락을 개별 단어로 분할하는 방법.

import nltk

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
nltk_tokens = nltk.word_tokenize(word_data)
print (nltk_tokens)

위 코드를 실행하면 다음과 같은 결과가 나옵니다.

['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 
'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the',
'comforts', 'of', 'their', 'drawing', 'rooms']

문장 토큰 화

단어를 토큰 화 한 것처럼 단락의 문장을 토큰화할 수도 있습니다. 우리는 방법을 사용합니다sent_tokenize이것을 달성하기 위해. 아래는 예입니다.

import nltk
sentence_data = "Sun rises in the east. Sun sets in the west."
nltk_tokens = nltk.sent_tokenize(sentence_data)
print (nltk_tokens)

위 코드를 실행하면 다음과 같은 결과가 나옵니다.

['Sun rises in the east.', 'Sun sets in the west.']