Python-텍스트 처리 소개

텍스트 처리는 NLP라고도하는 자연어 처리에 직접 적용됩니다. NLP는 인간이 서로 의사 소통 할 때 말하거나 쓰는 언어를 처리하는 것을 목표로합니다. 이것은 인간이 작성한 컴퓨터 프로그램이나 어떤 위치에서 마우스를 클릭하는 것과 같은 인간의 몸짓으로 컴퓨터와 인간 사이의 의사 소통과는 다릅니다. NLP는 인간이 말하는 자연어를 이해하고 분류하고 필요한 경우이를 분석하고 이에 대응합니다. Python에는 NLP의 요구 사항을 충족하는 풍부한 라이브러리 세트가 있습니다. NLTK (Natural Language Tool Kit)는 NLP에 필요한 기능을 제공하는 라이브러리 모음입니다.

다음은 NLP와 간접적으로 파이썬의 NLTK를 사용하는 일부 응용 프로그램입니다.

요약

여러 번 우리는 뉴스 기사, 영화 줄거리 또는 큰 이야기의 요약을 얻어야합니다. 그것들은 모두 인간의 언어로 쓰여졌 고 NLP없이 우리는 우리에게 그러한 요약에 대한 다른 사람의 해석과 표현에 의존해야합니다. 그러나 NLP의 도움으로 우리는 NLTK를 사용하는 프로그램을 작성하고 최종 출력에서 ​​원하는 텍스트의 비율, 요약을위한 긍정적 인 단어와 부정적인 단어 선택 등과 같은 다양한 매개 변수로 긴 텍스트를 요약 할 수 있습니다. 온라인 뉴스 피드는 뉴스 통찰력을 제공하기 위해 이러한 요약 기술에.

음성 기반 도구

사과 Siri 또는 Amazon Alexa와 같은 음성 기반 도구는 인간과 미친 상호 작용을 이해하기 위해 NLP에 의존합니다. 그들은 인간에게서 오는 질문이나 명령을 해석하고 처리하기 위해 단어, 문장 및 문법의 대규모 훈련 데이터 세트를 가지고 있습니다. 음성에 관한 것이지만 간접적으로 텍스트로 번역되고 결과 텍스트 형태로 음성이 NLP 시스템을 통해 가져와 결과를 생성합니다.

정보 추출

웹 스크랩 핑은 파이썬 코드를 사용하여 웹 페이지에서 데이터를 추출하는 일반적인 예입니다. 여기에서는 엄격하게 NLP 기반이 아닐 수 있지만 텍스트 처리가 포함됩니다. 예를 들어 html 페이지에있는 헤더 만 추출해야하는 경우 페이지 구조에서 h1 태그를 찾고 해당 태그 사이에서만 텍스트를 추출하는 방법을 찾습니다. 이것은 파이썬의 텍스트 처리 프로그램이 필요합니다.

스팸 필터링

이메일의 스팸은 메시지 내용뿐 아니라 제목 줄의 텍스트를 분석하여 식별 및 제거 할 수 있습니다. 스팸 이메일은 일반적으로 많은 수신자에게 대량으로 전송되기 때문에 제목과 내용에 약간의 차이가 있더라도 일치하고 태그를 지정하여 스팸으로 표시 할 수 있습니다. 다시 한 번 NLTK 라이브러리를 사용해야합니다.

언어 번역

컴퓨터 화 된 언어 번역은 NLP에 크게 의존합니다. 온라인 플랫폼에서 점점 더 많은 언어가 사용됨에 따라 한 인간 언어에서 다른 언어로의 번역을 자동화하는 것이 필수가되었습니다. 여기에는 번역에 관련된 언어의 어휘, 문법 및 컨텍스트 태깅을 처리하는 프로그래밍이 포함됩니다. 다시 말하지만, NLTK는 이러한 요구 사항을 처리하는 데 사용됩니다.

감정 분석

영화의 성능에 대한 전반적인 반응을 알아 보려면 청중의 수천 개의 피드백 게시물을 읽어야 할 수 있습니다. 그러나 단어와 문장 분석을 통해 긍정적 인 피드백과 부정적인 피드백의 분류를 사용하여 자동화 할 수 있습니다. 그런 다음 긍정적이고 부정적인 리뷰의 빈도를 측정하여 청중의 전반적인 감정을 찾습니다. 이것은 분명히 청중이 작성한 인간 언어의 분석이 필요하며 NLTK는 텍스트 처리를 위해 여기서 많이 사용됩니다.