Lucene-분석
이전 장 중 하나에서 Lucene이 IndexWriter 를 사용하여 Analyzer를 사용하여 문서 를 분석 한 다음 필요에 따라 인덱스를 생성 / 열기 / 편집 하는 것을 보았습니다 . 이 장에서는 분석 과정에서 사용되는 다양한 유형의 Analyzer 개체 및 기타 관련 개체에 대해 설명합니다. 분석 프로세스와 분석기 작동 방식을 이해하면 Lucene이 문서를 인덱싱하는 방법에 대한 훌륭한 통찰력을 얻을 수 있습니다.
다음은 당연히 논의 할 개체 목록입니다.
| S. 아니. | 클래스 및 설명 |
|---|---|
| 1 | 토큰 토큰은 메타 데이터 (위치, 시작 오프셋, 끝 오프셋, 토큰 유형 및 위치 증분)와 같은 관련 세부 정보가있는 문서의 텍스트 또는 단어를 나타냅니다. |
| 2 | TokenStream TokenStream은 분석 프로세스의 출력이며 일련의 토큰으로 구성됩니다. 추상 클래스입니다. |
| 삼 | 분석기 이것은 모든 유형의 Analyzer에 대한 추상 기본 클래스입니다. |
| 4 | 공백 분석기 이 분석기는 공백을 기준으로 문서의 텍스트를 분할합니다. |
| 5 | SimpleAnalyzer 이 분석기는 문자가 아닌 문자를 기반으로 문서의 텍스트를 분할하고 텍스트를 소문자로 표시합니다. |
| 6 | StopAnalyzer 이 분석기는 SimpleAnalyzer처럼 작동하며 다음과 같은 일반적인 단어를 제거합니다. 'a', 'an', 'the', 기타 |
| 7 | StandardAnalyzer 이것은 가장 정교한 분석기이며 이름, 이메일 주소 등을 처리 할 수 있습니다. 각 토큰을 소문자로하고 일반적인 단어와 구두점 (있는 경우)을 제거합니다. |