Lucene - Analiza
W jednym z naszych poprzednich rozdziałów widzieliśmy, że Lucene używa IndexWriter do analizy dokumentów za pomocą analizatora, a następnie tworzy / otwiera / edytuje indeksy zgodnie z wymaganiami. W tym rozdziale omówimy różne typy obiektów Analizatora i inne istotne obiekty, które są używane podczas procesu analizy. Zrozumienie procesu analizy i sposobu działania analizatorów zapewni doskonały wgląd w to, jak Lucene indeksuje dokumenty.
Poniżej znajduje się lista obiektów, które omówimy w odpowiednim czasie.
| S.No. | Klasa i opis |
|---|---|
| 1 | Znak
Token reprezentuje tekst lub słowo w dokumencie z odpowiednimi szczegółami, takimi jak metadane (pozycja, przesunięcie początkowe, przesunięcie końcowe, typ tokenu i przyrost pozycji). |
| 2 | TokenStream
TokenStream jest wynikiem procesu analizy i składa się z serii tokenów. To klasa abstrakcyjna. |
| 3 | Analizator
Jest to abstrakcyjna klasa bazowa dla każdego typu analizatora. |
| 4 | WhitespaceAnalyzer
Ten analizator dzieli tekst w dokumencie na podstawie białych znaków. |
| 5 | SimpleAnalyzer
Ten analizator dzieli tekst w dokumencie na podstawie znaków innych niż litery i umieszcza tekst małymi literami. |
| 6 | StopAnalyzer
Ten analizator działa tak samo jak SimpleAnalyzer i usuwa popularne słowa, takie jak 'a', 'an', 'the', itp. |
| 7 | StandardAnalyzer
Jest to najbardziej wyrafinowany analizator i jest w stanie obsłużyć nazwiska, adresy e-mail itp. Zmniejsza wielkość każdego tokena i usuwa popularne słowa i znaki interpunkcyjne, jeśli istnieją. |