Lucene - Analiz
Önceki bölümlerimizden birinde, Lucene'nin Analizörü kullanarak Belgeleri analiz etmek için IndexWriter kullandığını ve ardından gerektiği gibi dizinleri oluşturduğunu / açtığını / düzenlediğini gördük . Bu bölümde, analiz işlemi sırasında kullanılan çeşitli Analizör nesneleri ve diğer ilgili nesneleri tartışacağız. Analiz sürecini ve analizörlerin nasıl çalıştığını anlamak, Lucene'nin dokümanları nasıl indekslediği konusunda size büyük bir fikir verecektir.
İleride tartışacağımız nesnelerin listesi aşağıdadır.
| S.No. | Sınıf ve Açıklama |
|---|---|
| 1 | Jeton Belirteç, metadata (konum, başlangıç ofseti, bitiş ofseti, simge türü ve konum artışı) gibi ilgili ayrıntılarla bir belgedeki metni veya sözcüğü temsil eder. |
| 2 | TokenStream TokenStream, analiz sürecinin bir çıktısıdır ve bir dizi simgeden oluşur. Soyut bir sınıftır. |
| 3 | Analizör Bu, her bir Analyzer türü için soyut bir temel sınıftır. |
| 4 | WhitespaceAnalyzer Bu çözümleyici, bir belgedeki metni beyaz boşluğa göre böler. |
| 5 | SimpleAnalyzer Bu çözümleyici, bir belgedeki metni harf olmayan karakterlere göre böler ve metni küçük harfe dönüştürür. |
| 6 | StopAnalyzer Bu analizör, SimpleAnalyzer gibi çalışır ve aşağıdaki gibi yaygın kelimeleri kaldırır: 'a', 'an', 'the', vb. |
| 7 | StandardAnalyzer Bu en gelişmiş çözümleyicidir ve isimleri, e-posta adreslerini vb. İşleyebilir. Her bir belirteci küçültür ve varsa genel sözcükleri ve noktalamaları kaldırır. |