Lucene-分析
前の章の1つで、LuceneがIndexWriterを使用してアナライザーを使用してドキュメントを分析し、必要に応じてインデックスを作成/オープン/編集することを確認しました。この章では、分析プロセス中に使用されるさまざまなタイプのアナライザーオブジェクトおよびその他の関連オブジェクトについて説明します。分析プロセスとアナライザーの動作を理解することで、Luceneがドキュメントにインデックスを付ける方法についての優れた洞察が得られます。
以下は、後で説明するオブジェクトのリストです。
| S.No. | クラスと説明 |
|---|---|
| 1 | トークン トークンは、メタデータ（位置、開始オフセット、終了オフセット、トークンタイプ、および位置の増分）などの関連する詳細を含むドキュメント内のテキストまたは単語を表します。 |
| 2 | TokenStream TokenStreamは分析プロセスの出力であり、一連のトークンで構成されます。抽象クラスです。 |
| 3 | アナライザ これは、すべてのタイプのアナライザーの抽象基本クラスです。 |
| 4 | WhitespaceAnalyzer このアナライザーは、空白に基づいてドキュメント内のテキストを分割します。 |
| 5 | SimpleAnalyzer このアナライザーは、文字以外の文字に基づいてドキュメント内のテキストを分割し、テキストを小文字にします。 |
| 6 | StopAnalyzer このアナライザーはSimpleAnalyzerと同じように機能し、次のような一般的な単語を削除します。 'a', 'an', 'the', 等 |
| 7 | StandardAnalyzer これは最も洗練されたアナライザーであり、名前や電子メールアドレスなどを処理できます。各トークンを小文字にし、一般的な単語や句読点がある場合は削除します。 |