TIKA-概要

Apache Tikaとは何ですか？

Apache Tikaは、さまざまなファイル形式からのドキュメントタイプの検出とコンテンツの抽出に使用されるライブラリです。
内部的には、Tikaは既存のさまざまなドキュメントパーサーとドキュメントタイプ検出技術を使用してデータを検出および抽出します。
Tikaを使用すると、ユニバーサルタイプの検出器とコンテンツ抽出機能を開発して、スプレッドシート、テキストドキュメント、画像、PDF、さらにはマルチメディア入力形式など、さまざまなタイプのドキュメントから構造化テキストとメタデータの両方をある程度抽出できます。
Tikaは、さまざまなファイル形式を解析するための単一の汎用APIを提供します。ドキュメントタイプごとに既存の専用パーサーライブラリを使用します。
これらのパーサーライブラリはすべて、と呼ばれる単一のインターフェイスの下にカプセル化されています。 Parser interface。

なぜティカ？

filext.comによると、約15,000から51,000のコンテンツタイプがあり、この数は日々増加しています。データは、テキストドキュメント、Excelスプレッドシート、PDF、画像、マルチメディアファイルなどのさまざまな形式で保存されています。したがって、検索エンジンやコンテンツ管理システムなどのアプリケーションでは、これらのドキュメントタイプからデータを簡単に抽出するための追加のサポートが必要です。Apache Tikaは、複数のファイル形式からデータを検索して抽出するための汎用APIを提供することにより、この目的を果たします。

ApacheTikaアプリケーション

ApacheTikaを利用するさまざまなアプリケーションがあります。ここでは、ApacheTikaに大きく依存するいくつかの著名なアプリケーションについて説明します。

サーチエンジン

Tikaは、デジタルドキュメントのテキストコンテンツにインデックスを付ける検索エンジンの開発中に広く使用されています。

検索エンジンは、Webから情報や索引付きドキュメントを検索するように設計された情報処理システムです。
クローラーは検索エンジンの重要なコンポーネントであり、Webをクロールして、何らかのインデックス作成手法を使用してインデックス付けされるドキュメントをフェッチします。その後、クローラーはこれらのインデックス付きドキュメントを抽出コンポーネントに転送します。
抽出コンポーネントの役割は、ドキュメントからテキストとメタデータを抽出することです。このような抽出されたコンテンツとメタデータは、検索エンジンにとって非常に役立ちます。この抽出コンポーネントにはTikaが含まれています。
抽出されたコンテンツは、検索エンジンのインデクサーに渡され、検索エンジンはそれを使用して検索インデックスを作成します。これとは別に、検索エンジンは抽出されたコンテンツを他の多くの方法でも使用します。

ドキュメント分析

人工知能の分野では、セマンティックレベルでドキュメントを自動的に分析し、そこからあらゆる種類のデータを抽出するための特定のツールがあります。
このようなアプリケーションでは、ドキュメントは、ドキュメントの抽出されたコンテンツの目立つ用語に基づいて分類されます。
これらのツールは、プレーンテキストからデジタルドキュメントまでさまざまなドキュメントを分析するためのコンテンツ抽出にTikaを利用します。

デジタル資産管理

一部の組織は、デジタル資産管理（DAM）と呼ばれる特別なアプリケーションを使用して、写真、電子書籍、図面、音楽、ビデオなどのデジタル資産を管理しています。
このようなアプリケーションは、ドキュメントタイプ検出器とメタデータ抽出機能を利用して、さまざまなドキュメントを分類します。

内容分析

アマゾンのようなウェブサイトは、彼らの興味に応じて、彼らのウェブサイトの新しくリリースされたコンテンツを個々のユーザーに推薦します。そうするために、これらのウェブサイトは続きますmachine learning techniques、またはFacebookなどのソーシャルメディアWebサイトの助けを借りて、ユーザーのいいねや興味などの必要な情報を抽出します。この収集された情報は、HTMLタグまたはその他の形式で、コンテンツタイプの検出と抽出がさらに必要になります。
ドキュメントの内容分析には、次のような機械学習技術を実装するテクノロジーがあります。 UIMA そして Mahout。これらのテクノロジーは、ドキュメント内のデータをクラスタリングおよび分析するのに役立ちます。
Apache Mahoutは、クラウドコンピューティングプラットフォームであるApacheHadoopでMLアルゴリズムを提供するフレームワークです。Mahoutは、特定のクラスタリングおよびフィルタリング技術に従うことによってアーキテクチャを提供します。このアーキテクチャに従うことで、プログラマーは独自のMLアルゴリズムを記述して、さまざまなテキストとメタデータの組み合わせを使用して推奨事項を作成できます。これらのアルゴリズムへの入力を提供するために、Mahoutの最近のバージョンでは、Tikaを使用してバイナリコンテンツからテキストとメタデータを抽出しています。
Apache UIMAさまざまなプログラミング言語を分析および処理し、UIMA注釈を生成します。内部的には、TikaAnnotatorを使用してドキュメントのテキストとメタデータを抽出します。

歴史

年	開発
2006年	Tikaのアイデアは、Luceneプロジェクト管理委員会の前に投影されました。
2006年	Tikaの概念とJackrabbitプロジェクトでのその有用性が議論されました。
2007年	TikaはApacheインキュベーターに入りました。
2008年	バージョン0.1と0.2がリリースされ、TikaはインキュベーターからLuceneサブプロジェクトに卒業しました。
2009年	バージョン0.3、0.4、および0.5がリリースされました。
2010年	バージョン0.6と0.7がリリースされ、TikaはトップレベルのApacheプロジェクトに卒業しました。
2011	Tika 1.0がリリースされ、Tikaに関する本「TikainAction」も同じ年にリリースされました。