TIKA - Sekilas
Apa itu Apache Tika?
Apache Tika adalah pustaka yang digunakan untuk deteksi tipe dokumen dan ekstraksi konten dari berbagai format file.
Secara internal, Tika menggunakan berbagai parser dokumen dan teknik deteksi tipe dokumen yang ada untuk mendeteksi dan mengekstrak data.
Dengan menggunakan Tika, seseorang dapat mengembangkan detektor tipe universal dan ekstraktor konten untuk mengekstrak teks terstruktur serta metadata dari berbagai jenis dokumen seperti spreadsheet, dokumen teks, gambar, PDF, dan bahkan format input multimedia sampai batas tertentu.
Tika menyediakan API generik tunggal untuk mengurai berbagai format file. Ini menggunakan pustaka parser khusus yang ada untuk setiap jenis dokumen.
Semua pustaka parser ini dienkapsulasi di bawah satu antarmuka yang disebut Parser interface.
Kenapa Tika?
Menurut filext.com, ada sekitar 15 ribu hingga 51 ribu jenis konten, dan jumlah ini terus bertambah dari hari ke hari. Data disimpan dalam berbagai format seperti dokumen teks, spreadsheet excel, PDF, gambar, dan file multimedia, untuk beberapa nama. Oleh karena itu, aplikasi seperti mesin pencari dan sistem manajemen konten memerlukan dukungan tambahan untuk memudahkan ekstraksi data dari jenis dokumen ini. Apache Tika melayani tujuan ini dengan menyediakan API umum untuk mencari dan mengekstrak data dari berbagai format file.
Aplikasi Apache Tika
Ada berbagai aplikasi yang menggunakan Apache Tika. Di sini kita akan membahas beberapa aplikasi terkemuka yang sangat bergantung pada Apache Tika.
Mesin pencari
Tika banyak digunakan saat mengembangkan mesin pencari untuk mengindeks konten teks dokumen digital.
Mesin pencari adalah sistem pemrosesan informasi yang dirancang untuk mencari informasi dan dokumen yang diindeks dari Web.
Perayap adalah komponen penting dari mesin telusur yang merayapi web untuk mengambil dokumen yang akan diindeks menggunakan beberapa teknik pengindeksan. Setelah itu, crawler mentransfer dokumen yang diindeks ini ke komponen ekstraksi.
Tugas komponen ekstraksi adalah mengekstrak teks dan metadata dari dokumen. Konten dan metadata yang diekstrak seperti itu sangat berguna untuk mesin pencari. Komponen ekstraksi ini mengandung Tika.
Konten yang diekstrak kemudian diteruskan ke pengindeks mesin pencari yang menggunakannya untuk membuat indeks pencarian. Selain itu, mesin pencari menggunakan konten yang diekstraksi dengan banyak cara lain juga.
Analisis Dokumen
Di bidang kecerdasan buatan, terdapat alat tertentu untuk menganalisis dokumen secara otomatis pada tingkat semantik dan mengekstrak semua jenis data darinya.
Dalam aplikasi tersebut, dokumen diklasifikasikan berdasarkan istilah yang menonjol dalam konten dokumen yang diekstraksi.
Alat-alat ini memanfaatkan Tika untuk ekstraksi konten untuk menganalisis dokumen yang bervariasi dari teks biasa hingga dokumen digital.
Manajemen Aset Digital
Beberapa organisasi mengelola aset digital mereka seperti foto, ebooks, gambar, musik, dan video menggunakan aplikasi khusus yang disebut manajemen aset digital (DAM).
Aplikasi semacam itu membutuhkan bantuan detektor tipe dokumen dan ekstraktor metadata untuk mengklasifikasikan berbagai dokumen.
Analisis Isi
Situs web seperti Amazon merekomendasikan konten situs web mereka yang baru dirilis kepada pengguna individu sesuai dengan minat mereka. Untuk melakukannya, situs web ini mengikutimachine learning techniques, atau mengambil bantuan situs web media sosial seperti Facebook untuk mengekstrak informasi yang diperlukan seperti kesukaan dan minat pengguna. Informasi yang dikumpulkan ini akan dalam bentuk tag html atau format lain yang memerlukan deteksi dan ekstraksi jenis konten lebih lanjut.
Untuk analisis konten dokumen, kami memiliki teknologi yang menerapkan teknik pembelajaran mesin seperti UIMA dan Mahout. Teknologi ini berguna dalam mengelompokkan dan menganalisis data dalam dokumen.
Apache Mahoutadalah framework yang menyediakan algoritme ML di Apache Hadoop - platform komputasi awan. Mahout menyediakan arsitektur dengan mengikuti teknik clustering dan filtering tertentu. Dengan mengikuti arsitektur ini, programmer dapat membuat algoritme ML mereka sendiri untuk menghasilkan rekomendasi dengan mengambil berbagai kombinasi teks dan metadata. Untuk memberikan masukan ke algoritme ini, versi terbaru Mahout menggunakan Tika untuk mengekstrak teks dan metadata dari konten biner.
Apache UIMAmenganalisis dan memproses berbagai bahasa pemrograman dan menghasilkan penjelasan UIMA. Secara internal menggunakan Tika Annotator untuk mengekstrak teks dokumen dan metadata.
Sejarah
Tahun | Pengembangan |
---|---|
2006 | Ide Tika diproyeksikan di hadapan Komite Manajemen Proyek Lucene. |
2006 | Konsep Tika dan kegunaannya dalam proyek Jackrabbit dibahas. |
2007 | Tika masuk ke inkubator Apache. |
2008 | Versi 0.1 dan 0.2 dirilis dan Tika lulus dari inkubator ke sub-proyek Lucene. |
2009 | Versi 0,3, 0,4, dan 0,5 dirilis. |
2010 | Versi 0.6 dan 0.7 dirilis dan Tika lulus ke dalam proyek Apache tingkat atas. |
2011 | Tika 1.0 dirilis dan buku tentang Tika "Tika in Action" juga dirilis di tahun yang sama. |