Apache Flink - Pemrosesan Batch vs Real-time

Dalam hal Big Data, ada dua jenis pemrosesan -

• Pemrosesan Batch
• Pemrosesan Waktu Nyata

Pemrosesan berdasarkan data yang dikumpulkan dari waktu ke waktu disebut Pemrosesan Batch. Misalnya, manajer bank ingin memproses data satu bulan terakhir (dikumpulkan dari waktu ke waktu) untuk mengetahui jumlah cek yang dibatalkan dalam 1 bulan terakhir.

Pemrosesan berdasarkan data langsung untuk hasil instan disebut Pemrosesan Waktu Nyata. Misalnya, seorang manajer bank mendapatkan peringatan penipuan segera setelah terjadi transaksi penipuan (hasil instan).

Tabel yang diberikan di bawah ini mencantumkan perbedaan antara Batch dan Real-Time Processing -

Pemrosesan Batch	Pemrosesan Real-Time
File Statis	Arus Acara
Diproses Secara Berkala dalam Menit, Jam, Hari dll.	Segera diproses nanodetik
Data masa lalu di penyimpanan disk	Di Penyimpanan Memori
Contoh - Bill Generation	Contoh - ATM Transaction Alert

Saat ini, pemrosesan waktu nyata banyak digunakan di setiap organisasi. Kasus penggunaan seperti deteksi penipuan, peringatan real-time dalam perawatan kesehatan dan peringatan serangan jaringan memerlukan pemrosesan data instan secara real-time; penundaan bahkan beberapa milidetik dapat berdampak besar.

Alat yang ideal untuk kasus penggunaan waktu nyata seperti itu adalah alat yang dapat memasukkan data sebagai aliran dan bukan batch. Apache Flink adalah alat pemrosesan waktu nyata.