Amazon Web Services - Kinesis
Amazon Kinesisadalah layanan berbasis cloud yang terkelola, dapat diskalakan, yang memungkinkan pemrosesan real-time streaming data dalam jumlah besar per detik. Ini dirancang untuk aplikasi waktu nyata dan memungkinkan pengembang untuk mengambil sejumlah data dari beberapa sumber, meningkatkan dan menurunkan skala yang dapat dijalankan pada instans EC2.
Ini digunakan untuk menangkap, menyimpan, dan memproses data dari aliran besar dan terdistribusi seperti log peristiwa dan umpan media sosial. Setelah mengolah data, Kinesis mendistribusikannya ke banyak konsumen secara bersamaan.
Bagaimana Cara Menggunakan Amazon KCL?
Ini digunakan dalam situasi di mana kami membutuhkan data yang bergerak cepat dan pemrosesan yang berkelanjutan. Amazon Kinesis dapat digunakan dalam situasi berikut -
Data log and data feed intake- Kami tidak perlu menunggu untuk mengumpulkan data, kami dapat mendorong data ke aliran Amazon Kinesis segera setelah data diproduksi. Ini juga melindungi kehilangan data jika produsen data gagal. Misalnya: Log sistem dan aplikasi dapat terus ditambahkan ke aliran dan dapat tersedia dalam hitungan detik bila diperlukan.
Real-time graphs- Kami dapat mengekstrak grafik / metrik menggunakan aliran Amazon Kinesis untuk membuat hasil laporan. Kami tidak perlu menunggu kumpulan data.
Real-time data analytics - Kami dapat menjalankan analitik data streaming waktu nyata dengan menggunakan Amazon Kinesis.
Batasan Amazon Kinesis?
Berikut adalah batasan tertentu yang harus diingat saat menggunakan Amazon Kinesis Streams -
Rekaman aliran dapat diakses hingga 24 jam secara default dan dapat diperpanjang hingga 7 hari dengan mengaktifkan retensi data yang diperpanjang.
Ukuran maksimum blob data (muatan data sebelum encoding Base64) dalam satu catatan adalah 1 megabyte (MB).
Satu pecahan mendukung hingga 1000 data PUT per detik.
Untuk informasi lebih lanjut terkait dengan batasan, kunjungi tautan berikut - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
Bagaimana Cara Menggunakan Amazon Kinesis?
Berikut adalah langkah-langkah untuk menggunakan Amazon Kinesis -
Step 1 - Siapkan Kinesis Stream menggunakan langkah-langkah berikut -
Masuk ke akun AWS. Pilih Amazon Kinesis dari Amazon Management Console.
Klik Buat aliran dan isi bidang yang diperlukan seperti nama aliran dan jumlah pecahan. Klik tombol Buat.
Aliran sekarang akan terlihat di Daftar Aliran.
Step 2- Siapkan pengguna di aliran Kinesis. Buat Pengguna Baru & tetapkan kebijakan untuk setiap pengguna. (Kita telah membahas prosedur di atas untuk membuat Pengguna dan menetapkan kebijakan untuk mereka)
Step 3- Hubungkan aplikasi Anda ke Amazon Kinesis; di sini kami menghubungkan Zoomdata ke Amazon Kinesis. Berikut adalah langkah-langkah untuk menghubungkan.
Masuk ke Zoomdata sebagai Administrator dan klik menu Sumber di.
Pilih ikon Kinesis dan isi detail yang diperlukan. Klik tombol Next.
Pilih Stream yang diinginkan di tab Stream.
Pada tab Fields, buat nama label yang unik, sesuai kebutuhan dan klik tombol Next.
Pada Tab Charts, aktifkan grafik untuk data. Sesuaikan pengaturan sesuai kebutuhan dan kemudian klik tombol Selesai untuk menyimpan pengaturan.
Fitur Amazon Kinesis
Real-time processing - Ini memungkinkan untuk mengumpulkan dan menganalisis informasi secara real-time seperti harga perdagangan saham jika tidak kita perlu menunggu laporan data-out.
Easy to use - Dengan menggunakan Amazon Kinesis, kami dapat membuat aliran baru, mengatur persyaratannya, dan memulai streaming data dengan cepat.
High throughput, elastic - Ini memungkinkan untuk mengumpulkan dan menganalisis informasi secara real-time seperti harga perdagangan saham jika tidak kita perlu menunggu laporan data-out.
Integrate with other Amazon services - Dapat diintegrasikan dengan Amazon Redshift, Amazon S3 dan Amazon DynamoDB.
Build kinesis applications- Amazon Kinesis menyediakan pustaka klien bagi pengembang yang memungkinkan desain dan pengoperasian aplikasi pemrosesan data waktu nyata. Tambahkan Perpustakaan Klien Amazon Kinesis ke aplikasi Java dan itu akan memberi tahu ketika data baru tersedia untuk diproses.
Cost-efficient- Amazon Kinesis hemat biaya untuk beban kerja dalam skala apa pun. Bayar saat kami menggunakan sumber daya yang digunakan dan bayar setiap jam untuk throughput yang diperlukan.