Amazon Web Hizmetleri - Elastic MapReduce
Amazon Elastic MapReduce (EMR) Apache Hadoop, Apache Spark ve Presto gibi veri işleme çerçevelerini kolay, uygun maliyetli ve güvenli bir şekilde çalıştırmak için yönetilen bir çerçeve sağlayan bir web hizmetidir.
Veri analizi, web indeksleme, veri ambarı, finansal analiz, bilimsel simülasyon vb. İçin kullanılır.
Amazon EMR Nasıl Kurulur?
Amazon EMR'yi kurmak için şu adımları izleyin -
Step 1 - AWS hesabında oturum açın ve yönetim konsolunda Amazon EMR'yi seçin.
Step 2- Küme günlükleri ve çıktı verileri için Amazon S3 demeti oluşturun. (Prosedür, Amazon S3 bölümünde ayrıntılı olarak açıklanmıştır)
Step 3 - Amazon EMR kümesini başlatın.
Aşağıda küme oluşturma ve EMR'de başlatma adımları verilmiştir.
Amazon EMR konsolunu açmak için bu bağlantıyı kullanın - https://console.aws.amazon.com/elasticmapreduce/home
Küme oluştur'u seçin ve Küme Yapılandırması sayfasında gerekli ayrıntıları sağlayın.
Etiketler bölümü seçeneklerini varsayılan olarak bırakın ve devam edin.
Yazılım konfigürasyonu bölümünde, seçenekleri varsayılan olarak seviyelendirin.
Dosya Sistemi Yapılandırması bölümünde, EMRFS seçeneklerini varsayılan olarak ayarlanmış şekilde bırakın. EMRFS, bir HDFS uygulamasıdır ve Amazon EMR kümelerinin Amazon S3'te veri depolamasına olanak tanır.
Donanım Yapılandırması bölümünde, EC2 bulut sunucusu tipi alanında m3.xlarge öğesini seçin ve diğer ayarları varsayılan olarak bırakın. İleri düğmesine tıklayın.
Güvenlik ve Erişim bölümünde, EC2 anahtar çifti için EC2 anahtar çifti alanındaki listeden çifti seçin ve diğer ayarları varsayılan olarak bırakın.
Bootstrap Eylemleri bölümünde, alanları varsayılan olarak ayarlanmış olarak bırakın ve Ekle düğmesini tıklayın. Önyükleme eylemleri, her küme düğümünde Hadoop başlamadan önce kurulum sırasında yürütülen komut dosyalarıdır.
Adımlar bölümünde, ayarları varsayılan olarak bırakın ve devam edin.
Küme Oluştur düğmesini tıkladığınızda Küme Ayrıntıları sayfası açılır. Burası, Hive komut dosyasını bir küme adımı olarak çalıştırmamız ve verileri sorgulamak için Hue web arayüzünü kullanmamız gereken yerdir.
Step 4 - Aşağıdaki adımları kullanarak Hive komut dosyasını çalıştırın.
Amazon EMR konsolunu açın ve istediğiniz kümeyi seçin.
Adımlar bölümüne gidin ve genişletin. Ardından Adım ekle düğmesini tıklayın.
Adım Ekle iletişim kutusu açılır. Gerekli alanları doldurun, ardından Ekle düğmesini tıklayın.
Hive komut dosyasının çıktısını görüntülemek için aşağıdaki adımları kullanın -
Amazon S3 konsolunu açın ve çıktı verileri için kullanılan S3 klasörünü seçin.
Çıktı klasörünü seçin.
Sorgu, sonuçları ayrı bir klasöre yazar. Seçinizos_requests.
Çıktı bir metin dosyasında saklanır. Bu dosya indirilebilir.
Amazon EMR'nin Avantajları
Aşağıda Amazon EMR'nin avantajları verilmiştir -
Easy to use - Amazon EMR'nin kullanımı kolaydır, yani küme kurulumu, Hadoop yapılandırması, düğüm sağlama vb. Kolaydır.
Reliable - Başarısız görevleri yeniden denemesi ve kötü performans gösteren örnekleri otomatik olarak değiştirmesi açısından güvenilirdir.
Elastic- Amazon EMR, verileri herhangi bir ölçekte işlemek için büyük miktarda bulut sunucusu hesaplamaya olanak tanır. Örnek sayısını kolayca artırır veya azaltır.
Secure - Amazon EC2 güvenlik duvarı ayarlarını otomatik olarak yapılandırır, bulut sunucularına ağ erişimini kontrol eder, bir Amazon VPC'de kümeleri başlatır vb.
Flexible- Kümeler üzerinde tam kontrole ve her örneğe kök erişimine izin verir. Ayrıca ek uygulamaların yüklenmesine izin verir ve kümenizi gereksinime göre özelleştirir.
Cost-efficient- Fiyatlandırmasının tahmin edilmesi kolaydır. Kullanılan her örnek için saatlik ücret alır.