ETL Testi - Otomasyon
ETL testi çoğunlukla SQL betikleri kullanılarak ve verileri elektronik tablolarda toplanarak yapılır. ETL testini gerçekleştirmeye yönelik bu yaklaşım çok yavaş ve zaman alıcıdır, hataya açıktır ve örnek veriler üzerinde gerçekleştirilir.
Manuel ETL Testinde Teknik Zorluk
ETL test ekibiniz, bir ambar sistemindeki verileri test etmek için SQL sorguları yazar ve bunları bir SQL düzenleyicisi kullanarak manuel olarak yürütmeleri ve ardından verileri bir Excel elektronik tablosuna yerleştirip manuel olarak karşılaştırmaları gerekir. Bu süreç zaman alıcıdır, yoğun kaynak gerektirir ve verimsizdir.
Piyasada bu süreci otomatikleştirmek için çeşitli araçlar bulunmaktadır. En yaygın ETL Test araçları QuerySurge ve Informatica Data Validation'dır.
QuerySurge
QuerySurge, Büyük Verileri, Veri Ambarlarını ve ETL sürecini test etmek için tasarlanmış bir veri test çözümüdür. Tüm süreci sizin için otomatikleştirebilir ve DevOps stratejinize güzel bir şekilde uyabilir.
QuerySurge'un temel özellikleri aşağıdaki gibidir -
Kullanıcı herhangi bir SQL yazmak zorunda kalmadan test QueryPairs'i hızlı ve kolay bir şekilde oluşturmak için Query Wizards'a sahiptir.
Yeniden kullanılabilir Sorgu Parçacıkları içeren bir Tasarım Kitaplığı vardır. Ayrıca özel QueryPairs de oluşturabilirsiniz.
Kaynak dosyalardan ve veri depolarından gelen verileri hedef Veri Ambarı veya Büyük Veri deposuyla karşılaştırabilir.
Milyonlarca veri satırını ve sütununu dakikalar içinde karşılaştırabilir.
Kullanıcının testleri (1) hemen, (2) herhangi bir tarih / saatte veya (3) bir olay bittikten sonra otomatik olarak çalıştırmasını planlamasına olanak tanır.
Bilgilendirici raporlar üretebilir, güncellemeleri görüntüleyebilir ve sonuçları ekibinize otomatik olarak e-postayla gönderebilir.
Tüm süreci otomatikleştirmek için, ETL aracınız, ETL yazılımı yükleme işlemini tamamladıktan sonra komut satırı API'si aracılığıyla QuerySurge'u başlatmalıdır.
QuerySurge, otomatik olarak ve gözetimsiz olarak çalışır, tüm testleri yürütür ve ardından sonuçları takımdaki herkese e-posta ile gönderir.
Tıpkı QuerySurge gibi, Informatica Data Validation, geliştirme ve üretim ortamında ETL test sürecini hızlandırmanıza ve otomatikleştirmenize yardımcı olan bir ETL test aracı sağlar. Daha kısa sürede eksiksiz, tekrarlanabilir ve denetlenebilir test kapsamı sunmanıza olanak tanır. Programlama becerisi gerektirmez!