Veri Mühendisliği alanı günümüzde popülerdir ve açık kaynak dünyasında birçok araç mevcuttur. Öyleyse önce veri mühendisliği boru hattının temel süreçlerini görelim ve ardından araçlar akıllıca işliyor.

Alım → Depolama → Dönüşüm → Keşfedin ve analiz edin

İş akışı yönetimi Araçları:

Apache Hava Akışı

Veri mühendisliği ardışık düzenleri için iş akışlarını yönetmeye yönelik açık kaynaklı bir çerçeve, Apache Airflow'dur. Ekim 2014'te Airbnb bunu, işletmenin giderek karmaşıklaşan operasyonlarını halletmenin bir yolu olarak kullandı.

Burada daha fazlasını okuyun .

Luigi

Luigi adlı bir Python (2.7, 3.6 ve 3.7 test edilmiştir) kitaplığı, karmaşık toplu görev ardışık düzenleri oluşturmayı kolaylaştırır. İş akışı yönetimini, görselleştirmeyi, hataları işlemeyi, komut satırı entegrasyonunu ve diğer pek çok şeyi yönetir.

Burada daha fazlasını okuyun .

Besleme Araçları:

Apaçi Kafkası

Dağıtılmış bir olay deposu ve akış işleme platformu Apache Kafka'dır. Apache Software Foundation tarafından oluşturulan Java ve Scala tabanlı açık kaynaklı bir sistemdir. Proje, gerçek zamanlı veri akışlarını işlemek için birleşik, yüksek verimli, düşük gecikmeli bir platform sağlamayı amaçlıyor.

Burada daha fazlasını okuyun .

Depolama Araçları:

HDFS

Hadoop uygulamaları, birincil depolama çözümü olarak öncelikle HDFS'yi (Hadoop Dağıtılmış Dosya Sistemi) kullanır. Açık kaynak çerçevesi, verileri düğümler arasında hızlı bir şekilde göndererek çalışır. Büyük miktarda veriyi yönetmesi ve depolaması gereken şirketler bunu sıklıkla kullanır.

Burada daha fazlasını okuyun .

ceph

Açık kaynaklı Ceph yazılım tanımlı depolama platformu, tek bir dağıtılmış bilgisayar kümesinde nesne, blok ve dosya düzeyinde depolama için 3'ü 1 arada arabirimler sunar.

Burada daha fazlasını okuyun .

Açık yığın hızlı

Yaygın olarak OpenStack Nesne Depolaması olarak anılan OpenStack Swift, ortak sunucu donanımı kümelerinde büyük hacimli verilerin uzun vadeli, uygun maliyetli depolanmasını işlemek için yapılmış açık kaynaklı bir yazılımdır.

Burada daha fazlasını okuyun .

Dönüşüm Araçları:

apaçi kıvılcımı

Muazzam miktarda veriyi analiz etmek için açık kaynaklı bir birleşik analitik motoru Apache Spark'dır. Spark adlı bir arabirim, kümelerin örtük veri paralelliği ve hata toleransı ile programlanmasına olanak tanır.

Burada daha fazlasını okuyun .

Apaçi Işını

ETL, toplu iş ve akış işlemeyi içeren Apache Beam, veri işleme ardışık düzenlerini tanımlamak ve çalıştırmak için açık kaynaklı bir birleşik programlama mimarisidir.

Burada daha fazlasını okuyun .

Hadoop mapreduce

Bir Hadoop kümesi, MapReduce programlama paradigmasının yardımıyla yüzlerce veya binlerce makinede büyük ölçüde ölçeklenebilir. Apache Hadoop'un çekirdeği, işleme bileşeni olarak hizmet veren MapReduce'dur. Hadoop programları, toplu olarak "MapReduce" olarak adlandırılan iki ayrı ve farklı görevi yerine getirir.

Burada daha fazlasını okuyun .

Araçları keşfedin ve analiz edin:

Grafana

Etkileşimli görselleştirme ve analitik için açık kaynaklı, platformlar arası bir çevrimiçi uygulamanın adı Grafana'dır. Desteklenen veri kaynaklarına bağlandığında, web için çizelgeler, grafikler ve uyarılar sunar.

Burada daha fazlasını okuyun .

metatabanı

Açık kaynaklı bir iş zekası aracı Metabase'dir. Metataban, verilerinizi sorgulamanıza olanak tanır ve sonuçları çubuk grafik veya kapsamlı bir tablo gibi anlaşılır şekillerde sunar. Sorgularınız kaydedilebilir ve onları çekici panolarda düzenleyebilirsiniz.

Burada daha fazlasını okuyun .

Artık bloğumuzun sonuna geldik. Veri mühendisliği ile ilgili daha fazla video için beni takip edin.

Eğer beğenirsen Calp.