Область Data Engineering популярна в настоящее время, и многие инструменты доступны в мире с открытым исходным кодом. Итак, сначала давайте посмотрим на ключевые процессы конвейера обработки данных, а затем на инструменты.

Проглатывание → Хранение → Преобразование → Исследование и анализ

Инструменты управления рабочим процессом:

Воздушный поток Apache

Платформой с открытым исходным кодом для управления рабочими процессами для конвейеров обработки данных является Apache Airflow. В октябре 2014 года Airbnb использовала его как способ управления все более сложными операциями бизнеса.

Подробнее читайте здесь .

Луиджи

Библиотека Python (2.7, 3.6 и 3.7 протестирована) под названием Luigi упрощает создание сложных конвейеров пакетных задач. Он управляет рабочим процессом, визуализацией, обработкой ошибок, интеграцией командной строки и многими другими вещами.

Подробнее читайте здесь .

Инструменты приема:

Апач Кафка

Распределенным хранилищем событий и платформой потоковой обработки является Apache Kafka. Это система с открытым исходным кодом на основе Java и Scala, созданная Apache Software Foundation. Проект направлен на предоставление унифицированной платформы с высокой пропускной способностью и малой задержкой для обработки потоков данных в реальном времени.

Подробнее читайте здесь .

Инструменты хранения:

HDFS

Приложения Hadoop в основном используют HDFS (распределенную файловую систему Hadoop) в качестве основного решения для хранения. Платформа с открытым исходным кодом функционирует за счет быстрой отправки данных между узлами. Компании, которым необходимо управлять большими объемами данных и хранить их, часто используют его.

Подробнее читайте здесь .

Цеф

Программно-определяемая платформа хранения Ceph с открытым исходным кодом предлагает интерфейсы 3-в-1 для хранения на уровне объектов, блоков и файлов на одном распределенном компьютерном кластере.

Подробнее читайте здесь .

Openstack Swift

OpenStack Swift, обычно называемый OpenStack Object Storage, представляет собой программное обеспечение с открытым исходным кодом, предназначенное для долгосрочного и экономичного хранения огромных объемов данных в кластерах обычного серверного оборудования.

Подробнее читайте здесь .

Инструменты трансформации:

Апач Спарк

Apache Spark — это унифицированный аналитический механизм с открытым исходным кодом для анализа огромных объемов данных. Интерфейс под названием Spark позволяет программировать кластеры с неявным параллелизмом данных и отказоустойчивостью.

Подробнее читайте здесь .

Луч Апача

Включая ETL, пакетную и потоковую обработку, Apache Beam представляет собой унифицированную программную архитектуру с открытым исходным кодом для определения и запуска конвейеров обработки данных.

Подробнее читайте здесь .

Карта Hadoop

Кластер Hadoop может масштабироваться с помощью парадигмы программирования MapReduce на сотнях или тысячах машин. Ядром Apache Hadoop является MapReduce, который служит компонентом обработки. Программы Hadoop выполняют две отдельные задачи, которые вместе называются «MapReduce».

Подробнее читайте здесь .

Исследуйте и анализируйте Инструменты:

Графана

Кроссплатформенное онлайн-приложение с открытым исходным кодом для интерактивной визуализации и аналитики называется Grafana. При подключении к поддерживаемым источникам данных он предлагает диаграммы, графики и оповещения для Интернета.

Подробнее читайте здесь .

Метабаза

Инструмент бизнес-аналитики с открытым исходным кодом — Metabase. Метабаза позволяет запрашивать данные и представлять результаты в понятной форме, например в виде гистограммы или подробной таблицы. Ваши запросы могут быть сохранены, и вы можете организовать их в привлекательные информационные панели.

Подробнее читайте здесь .

Вот мы и подошли к концу нашего блога. Следуйте за мной, чтобы увидеть больше видео, связанных с инженерией данных.

Кликните, если вам это нравится.