데이터 엔지니어링 분야는 오늘날 인기가 있으며 오픈 소스 세계에서 많은 도구를 사용할 수 있습니다. 따라서 먼저 데이터 엔지니어링 파이프라인의 주요 프로세스를 살펴본 다음 도구 프로세스를 살펴보겠습니다.

수집 → 저장 → 변환 → 탐색 및 분석

워크플로 관리 도구:

아파치 에어플로우

데이터 엔지니어링 파이프라인의 워크플로를 관리하기 위한 오픈 소스 프레임워크는 Apache Airflow입니다. 2014년 10월, Airbnb는 점점 더 복잡해지는 비즈니스 운영을 처리하는 방법으로 이를 사용했습니다.

자세한 내용 은 여기를 참조하십시오 .

루이지

Luigi라는 Python(2.7, 3.6 및 3.7 테스트) 라이브러리를 사용하면 복잡한 배치 작업 파이프라인을 더 쉽게 만들 수 있습니다. 워크플로 관리, 시각화, 오류 처리, 명령줄 통합 등을 관리합니다.

자세한 내용 은 여기를 참조하십시오 .

수집 도구:

아파치 카프카

분산 이벤트 저장소 및 스트림 처리 플랫폼은 Apache Kafka입니다. Apache Software Foundation에서 만든 Java 및 Scala 기반 오픈 소스 시스템입니다. 이 프로젝트는 실시간 데이터 피드를 처리하기 위한 통합되고 처리량이 많고 대기 시간이 짧은 플랫폼을 제공하는 것을 목표로 합니다.

자세한 내용 은 여기를 참조하십시오 .

스토리지 도구:

HDFS

Hadoop 애플리케이션은 주로 HDFS(Hadoop Distributed File System)를 기본 스토리지 솔루션으로 사용합니다. 오픈 소스 프레임워크는 노드 간에 데이터를 빠르게 전송하여 작동합니다. 많은 양의 데이터를 관리하고 저장해야 하는 회사에서 자주 사용합니다.

자세한 내용 은 여기를 참조하십시오 .

세프

오픈 소스 Ceph 소프트웨어 정의 스토리지 플랫폼은 단일 분산 컴퓨터 클러스터에서 개체, 블록 및 파일 수준 스토리지를 위한 3-in-1 인터페이스를 제공합니다.

자세한 내용 은 여기를 참조하십시오 .

오픈스택 스위프트

일반적으로 OpenStack Object Storage라고 하는 OpenStack Swift는 공통 서버 하드웨어의 클러스터 전체에서 대용량 데이터의 장기적이고 비용 효율적인 스토리지를 처리하도록 만들어진 오픈 소스 소프트웨어입니다.

자세한 내용 은 여기를 참조하십시오 .

변환 도구:

아파치 스파크

방대한 양의 데이터를 분석하기 위한 오픈 소스 통합 분석 엔진은 Apache Spark입니다. Spark라는 인터페이스를 사용하면 암시적 데이터 병렬성과 내결함성을 사용하여 클러스터를 프로그래밍할 수 있습니다.

자세한 내용 은 여기를 참조하십시오 .

아파치 빔

ETL, 배치 및 스트림 처리를 포함하는 Apache Beam은 데이터 처리 파이프라인을 정의하고 실행하기 위한 오픈 소스 통합 프로그래밍 아키텍처입니다.

자세한 내용 은 여기를 참조하십시오 .

하둡 맵리듀스

Hadoop 클러스터는 수백 또는 수천 대의 시스템에서 MapReduce 프로그래밍 패러다임의 도움을 받아 대규모로 확장할 수 있습니다. Apache Hadoop의 핵심은 처리 구성 요소 역할을 하는 MapReduce입니다. Hadoop 프로그램은 집합적으로 "MapReduce"라고 하는 두 가지 별개의 작업을 수행합니다.

자세한 내용 은 여기를 참조하십시오 .

도구 탐색 및 분석:

그라파나

대화형 시각화 및 분석을 위한 오픈 소스 크로스 플랫폼 온라인 애플리케이션을 Grafana라고 합니다. 지원되는 데이터 소스에 연결하면 웹용 차트, 그래프 및 알림을 제공합니다.

자세한 내용 은 여기를 참조하십시오 .

메타베이스

오픈 소스 비즈니스 인텔리전스 도구는 Metabase입니다. Metabase를 사용하면 데이터를 쿼리하고 결과를 막대 차트 또는 전체 테이블과 같이 이해할 수 있는 방식으로 표시할 수 있습니다. 쿼리를 저장하고 매력적인 대시보드로 구성할 수 있습니다.

자세한 내용 은 여기를 참조하십시오 .

이제 블로그 막바지에 이르렀습니다. 더 많은 데이터 엔지니어링 관련 동영상을 보려면 저를 팔로우하세요.

당신이 그것을 좋아한다면 Calp.