ETL 테스트 – 소개

데이터웨어 하우스 시스템의 데이터는 ETL (추출, 변환,로드) 도구를 사용하여로드됩니다. 이름에서 알 수 있듯이 다음 세 가지 작업을 수행합니다.

Oracle, Microsoft 또는 기타 관계형 데이터베이스가 될 수있는 트랜잭션 시스템에서 데이터를 추출합니다.
데이터 정리 작업을 수행하여 데이터를 변환 한 다음
데이터를 OLAP 데이터웨어 하우스에로드합니다.

ETL 도구를 사용하여 스프레드 시트 및 CSV 파일과 같은 플랫 파일에서 데이터를 추출하고 데이터 분석 및보고를 위해 OLAP 데이터웨어 하우스에로드 할 수도 있습니다. 더 잘 이해하기 위해 예를 들어 보겠습니다.

예

영업, HR, 자재 관리, EWM 등과 같은 여러 부서가있는 제조 회사가 있다고 가정 해 보겠습니다. 이러한 모든 부서에는 업무에 대한 정보를 유지하는 데 사용하는 별도의 데이터베이스가 있으며 각 데이터베이스에는 서로 다른 기술, 환경, 테이블이 있습니다. 이름, 열 등. 이제 회사가 과거 데이터를 분석하고 보고서를 생성하려면 이러한 데이터 소스의 모든 데이터를 추출하여 데이터웨어 하우스에로드하여 분석 작업을 위해 저장해야합니다.

ETL 도구는 이러한 모든 이기종 데이터 소스에서 데이터를 추출하고 데이터를 변환 (예 : 계산 적용, 필드 결합, 잘못된 데이터 필드 제거 등) 한 다음 데이터웨어 하우스에로드합니다. 나중에 다양한 비즈니스 인텔리전스 (BI) 도구를 사용하여이 데이터를 사용하여 의미있는 보고서, 대시 보드 및 시각화를 생성 할 수 있습니다.

ETL과 BI 도구의 차이점

ETL 도구는 다른 데이터 소스에서 데이터를 추출하고 데이터를 변환 한 다음 DW 시스템에로드하는 데 사용됩니다. 그러나 BI 도구는 최종 사용자를위한 대화 형 임시 보고서, 고위 경영진을위한 대시 보드, 월간, 분기 별 및 연간 이사회를위한 데이터 시각화를 생성하는 데 사용됩니다.

가장 일반적인 ETL 도구에는 SAP BO 데이터 서비스 (BODS), Informatica – Power Center, Microsoft – SSIS, Oracle Data Integrator ODI, Talend Open Studio, Clover ETL 오픈 소스 등이 포함됩니다.

인기있는 BI 도구로는 SAP Business Objects, SAP Lumira, IBM Cognos, JasperSoft, Microsoft BI Platform, Tableau, Oracle Business Intelligence Enterprise Edition 등이 있습니다.

ETL 프로세스

이제 ETL 절차와 관련된 주요 단계에 대해 좀 더 자세히 논의하겠습니다.

데이터 추출

다른 이기종 데이터 소스에서 데이터를 추출하는 작업이 포함됩니다. 트랜잭션 시스템에서 데이터 추출은 요구 사항 및 사용중인 ETL 도구에 따라 다릅니다. 일반적으로 야간 또는 주말에 작업을 실행하는 것과 같이 업무 외 시간에 예약 된 작업을 실행하여 수행됩니다.

데이터 변환

데이터를 DW 시스템에 쉽게로드 할 수있는 적절한 형식으로 변환하는 작업이 포함됩니다. 데이터 변환에는 계산 적용, 조인, 데이터에 대한 기본 및 외래 키 정의가 포함됩니다. 예를 들어 데이터베이스에없는 총 수익의 %를 원하는 경우 변환에 % 공식을 적용하고 데이터를로드합니다. 마찬가지로 다른 열에 사용자의 이름과 성이있는 경우 데이터를로드하기 전에 연결 작업을 적용 할 수 있습니다. 일부 데이터에는 변환이 필요하지 않습니다. 이러한 데이터는direct move 또는 pass through data.

데이터 변환에는 데이터 수정 및 데이터 정리, 잘못된 데이터 제거, 불완전한 데이터 형성 및 데이터 오류 수정도 포함됩니다. 또한 DW 시스템에로드하기 전에 데이터 무결성 및 호환되지 않는 데이터 형식화도 포함합니다.

DW 시스템에 데이터로드

분석보고 및 정보를 위해 데이터를 DW 시스템에로드하는 작업이 포함됩니다. 대상 시스템은 단순 구분 플랫 파일 또는 데이터웨어 하우스 일 수 있습니다.

ETL 도구 기능

일반적인 ETL 도구 기반 데이터웨어 하우스는 스테이징 영역, 데이터 통합 및 액세스 계층을 사용하여 기능을 수행합니다. 일반적으로 3 계층 아키텍처입니다.

Staging Layer − 스테이징 레이어 또는 스테이징 데이터베이스는 다른 소스 데이터 시스템에서 추출 된 데이터를 저장하는 데 사용됩니다.
Data Integration Layer − 통합 계층은 스테이징 계층의 데이터를 변환하고 데이터를 데이터베이스로 이동합니다. 여기서 데이터는 종종 계층 적 그룹으로 정렬됩니다. dimensions, 그리고 facts 과 aggregate facts. DW 시스템에서 팩트와 차원 테이블의 조합을schema.
Access Layer − 액세스 계층은 최종 사용자가 분석보고 및 정보를 위해 데이터를 검색하는 데 사용됩니다.

다음 그림은 세 레이어가 서로 상호 작용하는 방식을 보여줍니다.