ETL 테스트 – 자동화

ETL 테스트는 대부분 SQL 스크립트를 사용하고 스프레드 시트에서 데이터를 수집하여 수행됩니다. ETL 테스트를 수행하는이 접근 방식은 매우 느리고 시간이 많이 걸리며 오류가 발생하기 쉬우 며 샘플 데이터에서 수행됩니다.

수동 ETL 테스트의 기술적 과제

ETL 테스트 팀은웨어 하우스 시스템에서 데이터를 테스트하기 위해 SQL 쿼리를 작성하며 SQL 편집기를 사용하여 수동으로 실행 한 다음 데이터를 Excel 스프레드 시트에 넣고 수동으로 비교해야합니다. 이 프로세스는 시간과 리소스를 많이 사용하며 비효율적입니다.

이 프로세스를 자동화 할 수있는 다양한 도구가 시장에 나와 있습니다. 가장 일반적인 ETL 테스트 도구는 QuerySurge 및 Informatica 데이터 유효성 검사입니다.

QuerySurge

QuerySurge는 빅 데이터, 데이터웨어 하우스 및 ETL 프로세스를 테스트하기 위해 설계된 데이터 테스트 솔루션입니다. 전체 프로세스를 자동화하고 DevOps 전략에 잘 맞출 수 있습니다.

QuerySurge의 주요 기능은 다음과 같습니다-

사용자가 SQL을 작성할 필요없이 빠르고 쉽게 테스트 QueryPair를 생성 할 수있는 Query Wizards가 있습니다.
재사용 가능한 쿼리 스 니펫이있는 디자인 라이브러리가 있습니다. 사용자 지정 QueryPair도 만들 수 있습니다.
소스 파일 및 데이터 저장소의 데이터를 대상 데이터웨어 하우스 또는 빅 데이터 저장소와 비교할 수 있습니다.
수백만 개의 데이터 행과 열을 몇 분 안에 비교할 수 있습니다.
사용자는 (1) 즉시, (2) 임의의 날짜 / 시간 또는 (3) 이벤트가 종료 된 후 자동으로 실행되도록 테스트를 예약 할 수 있습니다.
유익한 보고서를 생성하고, 업데이트를보고, 결과를 팀에 자동 이메일로 보낼 수 있습니다.

전체 프로세스를 자동화하려면 ETL 소프트웨어가로드 프로세스를 완료 한 후 ETL 도구가 명령 줄 API를 통해 QuerySurge를 시작해야합니다.

QuerySurge는 자동으로 무인 실행되어 모든 테스트를 실행 한 다음 결과를 팀의 모든 사람에게 이메일로 보냅니다.

QuerySurge와 마찬가지로 Informatica Data Validation은 개발 및 프로덕션 환경에서 ETL 테스트 프로세스를 가속화하고 자동화하는 데 도움이되는 ETL 테스트 도구를 제공합니다. 이를 통해 더 짧은 시간에 완전하고 반복 가능하며 감사 가능한 테스트 범위를 제공 할 수 있습니다. 프로그래밍 기술이 필요하지 않습니다!