ETL 테스트 – 데이터 완전성
데이터 완전성 검사는 대상 시스템의 데이터가로드 후 예상대로인지 확인하기 위해 수행됩니다.
이를 위해 수행 할 수있는 일반적인 테스트는 다음과 같습니다.
집계 함수 (sum, max, min, count) 확인,
변환이 없거나 단순 변환이있는 열에 대한 소스와 대상 사이의 실제 데이터와 개수를 확인하고 유효성을 검사합니다.
카운트 유효성 검사
소스 및 대상 테이블의 레코드 수를 비교하십시오. 다음 쿼리를 작성하여 수행 할 수 있습니다.
SELECT count (1) FROM employee;
SELECT count (1) FROM emp_dim;
데이터 프로필 검증
여기에는 소스 및 대상 테이블 (팩트 또는 차원)에서 개수, 합계 및 최대 값과 같은 집계 함수 확인이 포함됩니다.
열 데이터 프로필 유효성 검사
여기에는 고유 값과 각 고유 값에 대한 행 수를 비교하는 것이 포함됩니다.
SELECT city, count(*) FROM employee GROUP BY city;
SELECT city_id, count(*) FROM emp_dim GROUP BY city_id;
중복 데이터 검증
여기에는 비즈니스 요구 사항에 따라 고유해야하는 열 또는 열 조합에서 기본 키와 고유 키의 유효성을 검사하는 작업이 포함됩니다. 다음 쿼리를 사용하여 중복 데이터 유효성 검사를 수행 할 수 있습니다.
SELECT first_name, last_name, date_of_joining, count (1) FROM employee
GROUP BY first_name, last_name HAVING count(1)>1;