Kiểm tra ETL - Tính đầy đủ của dữ liệu
Kiểm tra tính đầy đủ của dữ liệu được thực hiện để xác minh rằng dữ liệu trong hệ thống đích là như mong đợi sau khi tải.
Các thử nghiệm phổ biến có thể được thực hiện cho điều này như sau:
Kiểm tra các hàm Tổng hợp (tổng, tối đa, tối thiểu, đếm),
Kiểm tra và xác thực số lượng và dữ liệu thực tế giữa nguồn và đích đối với các cột không có phép biến đổi hoặc bằng các phép biến đổi đơn giản.
Đếm xác thực
So sánh số lượng bản ghi trong bảng nguồn và bảng đích. Nó có thể được thực hiện bằng cách viết các truy vấn sau:
SELECT count (1) FROM employee;
SELECT count (1) FROM emp_dim;Xác thực hồ sơ dữ liệu
Nó liên quan đến việc kiểm tra các hàm tổng hợp như đếm, tổng và tối đa trong bảng nguồn và bảng đích (thực tế hoặc thứ nguyên).
Xác thực cấu hình dữ liệu cột
Nó liên quan đến việc so sánh các giá trị riêng biệt và số hàng cho mỗi giá trị riêng biệt.
SELECT city, count(*) FROM employee GROUP BY city;
SELECT city_id, count(*) FROM emp_dim GROUP BY city_id;Xác thực dữ liệu trùng lặp
Nó liên quan đến việc xác thực khóa chính và khóa duy nhất trong một cột hoặc kết hợp các cột phải là duy nhất theo yêu cầu nghiệp vụ. Bạn có thể sử dụng truy vấn sau để thực hiện xác thực dữ liệu trùng lặp -
SELECT first_name, last_name, date_of_joining, count (1) FROM employee
GROUP BY first_name, last_name HAVING count(1)>1;