Kiểm tra ETL - Chất lượng dữ liệu

Kiểm tra chất lượng dữ liệu trong quá trình thử nghiệm ETL liên quan đến việc thực hiện kiểm tra chất lượng trên dữ liệu được tải trong hệ thống đích. Nó bao gồm các bài kiểm tra sau:

Kiểm tra số

Định dạng Số phải giống nhau trên toàn bộ hệ thống đích. Ví dụ, trong hệ thống nguồn, định dạng đánh số các cột làx.30, nhưng nếu mục tiêu chỉ là 30, sau đó nó phải tải không có tiền tố x. trong số cột mục tiêu.

Kiểm tra ngày tháng

Định dạng Ngày phải nhất quán trong cả hệ thống nguồn và hệ thống đích. Ví dụ, nó phải giống nhau trên tất cả các bản ghi. Định dạng Chuẩn là: yyyy-mm-dd.

Kiểm tra độ chính xác

Giá trị chính xác sẽ hiển thị như mong đợi trong bảng mục tiêu. Ví dụ: trong bảng nguồn, giá trị là 15,23422, nhưng trong bảng đích, giá trị sẽ hiển thị là 15,23 hoặc vòng 15.

Kiểm tra dữ liệu

Nó liên quan đến việc kiểm tra dữ liệu theo yêu cầu kinh doanh. Các bản ghi không đáp ứng các tiêu chí nhất định nên được lọc ra.

Example - Chỉ những bản ghi có date_id> = 2015 và Account_Id! = '001' mới được tải trong bảng đích.

Kiểm tra rỗng

Một số cột phải có Null theo yêu cầu và các giá trị có thể có cho trường đó.

Example - Cột Ngày chấm dứt sẽ hiển thị Null trừ khi và cho đến khi Cột trạng thái Hoạt động của nó là “T” hoặc “Đã chết”.

Séc khác

Có thể thực hiện các kiểm tra thông thường như From_Date không lớn hơn To_Date.