ETL - Vai trò của người kiểm tra

Người kiểm tra ETL chịu trách nhiệm chính trong việc xác nhận các nguồn dữ liệu, trích xuất dữ liệu, áp dụng logic chuyển đổi và tải dữ liệu trong các bảng đích.

Các trách nhiệm chính của người kiểm tra ETL được liệt kê dưới đây.

Xác minh các bảng trong hệ thống nguồn

Nó bao gồm các hoạt động sau:

Đếm séc
Đối chiếu các bản ghi với dữ liệu nguồn
Kiểm tra kiểu dữ liệu
Đảm bảo không có dữ liệu spam được tải
Xóa dữ liệu trùng lặp
Kiểm tra tất cả các chìa khóa ở đúng vị trí

Áp dụng logic chuyển đổi

Logic chuyển đổi được áp dụng trước khi tải dữ liệu. Nó bao gồm các hoạt động sau:

Ví dụ: kiểm tra xác thực ngưỡng dữ liệu, giá trị độ tuổi không được lớn hơn 100.
Kiểm tra số lượng bản ghi, trước và sau khi áp dụng logic chuyển đổi.
Xác nhận luồng dữ liệu từ khu vực dàn dựng đến các bảng trung gian.
Kiểm tra chìa khóa thay thế.

Đang tải dữ liệu

Dữ liệu được tải từ khu vực dàn dựng đến hệ thống đích. Nó bao gồm các hoạt động sau:

Ghi kiểm tra đếm từ bảng trung gian đến hệ thống đích.
Đảm bảo dữ liệu trường khóa không bị thiếu hoặc Null.
Kiểm tra xem các giá trị tổng hợp và các số đo được tính toán có được tải trong bảng dữ kiện hay không.
Kiểm tra các chế độ xem mô hình dựa trên các bảng mục tiêu.
Kiểm tra xem CDC đã được áp dụng trên bảng tải tăng dần chưa.
Kiểm tra dữ liệu trong bảng thứ nguyên và kiểm tra bảng lịch sử.
Kiểm tra các báo cáo BI dựa trên bảng thông số và dữ kiện đã tải và theo kết quả mong đợi.

Kiểm tra các công cụ ETL

Người kiểm tra ETL cũng được yêu cầu kiểm tra các công cụ và các trường hợp kiểm thử. Nó bao gồm các hoạt động sau:

Kiểm tra công cụ ETL và các chức năng của nó
Kiểm tra hệ thống Kho dữ liệu ETL
Tạo, thiết kế và thực hiện các kế hoạch thử nghiệm và các trường hợp thử nghiệm.
Kiểm tra việc truyền dữ liệu tệp phẳng.