Kiểm tra ETL - Chuyển đổi dữ liệu

Việc thực hiện các phép biến đổi dữ liệu hơi phức tạp, vì nó không thể đạt được bằng cách viết một truy vấn SQL đơn và sau đó so sánh đầu ra với đích. Đối với Chuyển đổi dữ liệu thử nghiệm ETL, bạn có thể phải viết nhiều truy vấn SQL cho mỗi hàng để xác minh các quy tắc chuyển đổi.

Để bắt đầu, hãy đảm bảo dữ liệu nguồn đủ để kiểm tra tất cả các quy tắc chuyển đổi. Chìa khóa để thực hiện thử nghiệm ETL thành công cho các phép biến đổi dữ liệu là chọn dữ liệu mẫu chính xác và đủ từ hệ thống nguồn để áp dụng các quy tắc chuyển đổi.

Các bước chính để chuyển đổi dữ liệu thử nghiệm ETL được liệt kê bên dưới:

Bước đầu tiên là tạo một danh sách các kịch bản về dữ liệu đầu vào và các kết quả mong đợi và xác nhận chúng với khách hàng doanh nghiệp. Đây là một cách tiếp cận tốt để thu thập các yêu cầu trong quá trình thiết kế và cũng có thể được sử dụng như một phần của thử nghiệm.
Bước tiếp theo là tạo dữ liệu thử nghiệm chứa tất cả các tình huống. Sử dụng một nhà phát triển ETL để tự động hóa toàn bộ quá trình điền các tập dữ liệu với bảng tính kịch bản để cho phép tính linh hoạt và tính di động vì lý do các kịch bản có thể thay đổi.
Tiếp theo, sử dụng kết quả cấu hình dữ liệu để so sánh phạm vi và việc gửi các giá trị trong mỗi trường giữa dữ liệu đích và dữ liệu nguồn.
Xác thực việc xử lý chính xác các trường được tạo ETL, ví dụ: khóa thay thế.
Việc xác thực các kiểu dữ liệu trong kho giống như được chỉ định trong mô hình dữ liệu hoặc thiết kế.
Tạo kịch bản dữ liệu giữa các bảng kiểm tra tính toàn vẹn của tham chiếu.
Xác thực các mối quan hệ cha-con trong dữ liệu.
Bước cuối cùng là thực hiện lookup transformation. Truy vấn tra cứu của bạn phải thẳng mà không có bất kỳ tổng hợp nào và chỉ trả về một giá trị cho mỗi bảng nguồn. Bạn có thể tham gia trực tiếp vào bảng tra cứu trong bộ định nguồn như trong thử nghiệm trước. Nếu không đúng như vậy, hãy viết một truy vấn nối bảng tra cứu với bảng chính trong nguồn và so sánh dữ liệu trong các cột tương ứng trong đích.