การทดสอบ ETL - ความถูกต้องของข้อมูล

ในการทดสอบ ETL ความแม่นยำของข้อมูลจะถูกใช้เพื่อให้แน่ใจว่าข้อมูลถูกโหลดไปยังระบบเป้าหมายอย่างถูกต้องตามความคาดหมายหรือไม่ ขั้นตอนสำคัญในการดำเนินการความถูกต้องของข้อมูลมีดังนี้ -

การเปรียบเทียบมูลค่า

การเปรียบเทียบมูลค่าเกี่ยวข้องกับการเปรียบเทียบข้อมูลในระบบต้นทางและเป้าหมายโดยมีการเปลี่ยนแปลงขั้นต่ำหรือไม่มีเลย สามารถทำได้โดยใช้เครื่องมือทดสอบ ETL ต่างๆตัวอย่างเช่น Source Qualifier Transformation ใน Informatica

การแปลงนิพจน์บางอย่างสามารถทำได้ในการทดสอบความถูกต้องของข้อมูล ตัวดำเนินการชุดต่างๆสามารถใช้ในคำสั่ง SQL เพื่อตรวจสอบความถูกต้องของข้อมูลในแหล่งที่มาและระบบเป้าหมาย ตัวดำเนินการทั่วไปคือตัวดำเนินการลบและตัวดำเนินการตัดกัน ผลลัพธ์ของตัวดำเนินการเหล่านี้ถือได้ว่าเป็นการเบี่ยงเบนมูลค่าในเป้าหมายและระบบต้นทาง

ตรวจสอบคอลัมน์ข้อมูลที่สำคัญ

คอลัมน์ข้อมูลที่สำคัญสามารถตรวจสอบได้โดยการเปรียบเทียบค่าที่แตกต่างกันในแหล่งที่มาและระบบเป้าหมาย นี่คือตัวอย่างแบบสอบถามที่สามารถใช้ตรวจสอบคอลัมน์ข้อมูลที่สำคัญ -

SELECT cust_name, Order_Id, city, count(*) FROM customer 
GROUP BY cust_name, Order_Id, city;