การทดสอบ ETL - การแปลงข้อมูล

การดำเนินการแปลงข้อมูลมีความซับซ้อนเล็กน้อยเนื่องจากไม่สามารถทำได้โดยการเขียนแบบสอบถาม SQL เดียวแล้วเปรียบเทียบผลลัพธ์กับเป้าหมาย สำหรับการแปลงข้อมูลการทดสอบ ETL คุณอาจต้องเขียนแบบสอบถาม SQL หลายรายการสำหรับแต่ละแถวเพื่อตรวจสอบกฎการแปลง

ในการเริ่มต้นตรวจสอบให้แน่ใจว่าแหล่งข้อมูลเพียงพอที่จะทดสอบกฎการแปลงทั้งหมด กุญแจสำคัญในการทดสอบ ETL ที่ประสบความสำเร็จสำหรับการแปลงข้อมูลคือการเลือกข้อมูลตัวอย่างที่ถูกต้องและเพียงพอจากระบบต้นทางเพื่อใช้กฎการแปลง

ขั้นตอนสำคัญสำหรับการแปลงข้อมูลการทดสอบ ETL มีดังต่อไปนี้ -

• ขั้นตอนแรกคือการสร้างรายการสถานการณ์ของข้อมูลอินพุตและผลลัพธ์ที่คาดหวังและตรวจสอบความถูกต้องเหล่านี้กับลูกค้าธุรกิจ นี่เป็นแนวทางที่ดีสำหรับการรวบรวมความต้องการระหว่างการออกแบบและยังสามารถใช้เป็นส่วนหนึ่งของการทดสอบได้อีกด้วย

• ขั้นตอนต่อไปคือการสร้างข้อมูลทดสอบที่มีสถานการณ์จำลองทั้งหมด ใช้นักพัฒนา ETL เพื่อทำให้กระบวนการทั้งหมดในการเติมข้อมูลชุดข้อมูลด้วยสเปรดชีตสถานการณ์เป็นไปโดยอัตโนมัติเพื่อให้เกิดความคล่องตัวและความคล่องตัวเนื่องจากสถานการณ์มีแนวโน้มที่จะเปลี่ยนแปลง

• จากนั้นใช้ผลการทำโปรไฟล์ข้อมูลเพื่อเปรียบเทียบช่วงและการส่งค่าในแต่ละฟิลด์ระหว่างข้อมูลเป้าหมายและแหล่งข้อมูล

• ตรวจสอบการประมวลผลที่ถูกต้องของฟิลด์ที่สร้างโดย ETL เช่นคีย์ตัวแทน

• การตรวจสอบความถูกต้องของชนิดข้อมูลภายในคลังสินค้าจะเหมือนกับที่ระบุไว้ในแบบจำลองข้อมูลหรือการออกแบบ

• สร้างสถานการณ์ข้อมูลระหว่างตารางที่ทดสอบความสมบูรณ์ของการอ้างอิง

• ตรวจสอบความสัมพันธ์ระหว่างแม่กับลูกในข้อมูล

• ขั้นตอนสุดท้ายคือการดำเนินการ lookup transformation. แบบสอบถามการค้นหาของคุณควรตรงโดยไม่มีการรวมและคาดว่าจะส่งคืนเพียงค่าเดียวต่อตารางต้นทาง คุณสามารถเข้าร่วมตารางการค้นหาในคุณสมบัติแหล่งที่มาได้โดยตรงเช่นเดียวกับการทดสอบก่อนหน้านี้ หากไม่เป็นเช่นนั้นให้เขียนแบบสอบถามเข้าร่วมตารางการค้นหากับตารางหลักในแหล่งที่มาและเปรียบเทียบข้อมูลในคอลัมน์ที่เกี่ยวข้องในเป้าหมาย