คลังข้อมูล - แนวคิดเกี่ยวกับข้อมูลเมตา

Metadata คืออะไร?

ข้อมูลเมตาถูกกำหนดให้เป็นข้อมูลเกี่ยวกับข้อมูล ข้อมูลที่ใช้แทนข้อมูลอื่นเรียกว่าข้อมูลเมตา ตัวอย่างเช่นดัชนีของหนังสือทำหน้าที่เป็นข้อมูลเมตาสำหรับเนื้อหาในหนังสือ กล่าวอีกนัยหนึ่งเราสามารถพูดได้ว่าข้อมูลเมตาคือข้อมูลสรุปที่นำเราไปสู่ข้อมูลโดยละเอียด ในแง่ของคลังข้อมูลเราสามารถกำหนดเมทาดาทาได้ดังนี้

  • ข้อมูลเมตาคือแผนที่นำทางไปยังคลังข้อมูล

  • ข้อมูลเมตาในคลังข้อมูลกำหนดวัตถุคลังสินค้า

  • ข้อมูลเมตาทำหน้าที่เป็นไดเร็กทอรี ไดเร็กทอรีนี้ช่วยระบบสนับสนุนการตัดสินใจในการค้นหาเนื้อหาของคลังข้อมูล

Note- ในคลังข้อมูลเราสร้างข้อมูลเมตาสำหรับชื่อข้อมูลและคำจำกัดความของคลังข้อมูลที่กำหนด นอกจากข้อมูลเมตานี้แล้วยังมีการสร้างข้อมูลเมตาเพิ่มเติมสำหรับการประทับเวลาข้อมูลที่แยกซึ่งเป็นแหล่งที่มาของข้อมูลที่แยกออกมา

หมวดหมู่ของข้อมูลเมตา

ข้อมูลเมตาสามารถแบ่งออกเป็นสามประเภทอย่างกว้าง ๆ -

  • Business Metadata - มีข้อมูลการเป็นเจ้าของข้อมูลนิยามธุรกิจและนโยบายการเปลี่ยนแปลง

  • Technical Metadata- ประกอบด้วยชื่อระบบฐานข้อมูลชื่อตารางและคอลัมน์และขนาดชนิดข้อมูลและค่าที่อนุญาต ข้อมูลเมตาทางเทคนิคยังรวมถึงข้อมูลโครงสร้างเช่นแอตทริบิวต์และดัชนีคีย์หลักและต่างประเทศ

  • Operational Metadata- รวมถึงสกุลเงินของข้อมูลและสายเลือดข้อมูล สกุลเงินของข้อมูลหมายถึงข้อมูลว่ามีการใช้งานเก็บถาวรหรือถูกลบออก Lineage of data หมายถึงประวัติของข้อมูลที่โอนย้ายและการเปลี่ยนแปลงที่ใช้กับข้อมูลนั้น

บทบาทของข้อมูลเมตา

ข้อมูลเมตามีบทบาทสำคัญมากในคลังข้อมูล บทบาทของข้อมูลเมตาในคลังสินค้าแตกต่างจากข้อมูลคลังสินค้า แต่ก็มีบทบาทสำคัญ บทบาทต่างๆของข้อมูลเมตามีการอธิบายไว้ด้านล่าง

  • ข้อมูลเมตาทำหน้าที่เป็นไดเร็กทอรี

  • ไดเร็กทอรีนี้ช่วยระบบสนับสนุนการตัดสินใจในการค้นหาเนื้อหาของคลังข้อมูล

  • ข้อมูลเมตาช่วยในระบบสนับสนุนการตัดสินใจสำหรับการทำแผนที่ข้อมูลเมื่อข้อมูลถูกเปลี่ยนจากสภาพแวดล้อมการดำเนินงานเป็นสภาพแวดล้อมคลังข้อมูล

  • ข้อมูลเมตาช่วยในการสรุประหว่างข้อมูลโดยละเอียดในปัจจุบันและข้อมูลที่สรุปไว้อย่างมาก

  • ข้อมูลเมตายังช่วยในการสรุประหว่างข้อมูลที่มีรายละเอียดเล็กน้อยและข้อมูลที่สรุปเป็นอย่างมาก

  • ข้อมูลเมตาใช้สำหรับเครื่องมือสืบค้นข้อมูล

  • ข้อมูลเมตาถูกใช้ในเครื่องมือสกัดและทำความสะอาด

  • ข้อมูลเมตาถูกใช้ในเครื่องมือการรายงาน

  • ข้อมูลเมตาถูกใช้ในเครื่องมือการเปลี่ยนแปลง

  • ข้อมูลเมตามีบทบาทสำคัญในการโหลดฟังก์ชัน

แผนภาพต่อไปนี้แสดงบทบาทของข้อมูลเมตา

ที่เก็บข้อมูลเมตา

ที่เก็บข้อมูลเมตาเป็นส่วนหนึ่งของระบบคลังข้อมูล มีข้อมูลเมตาดังต่อไปนี้ -

  • Definition of data warehouse- ประกอบด้วยคำอธิบายโครงสร้างของคลังข้อมูล คำอธิบายถูกกำหนดโดยสคีมามุมมองลำดับชั้นนิยามข้อมูลที่ได้รับและตำแหน่งและเนื้อหาของ data mart

  • Business metadata - มีข้อมูลการเป็นเจ้าของข้อมูลนิยามธุรกิจและนโยบายการเปลี่ยนแปลง

  • Operational Metadata- รวมถึงสกุลเงินของข้อมูลและสายเลือดข้อมูล สกุลเงินของข้อมูลหมายถึงข้อมูลว่ามีการใช้งานเก็บถาวรหรือถูกลบออก Lineage of data หมายถึงประวัติของข้อมูลที่โอนย้ายและการเปลี่ยนแปลงที่ใช้กับข้อมูลนั้น

  • Data for mapping from operational environment to data warehouse - ประกอบด้วยฐานข้อมูลต้นทางและเนื้อหาการแยกข้อมูลการล้างพาร์ติชันข้อมูลกฎการเปลี่ยนแปลงการรีเฟรชข้อมูลและกฎการล้างข้อมูล

  • Algorithms for summarization - ประกอบด้วยอัลกอริธึมมิติข้อมูลเกี่ยวกับรายละเอียดการรวมสรุปและอื่น ๆ

ความท้าทายสำหรับการจัดการข้อมูลเมตา

ความสำคัญของข้อมูลเมตาไม่สามารถพูดเกินจริงได้ ข้อมูลเมตาช่วยในการผลักดันความถูกต้องของรายงานตรวจสอบการแปลงข้อมูลและรับรองความถูกต้องของการคำนวณ ข้อมูลเมตายังบังคับใช้ข้อกำหนดทางธุรกิจสำหรับผู้ใช้ปลายทางทางธุรกิจ ด้วยการใช้ข้อมูลเมตาเหล่านี้จึงมีความท้าทายเช่นกัน ความท้าทายบางประการมีการกล่าวถึงด้านล่าง

  • ข้อมูลเมตาในองค์กรใหญ่กระจัดกระจายไปทั่วทั้งองค์กร ข้อมูลเมตานี้แพร่กระจายในสเปรดชีตฐานข้อมูลและแอปพลิเคชัน

  • ข้อมูลเมตาอาจปรากฏในไฟล์ข้อความหรือไฟล์มัลติมีเดีย ในการใช้ข้อมูลนี้สำหรับโซลูชันการจัดการข้อมูลจะต้องมีการกำหนดอย่างถูกต้อง

  • ไม่มีมาตรฐานที่ยอมรับกันทั้งอุตสาหกรรม ผู้จำหน่ายโซลูชันการจัดการข้อมูลมีจุดเน้นที่แคบ

  • ไม่มีวิธีการที่ง่ายและเป็นที่ยอมรับในการส่งผ่านข้อมูลเมตา