คลังข้อมูล - แนวคิดเกี่ยวกับข้อมูลเมตา
Metadata คืออะไร?
ข้อมูลเมตาถูกกำหนดให้เป็นข้อมูลเกี่ยวกับข้อมูล ข้อมูลที่ใช้แทนข้อมูลอื่นเรียกว่าข้อมูลเมตา ตัวอย่างเช่นดัชนีของหนังสือทำหน้าที่เป็นข้อมูลเมตาสำหรับเนื้อหาในหนังสือ กล่าวอีกนัยหนึ่งเราสามารถพูดได้ว่าข้อมูลเมตาคือข้อมูลสรุปที่นำเราไปสู่ข้อมูลโดยละเอียด ในแง่ของคลังข้อมูลเราสามารถกำหนดเมทาดาทาได้ดังนี้
ข้อมูลเมตาคือแผนที่นำทางไปยังคลังข้อมูล
ข้อมูลเมตาในคลังข้อมูลกำหนดวัตถุคลังสินค้า
ข้อมูลเมตาทำหน้าที่เป็นไดเร็กทอรี ไดเร็กทอรีนี้ช่วยระบบสนับสนุนการตัดสินใจในการค้นหาเนื้อหาของคลังข้อมูล
Note- ในคลังข้อมูลเราสร้างข้อมูลเมตาสำหรับชื่อข้อมูลและคำจำกัดความของคลังข้อมูลที่กำหนด นอกจากข้อมูลเมตานี้แล้วยังมีการสร้างข้อมูลเมตาเพิ่มเติมสำหรับการประทับเวลาข้อมูลที่แยกซึ่งเป็นแหล่งที่มาของข้อมูลที่แยกออกมา
หมวดหมู่ของข้อมูลเมตา
ข้อมูลเมตาสามารถแบ่งออกเป็นสามประเภทอย่างกว้าง ๆ -
Business Metadata - มีข้อมูลการเป็นเจ้าของข้อมูลนิยามธุรกิจและนโยบายการเปลี่ยนแปลง
Technical Metadata- ประกอบด้วยชื่อระบบฐานข้อมูลชื่อตารางและคอลัมน์และขนาดชนิดข้อมูลและค่าที่อนุญาต ข้อมูลเมตาทางเทคนิคยังรวมถึงข้อมูลโครงสร้างเช่นแอตทริบิวต์และดัชนีคีย์หลักและต่างประเทศ
Operational Metadata- รวมถึงสกุลเงินของข้อมูลและสายเลือดข้อมูล สกุลเงินของข้อมูลหมายถึงข้อมูลว่ามีการใช้งานเก็บถาวรหรือถูกลบออก Lineage of data หมายถึงประวัติของข้อมูลที่โอนย้ายและการเปลี่ยนแปลงที่ใช้กับข้อมูลนั้น
บทบาทของข้อมูลเมตา
ข้อมูลเมตามีบทบาทสำคัญมากในคลังข้อมูล บทบาทของข้อมูลเมตาในคลังสินค้าแตกต่างจากข้อมูลคลังสินค้า แต่ก็มีบทบาทสำคัญ บทบาทต่างๆของข้อมูลเมตามีการอธิบายไว้ด้านล่าง
ข้อมูลเมตาทำหน้าที่เป็นไดเร็กทอรี
ไดเร็กทอรีนี้ช่วยระบบสนับสนุนการตัดสินใจในการค้นหาเนื้อหาของคลังข้อมูล
ข้อมูลเมตาช่วยในระบบสนับสนุนการตัดสินใจสำหรับการทำแผนที่ข้อมูลเมื่อข้อมูลถูกเปลี่ยนจากสภาพแวดล้อมการดำเนินงานเป็นสภาพแวดล้อมคลังข้อมูล
ข้อมูลเมตาช่วยในการสรุประหว่างข้อมูลโดยละเอียดในปัจจุบันและข้อมูลที่สรุปไว้อย่างมาก
ข้อมูลเมตายังช่วยในการสรุประหว่างข้อมูลที่มีรายละเอียดเล็กน้อยและข้อมูลที่สรุปเป็นอย่างมาก
ข้อมูลเมตาใช้สำหรับเครื่องมือสืบค้นข้อมูล
ข้อมูลเมตาถูกใช้ในเครื่องมือสกัดและทำความสะอาด
ข้อมูลเมตาถูกใช้ในเครื่องมือการรายงาน
ข้อมูลเมตาถูกใช้ในเครื่องมือการเปลี่ยนแปลง
ข้อมูลเมตามีบทบาทสำคัญในการโหลดฟังก์ชัน
แผนภาพต่อไปนี้แสดงบทบาทของข้อมูลเมตา
ที่เก็บข้อมูลเมตา
ที่เก็บข้อมูลเมตาเป็นส่วนหนึ่งของระบบคลังข้อมูล มีข้อมูลเมตาดังต่อไปนี้ -
Definition of data warehouse- ประกอบด้วยคำอธิบายโครงสร้างของคลังข้อมูล คำอธิบายถูกกำหนดโดยสคีมามุมมองลำดับชั้นนิยามข้อมูลที่ได้รับและตำแหน่งและเนื้อหาของ data mart
Business metadata - มีข้อมูลการเป็นเจ้าของข้อมูลนิยามธุรกิจและนโยบายการเปลี่ยนแปลง
Operational Metadata- รวมถึงสกุลเงินของข้อมูลและสายเลือดข้อมูล สกุลเงินของข้อมูลหมายถึงข้อมูลว่ามีการใช้งานเก็บถาวรหรือถูกลบออก Lineage of data หมายถึงประวัติของข้อมูลที่โอนย้ายและการเปลี่ยนแปลงที่ใช้กับข้อมูลนั้น
Data for mapping from operational environment to data warehouse - ประกอบด้วยฐานข้อมูลต้นทางและเนื้อหาการแยกข้อมูลการล้างพาร์ติชันข้อมูลกฎการเปลี่ยนแปลงการรีเฟรชข้อมูลและกฎการล้างข้อมูล
Algorithms for summarization - ประกอบด้วยอัลกอริธึมมิติข้อมูลเกี่ยวกับรายละเอียดการรวมสรุปและอื่น ๆ
ความท้าทายสำหรับการจัดการข้อมูลเมตา
ความสำคัญของข้อมูลเมตาไม่สามารถพูดเกินจริงได้ ข้อมูลเมตาช่วยในการผลักดันความถูกต้องของรายงานตรวจสอบการแปลงข้อมูลและรับรองความถูกต้องของการคำนวณ ข้อมูลเมตายังบังคับใช้ข้อกำหนดทางธุรกิจสำหรับผู้ใช้ปลายทางทางธุรกิจ ด้วยการใช้ข้อมูลเมตาเหล่านี้จึงมีความท้าทายเช่นกัน ความท้าทายบางประการมีการกล่าวถึงด้านล่าง
ข้อมูลเมตาในองค์กรใหญ่กระจัดกระจายไปทั่วทั้งองค์กร ข้อมูลเมตานี้แพร่กระจายในสเปรดชีตฐานข้อมูลและแอปพลิเคชัน
ข้อมูลเมตาอาจปรากฏในไฟล์ข้อความหรือไฟล์มัลติมีเดีย ในการใช้ข้อมูลนี้สำหรับโซลูชันการจัดการข้อมูลจะต้องมีการกำหนดอย่างถูกต้อง
ไม่มีมาตรฐานที่ยอมรับกันทั้งอุตสาหกรรม ผู้จำหน่ายโซลูชันการจัดการข้อมูลมีจุดเน้นที่แคบ
ไม่มีวิธีการที่ง่ายและเป็นที่ยอมรับในการส่งผ่านข้อมูลเมตา