Kho dữ liệu - Hướng dẫn nhanh

Thuật ngữ "Kho dữ liệu" lần đầu tiên được đặt ra bởi Bill Inmon vào năm 1990. Theo Inmon, kho dữ liệu là một tập hợp dữ liệu theo định hướng chủ đề, tích hợp, biến thể và không biến động. Dữ liệu này giúp các nhà phân tích đưa ra các quyết định sáng suốt trong một tổ chức.

Một cơ sở dữ liệu hoạt động trải qua các thay đổi thường xuyên hàng ngày dựa trên các giao dịch diễn ra. Giả sử một giám đốc điều hành doanh nghiệp muốn phân tích phản hồi trước đó về bất kỳ dữ liệu nào như sản phẩm, nhà cung cấp hoặc bất kỳ dữ liệu nào về người tiêu dùng, thì giám đốc điều hành sẽ không có sẵn dữ liệu để phân tích vì dữ liệu trước đó đã được cập nhật do các giao dịch.

Kho dữ liệu cung cấp cho chúng ta dữ liệu tổng hợp và tổng hợp trong cái nhìn đa chiều. Cùng với chế độ xem tổng quát và tổng hợp về dữ liệu, kho dữ liệu cũng cung cấp cho chúng tôi các công cụ Xử lý Phân tích Trực tuyến (OLAP). Những công cụ này giúp chúng tôi phân tích dữ liệu một cách tương tác và hiệu quả trong không gian đa chiều. Kết quả phân tích này là tổng quát hóa dữ liệu và khai thác dữ liệu.

Các chức năng khai phá dữ liệu như liên kết, phân cụm, phân loại, dự đoán có thể được tích hợp với các hoạt động OLAP để tăng cường khai thác tương tác kiến ​​thức ở nhiều cấp độ trừu tượng. Đó là lý do tại sao kho dữ liệu hiện nay đã trở thành một nền tảng quan trọng để phân tích dữ liệu và xử lý phân tích trực tuyến.

Tìm hiểu Kho dữ liệu

• Kho dữ liệu là một cơ sở dữ liệu, được giữ riêng biệt với cơ sở dữ liệu hoạt động của tổ chức.

• Không có cập nhật thường xuyên được thực hiện trong kho dữ liệu.

• Nó sở hữu dữ liệu lịch sử hợp nhất, giúp tổ chức phân tích hoạt động kinh doanh của mình.

• Kho dữ liệu giúp các giám đốc điều hành tổ chức, hiểu và sử dụng dữ liệu của họ để đưa ra các quyết định chiến lược.

• Hệ thống kho dữ liệu giúp tích hợp đa dạng các hệ thống ứng dụng.

• Hệ thống kho dữ liệu giúp phân tích dữ liệu lịch sử hợp nhất.

Tại sao Kho dữ liệu được tách biệt khỏi Cơ sở dữ liệu hoạt động

Kho dữ liệu được giữ tách biệt với cơ sở dữ liệu hoạt động do những lý do sau:

• Cơ sở dữ liệu hoạt động được xây dựng cho các nhiệm vụ và khối lượng công việc nổi tiếng như tìm kiếm các bản ghi cụ thể, lập chỉ mục, v.v. Trong hợp đồng, các truy vấn kho dữ liệu thường phức tạp và chúng trình bày một dạng dữ liệu chung.

• Cơ sở dữ liệu hoạt động hỗ trợ xử lý đồng thời nhiều giao dịch. Cơ chế phục hồi và kiểm soát đồng thời được yêu cầu đối với cơ sở dữ liệu hoạt động để đảm bảo tính mạnh mẽ và nhất quán của cơ sở dữ liệu.

• Một truy vấn cơ sở dữ liệu hoạt động cho phép đọc và sửa đổi các hoạt động, trong khi một truy vấn OLAP chỉ cần read only truy cập dữ liệu được lưu trữ.

• Một cơ sở dữ liệu hoạt động duy trì dữ liệu hiện tại. Mặt khác, một kho dữ liệu duy trì dữ liệu lịch sử.

Tính năng Kho dữ liệu

Các tính năng chính của kho dữ liệu được thảo luận dưới đây:

• Subject Oriented- Kho dữ liệu được định hướng theo chủ đề vì nó cung cấp thông tin xung quanh một chủ thể hơn là các hoạt động liên tục của tổ chức. Các đối tượng này có thể là sản phẩm, khách hàng, nhà cung cấp, bán hàng, doanh thu, v.v. Kho dữ liệu không tập trung vào các hoạt động đang diễn ra mà nó tập trung vào mô hình hóa và phân tích dữ liệu để ra quyết định.

• Integrated - Kho dữ liệu được xây dựng bằng cách tích hợp dữ liệu từ các nguồn không đồng nhất như cơ sở dữ liệu quan hệ, tệp phẳng, v.v ... Sự tích hợp này giúp tăng cường phân tích hiệu quả dữ liệu.

• Time Variant- Dữ liệu được thu thập trong kho dữ liệu được xác định với một khoảng thời gian cụ thể. Dữ liệu trong kho dữ liệu cung cấp thông tin theo quan điểm lịch sử.

• Non-volatile- Không thay đổi có nghĩa là dữ liệu trước đó không bị xóa khi dữ liệu mới được thêm vào nó. Kho dữ liệu được giữ tách biệt với cơ sở dữ liệu hoạt động và do đó những thay đổi thường xuyên trong cơ sở dữ liệu hoạt động không được phản ánh trong kho dữ liệu.

Note - Kho dữ liệu không yêu cầu xử lý giao dịch, khôi phục và kiểm soát đồng thời, vì nó được lưu trữ vật lý và tách biệt với cơ sở dữ liệu hoạt động.

Ứng dụng Kho dữ liệu

Như đã thảo luận trước đây, kho dữ liệu giúp các nhà điều hành doanh nghiệp tổ chức, phân tích và sử dụng dữ liệu của họ để ra quyết định. Kho dữ liệu đóng vai trò là một phần duy nhất của hệ thống phản hồi "vòng kín" kế hoạch-thực hiện-đánh giá cho việc quản lý doanh nghiệp. Kho dữ liệu được sử dụng rộng rãi trong các lĩnh vực sau:

• Các dịch vụ tài chính
• Dịch vụ ngân hàng
• Hàng tiêu dùng
• Lĩnh vực bán lẻ
• Sản xuất có kiểm soát

Các loại kho dữ liệu

Xử lý thông tin, xử lý phân tích và khai thác dữ liệu là ba loại ứng dụng kho dữ liệu được thảo luận dưới đây:

• Information Processing- Một kho dữ liệu cho phép xử lý dữ liệu được lưu trữ trong đó. Dữ liệu có thể được xử lý bằng cách truy vấn, phân tích thống kê cơ bản, báo cáo bằng cách sử dụng chéo bảng, bảng, biểu đồ hoặc đồ thị.

• Analytical Processing- Một kho dữ liệu hỗ trợ xử lý phân tích thông tin được lưu trữ trong đó. Dữ liệu có thể được phân tích bằng các hoạt động OLAP cơ bản, bao gồm chia nhỏ và xúc xắc, xem chi tiết, đi sâu và xoay vòng.

• Data Mining- Khai phá dữ liệu hỗ trợ khám phá tri thức bằng cách tìm ra các mẫu và liên kết ẩn, xây dựng mô hình phân tích, thực hiện phân loại và dự đoán. Các kết quả khai thác này có thể được trình bày bằng cách sử dụng các công cụ trực quan hóa.

Sr.No.	Kho dữ liệu (OLAP)	Cơ sở dữ liệu hoạt động (OLTP)
1	Nó liên quan đến quá trình xử lý thông tin lịch sử.	Nó liên quan đến quá trình xử lý hàng ngày.
2	Hệ thống OLAP được sử dụng bởi những người làm việc có tri thức như giám đốc điều hành, nhà quản lý và nhà phân tích.	Hệ thống OLTP được sử dụng bởi nhân viên thư ký, DBA hoặc chuyên gia cơ sở dữ liệu.
3	Nó được sử dụng để phân tích hoạt động kinh doanh.	Nó được sử dụng để điều hành doanh nghiệp.
4	Nó tập trung vào Thông tin ra.	Nó tập trung vào Dữ liệu trong.
5	Nó dựa trên Lược đồ Sao, Lược đồ Bông tuyết và Lược đồ Chòm sao Sự thật.	Nó dựa trên Mô hình Mối quan hệ Thực thể.
6	Nó tập trung vào Thông tin ra.	Nó được định hướng ứng dụng.
7	Nó chứa dữ liệu lịch sử.	Nó chứa dữ liệu hiện tại.
số 8	Nó cung cấp dữ liệu tổng hợp và tổng hợp.	Nó cung cấp dữ liệu nguyên thủy và rất chi tiết.
9	Nó cung cấp cái nhìn tổng hợp và đa chiều về dữ liệu.	Nó cung cấp cái nhìn quan hệ chi tiết và phẳng của dữ liệu.
10	Số lượng người dùng lên đến hàng trăm.	Số lượng người dùng lên đến hàng nghìn người.
11	Số lượng bản ghi được truy cập là hàng triệu.	Số lượng bản ghi được truy cập là hàng chục.
12	Kích thước cơ sở dữ liệu từ 100GB đến 100 TB.	Kích thước cơ sở dữ liệu từ 100 MB đến 100 GB.
13	Chúng rất linh hoạt.	Nó cung cấp hiệu suất cao.

Kho dữ liệu là gì?

Kho dữ liệu là quá trình xây dựng và sử dụng kho dữ liệu. Kho dữ liệu được xây dựng bằng cách tích hợp dữ liệu từ nhiều nguồn không đồng nhất hỗ trợ báo cáo phân tích, truy vấn có cấu trúc và / hoặc đột xuất và ra quyết định. Kho dữ liệu liên quan đến việc làm sạch dữ liệu, tích hợp dữ liệu và hợp nhất dữ liệu.

Sử dụng thông tin kho dữ liệu

Có các công nghệ hỗ trợ quyết định giúp tận dụng dữ liệu có sẵn trong kho dữ liệu. Những công nghệ này giúp giám đốc điều hành sử dụng kho một cách nhanh chóng và hiệu quả. Họ có thể thu thập dữ liệu, phân tích dữ liệu và đưa ra quyết định dựa trên thông tin hiện có trong kho. Thông tin thu thập được trong kho có thể được sử dụng trong bất kỳ lĩnh vực nào sau đây:

• Tuning Production Strategies - Các chiến lược sản phẩm có thể được điều chỉnh tốt bằng cách định vị lại các sản phẩm và quản lý danh mục sản phẩm bằng cách so sánh doanh số bán hàng quý hoặc năm.

• Customer Analysis - Phân tích khách hàng được thực hiện bằng cách phân tích sở thích mua hàng, thời gian mua hàng, chu kỳ ngân sách, v.v.

• Operations Analysis- Kho dữ liệu cũng giúp quản lý quan hệ khách hàng và thực hiện các chỉnh sửa về môi trường. Thông tin cũng cho phép chúng tôi phân tích hoạt động kinh doanh.

Tích hợp cơ sở dữ liệu không đồng nhất

Để tích hợp cơ sở dữ liệu không đồng nhất, chúng tôi có hai cách tiếp cận:

• Phương pháp tiếp cận theo hướng truy vấn
• Phương pháp tiếp cận theo hướng cập nhật

Phương pháp tiếp cận theo hướng truy vấn

Đây là cách tiếp cận truyền thống để tích hợp cơ sở dữ liệu không đồng nhất. Cách tiếp cận này được sử dụng để xây dựng trình bao bọc và tích hợp trên nhiều cơ sở dữ liệu không đồng nhất. Các bộ tích hợp này còn được gọi là bộ hòa giải.

Quy trình tiếp cận theo hướng truy vấn

• Khi một truy vấn được đưa ra cho phía máy khách, một từ điển siêu dữ liệu sẽ dịch truy vấn thành một dạng thích hợp cho các trang web không đồng nhất riêng lẻ có liên quan.

• Bây giờ các truy vấn này được ánh xạ và gửi đến bộ xử lý truy vấn cục bộ.

• Kết quả từ các trang web không đồng nhất được tích hợp vào một bộ câu trả lời toàn cầu.

Nhược điểm

• Cách tiếp cận theo hướng truy vấn cần các quy trình tích hợp và lọc phức tạp.

• Cách làm này rất kém hiệu quả.

• Nó rất tốn kém cho các truy vấn thường xuyên.

• Cách tiếp cận này cũng rất tốn kém cho các truy vấn yêu cầu tổng hợp.

Phương pháp tiếp cận theo hướng cập nhật

Đây là một giải pháp thay thế cho cách tiếp cận truyền thống. Các hệ thống kho dữ liệu ngày nay tuân theo cách tiếp cận theo hướng cập nhật hơn là cách tiếp cận truyền thống đã được thảo luận trước đó. Trong phương pháp tiếp cận theo hướng cập nhật, thông tin từ nhiều nguồn không đồng nhất được tích hợp trước và được lưu trữ trong kho. Thông tin này có sẵn để truy vấn và phân tích trực tiếp.

Ưu điểm

Cách tiếp cận này có những ưu điểm sau:

• Cách làm này mang lại hiệu suất cao.

• Dữ liệu được sao chép, xử lý, tích hợp, chú thích, tóm tắt và cấu trúc trước trong kho dữ liệu ngữ nghĩa.

• Xử lý truy vấn không yêu cầu giao diện để xử lý dữ liệu tại các nguồn cục bộ.

Chức năng của các Công cụ và Tiện ích Kho Dữ liệu

Sau đây là các chức năng của các công cụ và tiện ích kho dữ liệu:

• Data Extraction - Liên quan đến việc thu thập dữ liệu từ nhiều nguồn không đồng nhất.

• Data Cleaning - Liên quan đến việc tìm kiếm và sửa chữa các lỗi trong dữ liệu.

• Data Transformation - Liên quan đến việc chuyển đổi dữ liệu từ định dạng kế thừa sang định dạng kho.

• Data Loading - Liên quan đến việc sắp xếp, tóm tắt, hợp nhất, kiểm tra tính toàn vẹn và xây dựng các chỉ mục và phân vùng.

• Refreshing - Liên quan đến việc cập nhật từ nguồn dữ liệu vào kho.

Note - Làm sạch dữ liệu và chuyển đổi dữ liệu là những bước quan trọng trong việc nâng cao chất lượng dữ liệu và kết quả khai thác dữ liệu.

Trong chương này, chúng ta sẽ thảo luận về một số thuật ngữ được sử dụng phổ biến nhất trong kho dữ liệu.

metadata

Siêu dữ liệu được định nghĩa đơn giản là dữ liệu về dữ liệu. Dữ liệu được sử dụng để đại diện cho dữ liệu khác được gọi là siêu dữ liệu. Ví dụ: chỉ mục của sách đóng vai trò là siêu dữ liệu cho nội dung trong sách. Nói cách khác, chúng ta có thể nói rằng siêu dữ liệu là dữ liệu tóm tắt dẫn chúng ta đến dữ liệu chi tiết.

Về kho dữ liệu, chúng ta có thể xác định siêu dữ liệu như sau:

• Siêu dữ liệu là một bản đồ đường đến kho dữ liệu.

• Siêu dữ liệu trong kho dữ liệu xác định các đối tượng kho.

• Siêu dữ liệu hoạt động như một thư mục. Thư mục này giúp hệ thống hỗ trợ quyết định định vị nội dung của kho dữ liệu.

Kho lưu trữ siêu dữ liệu

Kho siêu dữ liệu là một phần không thể thiếu trong hệ thống kho dữ liệu. Nó chứa siêu dữ liệu sau:

• Business metadata - Nó chứa thông tin sở hữu dữ liệu, định nghĩa kinh doanh và các chính sách thay đổi.

• Operational metadata- Nó bao gồm tiền tệ của dữ liệu và dòng dữ liệu. Đơn vị tiền tệ của dữ liệu đề cập đến dữ liệu đang hoạt động, được lưu trữ hoặc bị xóa. Dòng dữ liệu có nghĩa là lịch sử dữ liệu được di chuyển và chuyển đổi được áp dụng trên đó.

• Data for mapping from operational environment to data warehouse - Siêu dữ liệu bao gồm cơ sở dữ liệu nguồn và nội dung của chúng, trích xuất dữ liệu, phân vùng dữ liệu, làm sạch, quy tắc chuyển đổi, quy tắc làm mới và xóa dữ liệu.

• The algorithms for summarization - Nó bao gồm các thuật toán thứ nguyên, dữ liệu về mức độ chi tiết, tổng hợp, tóm tắt, v.v.

Khối dữ liệu

Một khối dữ liệu giúp chúng tôi biểu diễn dữ liệu theo nhiều chiều. Nó được xác định bởi các kích thước và sự kiện. Các thứ nguyên là các thực thể liên quan đến việc doanh nghiệp lưu giữ hồ sơ.

Minh họa về Data Cube

Giả sử một công ty muốn theo dõi hồ sơ bán hàng với sự trợ giúp của kho dữ liệu bán hàng liên quan đến thời gian, mặt hàng, chi nhánh và địa điểm. Các thứ nguyên này cho phép theo dõi doanh số hàng tháng và chi nhánh nào các mặt hàng đã được bán. Có một bảng được liên kết với mỗi thứ nguyên. Bảng này được gọi là bảng kích thước. Ví dụ: bảng thứ nguyên "item" có thể có các thuộc tính như item_name, item_type và item_brand.

Bảng sau đại diện cho chế độ xem 2-D của Dữ liệu bán hàng cho một công ty theo thứ nguyên thời gian, mặt hàng và vị trí.

Nhưng ở đây trong bảng 2-D này, chúng tôi có các bản ghi chỉ về thời gian và mục. Doanh số bán hàng cho New Delhi được hiển thị theo thời gian và kích thước mặt hàng theo loại mặt hàng được bán. Nếu chúng tôi muốn xem dữ liệu bán hàng với một thứ nguyên nữa, chẳng hạn như thứ nguyên vị trí, thì chế độ xem 3-D sẽ hữu ích. Chế độ xem 3-D của dữ liệu bán hàng liên quan đến thời gian, mặt hàng và vị trí được hiển thị trong bảng bên dưới -

Bảng 3-D ở trên có thể được biểu diễn dưới dạng khối dữ liệu 3-D như thể hiện trong hình sau:

Dữ liệu Mart

Data mart chứa một tập hợp con dữ liệu trong toàn tổ chức có giá trị đối với các nhóm người cụ thể trong một tổ chức. Nói cách khác, data mart chỉ chứa những dữ liệu cụ thể cho một nhóm cụ thể. Ví dụ: siêu thị dữ liệu tiếp thị có thể chỉ chứa dữ liệu liên quan đến mặt hàng, khách hàng và doanh số bán hàng. Marts dữ liệu được giới hạn cho các đối tượng.

Những điểm cần nhớ về Data Marts

• Máy chủ dựa trên Windows hoặc Unix / Linux được sử dụng để triển khai các data mart. Chúng được thực hiện trên các máy chủ chi phí thấp.

• Chu kỳ thực hiện của một trung tâm dữ liệu được đo lường trong khoảng thời gian ngắn, tức là tính bằng tuần chứ không phải tháng hoặc năm.

• Vòng đời của các trung tâm dữ liệu có thể phức tạp về lâu dài, nếu việc lập kế hoạch và thiết kế của chúng không mang tính tổ chức.

• Data mart có kích thước nhỏ.

• Marts dữ liệu được tùy chỉnh theo bộ phận.

• Nguồn của data mart là kho dữ liệu có cấu trúc theo bộ phận.

• Data mart rất linh hoạt.

Hình sau đây cho thấy một biểu diễn đồ họa của các mart dữ liệu.

Kho ảo

Chế độ xem trên một kho dữ liệu hoạt động được gọi là kho ảo. Rất dễ dàng để xây dựng một nhà kho ảo. Việc xây dựng một kho ảo yêu cầu dư thừa dung lượng trên các máy chủ cơ sở dữ liệu đang hoạt động.

Một kho dữ liệu không bao giờ tĩnh; nó phát triển khi doanh nghiệp mở rộng. Khi doanh nghiệp phát triển, các yêu cầu của nó liên tục thay đổi và do đó kho dữ liệu phải được thiết kế để đáp ứng những thay đổi này. Do đó, một hệ thống kho dữ liệu cần phải linh hoạt.

Tốt nhất là nên có một quy trình phân phối để cung cấp một kho dữ liệu. Tuy nhiên, các dự án kho dữ liệu thường gặp phải nhiều vấn đề khác nhau gây khó khăn cho việc hoàn thành nhiệm vụ và phân phối theo yêu cầu nghiêm ngặt và có thứ tự của phương pháp thác nước. Hầu hết các lần, các yêu cầu không được hiểu hoàn toàn. Các kiến ​​trúc, thiết kế và thành phần xây dựng chỉ có thể được hoàn thành sau khi thu thập và nghiên cứu tất cả các yêu cầu.

phương thức vận chuyển

Phương pháp phân phối là một biến thể của cách tiếp cận phát triển ứng dụng chung được áp dụng để phân phối kho dữ liệu. Chúng tôi đã dàn dựng quy trình phân phối kho dữ liệu để giảm thiểu rủi ro. Cách tiếp cận mà chúng ta sẽ thảo luận ở đây không làm giảm quy mô thời gian giao hàng tổng thể nhưng đảm bảo lợi ích kinh doanh được phân phối tăng dần trong quá trình phát triển.

Note - Quá trình giao hàng được chia thành các giai đoạn để giảm rủi ro dự án và giao hàng.

Sơ đồ sau giải thích các giai đoạn trong quy trình giao hàng -

Chiến lược CNTT

Kho dữ liệu là những khoản đầu tư chiến lược đòi hỏi một quá trình kinh doanh để tạo ra lợi ích. Chiến lược CNTT là cần thiết để mua và giữ lại vốn cho dự án.

Trường hợp kinh doanh

Mục tiêu của trường hợp kinh doanh là ước tính lợi ích kinh doanh thu được từ việc sử dụng kho dữ liệu. Những lợi ích này có thể không định lượng được nhưng những lợi ích dự kiến ​​cần được nêu rõ ràng. Nếu một kho dữ liệu không có một trường hợp kinh doanh rõ ràng, thì doanh nghiệp có xu hướng gặp phải các vấn đề về uy tín ở một số giai đoạn trong quá trình giao hàng. Do đó trong các dự án kho dữ liệu, chúng ta cần hiểu trường hợp kinh doanh để đầu tư.

Giáo dục và tạo mẫu

Các tổ chức thử nghiệm khái niệm phân tích dữ liệu và tự giáo dục về giá trị của việc có kho dữ liệu trước khi tìm giải pháp. Điều này được giải quyết bằng cách tạo mẫu. Nó giúp hiểu được tính khả thi và lợi ích của kho dữ liệu. Hoạt động tạo mẫu ở quy mô nhỏ có thể thúc đẩy quá trình giáo dục miễn là -

• Nguyên mẫu đề cập đến một mục tiêu kỹ thuật xác định.

• Nguyên mẫu có thể bị vứt bỏ sau khi khái niệm khả thi đã được hiển thị.

• Hoạt động giải quyết một tập hợp nhỏ nội dung dữ liệu cuối cùng của kho dữ liệu.

• Khoảng thời gian hoạt động là không quan trọng.

Cần ghi nhớ những điểm sau đây để tạo ra bản phát hành sớm và mang lại lợi ích kinh doanh.

• Xác định kiến ​​trúc có khả năng phát triển.

• Tập trung vào các yêu cầu kinh doanh và các giai đoạn thiết kế kỹ thuật.

• Giới hạn phạm vi của giai đoạn xây dựng đầu tiên ở mức tối thiểu để mang lại lợi ích kinh doanh.

• Hiểu các yêu cầu ngắn hạn và trung hạn của kho dữ liệu.

Yêu cầu kinh doanh

Để cung cấp các sản phẩm có chất lượng, chúng tôi nên đảm bảo hiểu rõ các yêu cầu tổng thể. Nếu chúng tôi hiểu các yêu cầu kinh doanh cho cả ngắn hạn và trung hạn, thì chúng tôi có thể thiết kế một giải pháp để đáp ứng các yêu cầu ngắn hạn. Sau đó, giải pháp ngắn hạn có thể được phát triển thành một giải pháp đầy đủ.

Các khía cạnh sau đây được xác định trong giai đoạn này:

• Quy tắc kinh doanh được áp dụng trên dữ liệu.

• Mô hình logic cho thông tin trong kho dữ liệu.

• Các cấu hình truy vấn cho yêu cầu ngay lập tức.

• Hệ thống nguồn cung cấp dữ liệu này.

Bản thiết kế kỹ thuật

Giai đoạn này cần cung cấp một kiến ​​trúc tổng thể đáp ứng các yêu cầu lâu dài. Giai đoạn này cũng cung cấp các thành phần phải được thực hiện trong thời gian ngắn hạn để thu được bất kỳ lợi ích kinh doanh nào. Bản thiết kế cần xác định những điều sau đây.

• Kiến trúc hệ thống tổng thể.
• Chính sách lưu giữ dữ liệu.
• Chiến lược sao lưu và phục hồi.
• Kiến trúc máy chủ và kho dữ liệu.
• Kế hoạch năng lực cho phần cứng và cơ sở hạ tầng.
• Các thành phần của thiết kế cơ sở dữ liệu.

Xây dựng phiên bản

Trong giai đoạn này, sản phẩm đầu tiên có thể phân phối được sản xuất. Sản xuất có thể phân phối này là thành phần nhỏ nhất của kho dữ liệu. Thành phần nhỏ nhất này làm tăng thêm lợi ích kinh doanh.

Tải lịch sử

Đây là giai đoạn mà phần còn lại của lịch sử cần thiết được tải vào kho dữ liệu. Trong giai đoạn này, chúng tôi không thêm các thực thể mới, nhưng các bảng vật lý bổ sung có thể sẽ được tạo để lưu trữ khối lượng dữ liệu tăng lên.

Chúng ta hãy lấy một ví dụ. Giả sử giai đoạn phiên bản xây dựng đã cung cấp kho dữ liệu phân tích doanh số bán lẻ với lịch sử trị giá 2 tháng. Thông tin này sẽ cho phép người dùng chỉ phân tích các xu hướng gần đây và giải quyết các vấn đề ngắn hạn. Người dùng trong trường hợp này không thể xác định xu hướng hàng năm và theo mùa. Để giúp anh ta làm như vậy, lịch sử bán hàng trong 2 năm qua có thể được tải từ kho lưu trữ. Giờ đây, dữ liệu 40GB được mở rộng thành 400GB.

Note - Các thủ tục sao lưu và phục hồi có thể trở nên phức tạp, do đó chúng tôi khuyến nghị thực hiện hoạt động này trong một giai đoạn riêng biệt.

Truy vấn đặc biệt

Trong giai đoạn này, chúng tôi định cấu hình một công cụ truy vấn đặc biệt được sử dụng để vận hành một kho dữ liệu. Các công cụ này có thể tạo truy vấn cơ sở dữ liệu.

Note - Không nên sử dụng các công cụ truy cập này khi cơ sở dữ liệu đang được sửa đổi cơ bản.

Tự động hóa

Trong giai đoạn này, các quy trình quản lý vận hành hoàn toàn tự động. Chúng sẽ bao gồm -

• Chuyển dữ liệu sang dạng phù hợp để phân tích.

• Giám sát hồ sơ truy vấn và xác định các tổng hợp thích hợp để duy trì hiệu suất hệ thống.

• Trích xuất và tải dữ liệu từ các hệ thống nguồn khác nhau.

• Tạo tổng hợp từ các định nghĩa được xác định trước trong kho dữ liệu.

• Sao lưu, khôi phục và lưu trữ dữ liệu.

Mở rộng phạm vi

Trong giai đoạn này, kho dữ liệu được mở rộng để giải quyết một loạt các yêu cầu kinh doanh mới. Phạm vi có thể được mở rộng theo hai cách:

• Bằng cách tải dữ liệu bổ sung vào kho dữ liệu.

• Bằng cách giới thiệu các kho dữ liệu mới bằng cách sử dụng thông tin hiện có.

Note - Giai đoạn này nên được thực hiện riêng biệt, vì nó liên quan đến những nỗ lực và độ phức tạp đáng kể.

Yêu cầu Tiến hóa

Từ quan điểm của quá trình giao hàng, các yêu cầu luôn thay đổi. Chúng không tĩnh. Quá trình phân phối phải hỗ trợ điều này và cho phép những thay đổi này được phản ánh trong hệ thống.

Vấn đề này được giải quyết bằng cách thiết kế kho dữ liệu xung quanh việc sử dụng dữ liệu trong các quy trình kinh doanh, trái ngược với các yêu cầu dữ liệu của các truy vấn hiện có.

Kiến trúc được thiết kế để thay đổi và phát triển để phù hợp với nhu cầu kinh doanh, quy trình hoạt động như một quy trình phát triển ứng dụng giả, nơi các yêu cầu mới liên tục được đưa vào các hoạt động phát triển và các sản phẩm phân phối từng phần được sản xuất. Các sản phẩm phân phối từng phần này được cung cấp lại cho người dùng và sau đó được làm lại để đảm bảo rằng hệ thống tổng thể được cập nhật liên tục để đáp ứng nhu cầu kinh doanh.

Chúng tôi có một số hoạt động cố định sẽ được áp dụng trên cơ sở dữ liệu hoạt động và chúng tôi có các kỹ thuật được xác định rõ ràng như use normalized data, keep table small, v.v. Những kỹ thuật này phù hợp để đưa ra giải pháp. Nhưng trong trường hợp hệ thống hỗ trợ quyết định, chúng tôi không biết truy vấn và hoạt động nào cần được thực hiện trong tương lai. Do đó các kỹ thuật áp dụng trên cơ sở dữ liệu hoạt động không phù hợp với kho dữ liệu.

Trong chương này, chúng ta sẽ thảo luận về cách xây dựng các giải pháp kho dữ liệu trên các công nghệ hệ thống mở hàng đầu như Unix và cơ sở dữ liệu quan hệ.

Luồng quy trình trong kho dữ liệu

Có bốn quy trình chính đóng góp vào một kho dữ liệu -

• Giải nén và tải dữ liệu.
• Làm sạch và chuyển đổi dữ liệu.
• Sao lưu và lưu trữ dữ liệu.
• Quản lý các truy vấn và hướng chúng đến các nguồn dữ liệu thích hợp.

Quá trình trích xuất và tải

Khai thác dữ liệu lấy dữ liệu từ các hệ thống nguồn. Tải dữ liệu lấy dữ liệu được trích xuất và tải vào kho dữ liệu.

Note - Trước khi nạp dữ liệu vào kho dữ liệu, thông tin trích xuất từ ​​các nguồn bên ngoài phải được tái tạo lại.

Kiểm soát quá trình

Kiểm soát quá trình bao gồm việc xác định thời điểm bắt đầu trích xuất dữ liệu và kiểm tra tính nhất quán của dữ liệu. Quá trình kiểm soát đảm bảo rằng các công cụ, mô-đun logic và chương trình được thực thi theo đúng trình tự và đúng thời điểm.

Khi nào bắt đầu trích xuất

Dữ liệu cần phải ở trạng thái nhất quán khi nó được trích xuất, tức là, kho dữ liệu phải đại diện cho một phiên bản thông tin nhất quán, duy nhất cho người dùng.

Ví dụ, trong kho dữ liệu hồ sơ khách hàng trong lĩnh vực viễn thông, việc hợp nhất danh sách khách hàng lúc 8 giờ tối thứ Tư từ cơ sở dữ liệu khách hàng với sự kiện đăng ký khách hàng đến 8 giờ tối thứ Ba là không hợp lý. Điều này có nghĩa là chúng tôi đang tìm kiếm những khách hàng không có đăng ký liên quan.

Đang tải dữ liệu

Sau khi giải nén dữ liệu, nó được tải vào một kho lưu trữ dữ liệu tạm thời, nơi nó được làm sạch và nhất quán.

Note - Kiểm tra tính nhất quán chỉ được thực hiện khi tất cả các nguồn dữ liệu đã được tải vào kho dữ liệu tạm thời.

Quy trình làm sạch và chuyển đổi

Khi dữ liệu được trích xuất và tải vào kho dữ liệu tạm thời, đã đến lúc thực hiện Làm sạch và Chuyển đổi. Đây là danh sách các bước liên quan đến Làm sạch và Biến đổi -

• Làm sạch và chuyển đổi dữ liệu đã tải thành cấu trúc
• Phân vùng dữ liệu
• Aggregation

Làm sạch và chuyển đổi dữ liệu đã tải thành cấu trúc

Làm sạch và chuyển đổi dữ liệu đã tải giúp tăng tốc các truy vấn. Nó có thể được thực hiện bằng cách làm cho dữ liệu nhất quán -

• trong chính nó.
• với dữ liệu khác trong cùng một nguồn dữ liệu.
• với dữ liệu trong các hệ thống nguồn khác.
• với các dữ liệu hiện có trong kho.

Chuyển đổi liên quan đến việc chuyển đổi dữ liệu nguồn thành một cấu trúc. Cấu trúc dữ liệu làm tăng hiệu suất truy vấn và giảm chi phí hoạt động. Dữ liệu chứa trong kho dữ liệu phải được chuyển đổi để hỗ trợ các yêu cầu về hiệu suất và kiểm soát chi phí hoạt động liên tục.

Phân vùng dữ liệu

Nó sẽ tối ưu hóa hiệu suất phần cứng và đơn giản hóa việc quản lý kho dữ liệu. Ở đây chúng tôi phân chia mỗi bảng dữ kiện thành nhiều phân vùng riêng biệt.

Tổng hợp

Tổng hợp là cần thiết để tăng tốc các truy vấn phổ biến. Tính tổng hợp dựa trên thực tế là hầu hết các truy vấn phổ biến sẽ phân tích một tập hợp con hoặc tập hợp dữ liệu chi tiết.

Sao lưu và lưu trữ dữ liệu

Để khôi phục dữ liệu trong trường hợp mất dữ liệu, lỗi phần mềm hoặc phần cứng, cần phải sao lưu thường xuyên. Lưu trữ liên quan đến việc xóa dữ liệu cũ khỏi hệ thống ở định dạng cho phép khôi phục nhanh chóng bất cứ khi nào được yêu cầu.

Ví dụ: trong kho dữ liệu phân tích doanh số bán lẻ, có thể phải lưu dữ liệu trong 3 năm với dữ liệu 6 tháng gần nhất được lưu trực tuyến. Trong kịch bản như vậy, thường có một yêu cầu là có thể thực hiện so sánh hàng tháng cho năm nay và năm ngoái. Trong trường hợp này, chúng tôi yêu cầu khôi phục một số dữ liệu từ kho lưu trữ.

Quy trình quản lý truy vấn

Quá trình này thực hiện các chức năng sau:

• quản lý các truy vấn.

• giúp tăng tốc thời gian thực hiện dấu hoa thị.

• hướng các truy vấn đến nguồn dữ liệu hiệu quả nhất của chúng.

• đảm bảo rằng tất cả các nguồn của hệ thống được sử dụng một cách hiệu quả nhất.

• giám sát hồ sơ truy vấn thực tế.

Thông tin được tạo ra trong quy trình này được sử dụng bởi quy trình quản lý kho để xác định những tập hợp nào cần tạo. Quá trình này thường không hoạt động trong quá trình tải thông tin thường xuyên vào kho dữ liệu.

Trong chương này, chúng ta sẽ thảo luận về khung phân tích nghiệp vụ cho thiết kế và kiến ​​trúc kho dữ liệu của một kho dữ liệu.

Khung phân tích kinh doanh

Nhà phân tích kinh doanh lấy thông tin từ các kho dữ liệu để đo lường hiệu suất và thực hiện các điều chỉnh quan trọng nhằm thu phục các chủ doanh nghiệp khác trên thị trường. Có một kho dữ liệu mang lại những lợi ích sau:

• Vì kho dữ liệu có thể thu thập thông tin nhanh chóng và hiệu quả, nó có thể nâng cao năng suất kinh doanh.

• Kho dữ liệu cung cấp cho chúng tôi một cái nhìn nhất quán về khách hàng và các mặt hàng, do đó, nó giúp chúng tôi quản lý mối quan hệ với khách hàng.

• Một kho dữ liệu cũng giúp giảm chi phí bằng cách theo dõi các xu hướng, kiểu mẫu trong thời gian dài một cách nhất quán và đáng tin cậy.

Để thiết kế một kho dữ liệu hiệu quả và hiệu quả, chúng tôi cần hiểu và phân tích nhu cầu kinh doanh và xây dựng business analysis framework. Mỗi người có quan điểm khác nhau về việc thiết kế kho dữ liệu. Các quan điểm này như sau:

• The top-down view - Chế độ xem này cho phép lựa chọn thông tin liên quan cần thiết cho một kho dữ liệu.

• The data source view - Dạng xem này trình bày thông tin được hệ thống vận hành nắm bắt, lưu trữ và quản lý.

• The data warehouse view- Dạng xem này bao gồm các bảng dữ kiện và bảng kích thước. Nó đại diện cho thông tin được lưu trữ bên trong kho dữ liệu.

• The business query view - Đó là cái nhìn của dữ liệu từ quan điểm của người dùng cuối.

Kiến trúc kho dữ liệu ba tầng

Nói chung, kho dữ liệu sử dụng kiến ​​trúc ba tầng. Sau đây là ba cấp của kiến ​​trúc kho dữ liệu.

• Bottom Tier- Tầng dưới cùng của kiến ​​trúc là máy chủ cơ sở dữ liệu kho dữ liệu. Nó là hệ thống cơ sở dữ liệu quan hệ. Chúng tôi sử dụng các công cụ và tiện ích back end để cung cấp dữ liệu vào tầng dưới cùng. Các công cụ và tiện ích back end này thực hiện các chức năng Extract, Clean, Load và refresh.

• Middle Tier - Ở tầng giữa, chúng ta có Máy chủ OLAP có thể được triển khai theo một trong hai cách sau.

  • Bằng OLAP quan hệ (ROLAP), là một hệ quản trị cơ sở dữ liệu quan hệ mở rộng. ROLAP ánh xạ các phép toán trên dữ liệu đa chiều với các phép toán quan hệ chuẩn.

  • Bằng mô hình OLAP đa chiều (MOLAP), mô hình này trực tiếp triển khai dữ liệu và hoạt động đa chiều.

• Top-Tier- Tầng này là tầng máy khách front-end. Lớp này chứa các công cụ truy vấn và công cụ báo cáo, công cụ phân tích và công cụ khai thác dữ liệu.

Sơ đồ sau mô tả kiến ​​trúc ba tầng của kho dữ liệu:

Mô hình kho dữ liệu

Từ quan điểm của kiến ​​trúc kho dữ liệu, chúng ta có các mô hình kho dữ liệu sau:

• Kho ảo
• Dữ liệu Mart
• Kho Doanh nghiệp

Kho ảo

Chế độ xem trên một kho dữ liệu hoạt động được gọi là một kho ảo. Rất dễ dàng để xây dựng một nhà kho ảo. Việc xây dựng một kho ảo yêu cầu dư thừa dung lượng trên các máy chủ cơ sở dữ liệu đang hoạt động.

Dữ liệu Mart

Data mart chứa một tập hợp con dữ liệu trong toàn tổ chức. Tập hợp con dữ liệu này có giá trị đối với các nhóm cụ thể của một tổ chức.

Nói cách khác, chúng tôi có thể khẳng định rằng data mart chứa dữ liệu cụ thể cho một nhóm cụ thể. Ví dụ: siêu thị dữ liệu tiếp thị có thể chứa dữ liệu liên quan đến mặt hàng, khách hàng và doanh số bán hàng. Marts dữ liệu được giới hạn cho các đối tượng.

Những điểm cần nhớ về data marts -

• Các máy chủ dựa trên Window hoặc Unix / Linux được sử dụng để triển khai các data mart. Chúng được thực hiện trên các máy chủ chi phí thấp.

• Các chu kỳ của kho dữ liệu thực hiện được đo lường trong khoảng thời gian ngắn, tức là tính theo tuần chứ không phải tháng hoặc năm.

• Vòng đời của một trung tâm dữ liệu có thể phức tạp về lâu dài, nếu việc lập kế hoạch và thiết kế của nó không phải là toàn tổ chức.

• Data mart có kích thước nhỏ.

• Marts dữ liệu được tùy chỉnh theo bộ phận.

• Nguồn của data mart là kho dữ liệu có cấu trúc theo bộ phận.

• Data mart rất linh hoạt.

Kho Doanh nghiệp

• Một kho doanh nghiệp thu thập tất cả các thông tin và các chủ đề trong toàn bộ tổ chức

• Nó cung cấp cho chúng tôi tích hợp dữ liệu toàn doanh nghiệp.

• Dữ liệu được tích hợp từ các hệ thống vận hành và các nhà cung cấp thông tin bên ngoài.

• Thông tin này có thể thay đổi từ vài gigabyte đến hàng trăm gigabyte, terabyte hoặc hơn thế nữa.

Quản lý tải

Thành phần này thực hiện các hoạt động cần thiết để trích xuất và tải quá trình.

Quy mô và độ phức tạp của trình quản lý tải khác nhau giữa các giải pháp cụ thể từ kho dữ liệu này sang kho dữ liệu khác.

Kiến trúc quản lý tải

Bộ quản lý tải thực hiện các chức năng sau:

• Trích xuất dữ liệu từ hệ thống nguồn.

• Nhanh chóng Tải dữ liệu đã trích xuất vào kho dữ liệu tạm thời.

• Thực hiện các phép biến đổi đơn giản thành cấu trúc tương tự như cấu trúc trong kho dữ liệu.

Trích xuất dữ liệu từ nguồn

Dữ liệu được trích xuất từ ​​cơ sở dữ liệu hoạt động hoặc các nhà cung cấp thông tin bên ngoài. Cổng là các chương trình ứng dụng được sử dụng để trích xuất dữ liệu. Nó được hỗ trợ bởi DBMS bên dưới và cho phép chương trình khách hàng tạo ra SQL được thực thi tại một máy chủ. Kết nối cơ sở dữ liệu mở (ODBC), Kết nối cơ sở dữ liệu Java (JDBC), là các ví dụ về cổng.

Tải nhanh

• Để giảm thiểu tổng cửa sổ tải, dữ liệu cần được tải vào kho trong thời gian nhanh nhất có thể.

• Các phép biến đổi ảnh hưởng đến tốc độ xử lý dữ liệu.

• Sẽ hiệu quả hơn nếu tải dữ liệu vào cơ sở dữ liệu quan hệ trước khi áp dụng các phép biến đổi và kiểm tra.

• Công nghệ Gateway được chứng minh là không phù hợp, vì chúng có xu hướng không hiệu quả khi có khối lượng dữ liệu lớn.

Biến đổi đơn giản

Trong khi tải, nó có thể được yêu cầu thực hiện các phép biến đổi đơn giản. Sau khi điều này được hoàn thành, chúng tôi đã sẵn sàng để thực hiện các kiểm tra phức tạp. Giả sử chúng tôi đang tải giao dịch bán EPOS, chúng tôi cần thực hiện các kiểm tra sau:

• Loại bỏ tất cả các cột không cần thiết trong nhà kho.
• Chuyển đổi tất cả các giá trị thành kiểu dữ liệu bắt buộc.

Quản lý kho

Người quản lý kho chịu trách nhiệm về quy trình quản lý kho. Nó bao gồm phần mềm hệ thống của bên thứ ba, chương trình C và tập lệnh shell.

Quy mô và độ phức tạp của người quản lý kho khác nhau giữa các giải pháp cụ thể.

Kiến trúc quản lý kho

Người quản lý kho bao gồm những điều sau đây:

• Quá trình kiểm soát
• Các thủ tục được lưu trữ hoặc C với SQL
• Công cụ sao lưu / phục hồi
• Tập lệnh SQL

Hoạt động do Quản lý kho thực hiện

• Người quản lý kho phân tích dữ liệu để thực hiện kiểm tra tính nhất quán và tính toàn vẹn tham chiếu.

• Tạo chỉ mục, chế độ xem kinh doanh, chế độ xem phân vùng dựa trên dữ liệu cơ sở.

• Tạo tổng hợp mới và cập nhật các tổng hợp hiện có. Tạo chuẩn hóa.

• Chuyển đổi và hợp nhất dữ liệu nguồn vào kho dữ liệu đã xuất bản.

• Sao lưu dữ liệu trong kho dữ liệu.

• Lưu trữ dữ liệu đã hết thời gian lưu trữ.

Note - Quản lý kho cũng phân tích hồ sơ truy vấn để xác định chỉ mục và tổng hợp là phù hợp.

Trình quản lý truy vấn

• Trình quản lý truy vấn chịu trách nhiệm hướng các truy vấn đến các bảng phù hợp.

• Bằng cách hướng các truy vấn đến các bảng thích hợp, tốc độ truy vấn và tạo phản hồi có thể được tăng lên.

• Trình quản lý truy vấn chịu trách nhiệm lập lịch thực hiện các truy vấn do người dùng đặt ra.

Kiến trúc trình quản lý truy vấn

Ảnh chụp màn hình sau đây cho thấy kiến ​​trúc của trình quản lý truy vấn. Nó bao gồm những điều sau:

• Chuyển hướng truy vấn thông qua công cụ C hoặc RDBMS
• Thủ tục lưu trữ
• Công cụ quản lý truy vấn
• Lập lịch truy vấn thông qua công cụ C hoặc RDBMS
• Lập lịch truy vấn thông qua phần mềm của bên thứ ba

Thông tin chi tiết

Thông tin chi tiết không được lưu giữ trực tuyến, thay vào đó nó được tổng hợp ở cấp độ chi tiết tiếp theo và sau đó được lưu trữ vào băng. Phần thông tin chi tiết của kho dữ liệu lưu giữ thông tin chi tiết trong lược đồ starflake. Thông tin chi tiết được nạp vào kho dữ liệu để bổ sung cho dữ liệu tổng hợp.

Sơ đồ sau cho thấy ấn tượng bằng hình ảnh về nơi thông tin chi tiết được lưu trữ và cách sử dụng thông tin.

Note - Nếu thông tin chi tiết được lưu trữ ngoại tuyến để giảm thiểu dung lượng lưu trữ trên đĩa, chúng tôi nên đảm bảo rằng dữ liệu đã được trích xuất, dọn dẹp và chuyển đổi thành giản đồ starflake trước khi nó được lưu trữ.

Thông tin tóm tắt

Tóm tắt Thông tin là một phần của kho dữ liệu lưu trữ các tổng hợp được xác định trước. Các tổng hợp này được tạo ra bởi người quản lý kho. Thông tin tóm tắt phải được coi là nhất thời. Nó thay đổi khi đang di chuyển để đáp ứng các cấu hình truy vấn thay đổi.

Những điểm cần lưu ý về thông tin tóm tắt như sau:

• Thông tin tóm tắt tăng tốc hiệu suất của các truy vấn thông thường.

• Nó làm tăng chi phí hoạt động.

• Nó cần được cập nhật bất cứ khi nào dữ liệu mới được tải vào kho dữ liệu.

• Nó có thể chưa được sao lưu, vì nó có thể được tạo mới từ thông tin chi tiết.

Máy chủ xử lý phân tích trực tuyến (OLAP) dựa trên mô hình dữ liệu đa chiều. Nó cho phép các nhà quản lý và các nhà phân tích có được cái nhìn sâu sắc về thông tin thông qua việc truy cập thông tin nhanh chóng, nhất quán và tương tác. Chương này bao gồm các loại OLAP, các hoạt động trên OLAP, sự khác biệt giữa OLAP, cơ sở dữ liệu thống kê và OLTP.

Các loại máy chủ OLAP

Chúng tôi có bốn loại máy chủ OLAP -

• OLAP quan hệ (ROLAP)
• OLAP đa chiều (MOLAP)
• OLAP kết hợp (HOLAP)
• Máy chủ SQL chuyên dụng

OLAP quan hệ

Máy chủ ROLAP được đặt giữa máy chủ back-end quan hệ và các công cụ front-end của máy khách. Để lưu trữ và quản lý dữ liệu kho, ROLAP sử dụng DBMS quan hệ hoặc mở rộng.

ROLAP bao gồm những điều sau:

• Thực hiện logic điều hướng tổng hợp.
• Tối ưu hóa cho mỗi mặt sau DBMS.
• Các công cụ và dịch vụ bổ sung.

OLAP đa chiều

MOLAP sử dụng công cụ lưu trữ đa chiều dựa trên mảng cho các chế độ xem đa chiều của dữ liệu. Với kho dữ liệu đa chiều, việc sử dụng lưu trữ có thể thấp nếu tập dữ liệu thưa thớt. Do đó, nhiều máy chủ MOLAP sử dụng hai cấp độ biểu diễn lưu trữ dữ liệu để xử lý các tập dữ liệu dày đặc và thưa thớt.

OLAP kết hợp

Hybrid OLAP là sự kết hợp của cả ROLAP và MOLAP. Nó cung cấp khả năng mở rộng ROLAP cao hơn và tính toán MOLAP nhanh hơn. Máy chủ HOLAP cho phép lưu trữ khối lượng lớn dữ liệu thông tin chi tiết. Các tổng hợp được lưu trữ riêng trong cửa hàng MOLAP.

Máy chủ SQL chuyên dụng

Máy chủ SQL chuyên dụng cung cấp ngôn ngữ truy vấn nâng cao và hỗ trợ xử lý truy vấn cho các truy vấn SQL qua lược đồ hình sao và bông tuyết trong môi trường chỉ đọc.

Hoạt động OLAP

Vì máy chủ OLAP dựa trên cái nhìn đa chiều của dữ liệu, chúng ta sẽ thảo luận về các hoạt động của OLAP trong dữ liệu đa chiều.

Đây là danh sách các hoạt động OLAP -

• Roll-up
• Drill-down
• Xắt từng lát mỏng
• Pivot (xoay)

Cuộn lên

Roll-up thực hiện tổng hợp trên một khối dữ liệu theo bất kỳ cách nào sau đây:

• Bằng cách leo lên hệ thống phân cấp khái niệm cho một thứ nguyên
• Bằng cách giảm kích thước

Sơ đồ sau đây minh họa cách cuộn lên hoạt động.

• Cuộn lên được thực hiện bằng cách leo lên hệ thống phân cấp khái niệm cho vị trí thứ nguyên.

• Ban đầu khái niệm phân cấp là "đường phố <thành phố <tỉnh <quốc gia".

• Khi cuộn lên, dữ liệu được tổng hợp bằng cách tăng dần thứ bậc vị trí từ cấp thành phố đến cấp quốc gia.

• Dữ liệu được nhóm thành các thành phố thay vì quốc gia.

• Khi cuộn lên được thực hiện, một hoặc nhiều thứ nguyên từ khối dữ liệu sẽ bị xóa.

Đi sâu vào

Drill-down là hoạt động ngược lại của cuộn lên. Nó được thực hiện bằng một trong các cách sau:

• Bằng cách loại bỏ phân cấp khái niệm cho một thứ nguyên
• Bằng cách giới thiệu một chiều hướng mới.

Sơ đồ sau minh họa cách hoạt động của chi tiết -

• Tìm hiểu chi tiết được thực hiện bằng cách giảm bớt phân cấp khái niệm cho thời gian thứ nguyên.

• Ban đầu khái niệm phân cấp là "ngày <tháng <quý <năm."

• Khi khoan xuống, thứ nguyên thời gian được giảm dần từ mức quý đến mức tháng.

• Khi thực hiện chi tiết, một hoặc nhiều thứ nguyên từ khối dữ liệu sẽ được thêm vào.

• Nó điều hướng dữ liệu từ dữ liệu ít chi tiết hơn đến dữ liệu chi tiết cao.

Lát

Thao tác cắt lát chọn một kích thước cụ thể từ một khối đã cho và cung cấp một khối phụ mới. Hãy xem xét sơ đồ sau đây cho thấy cách hoạt động của lát cắt.

• Ở đây Slice được thực hiện cho thứ nguyên "thời gian" sử dụng tiêu chí time = "Q1".

• Nó sẽ tạo thành một khối phụ mới bằng cách chọn một hoặc nhiều kích thước.

Xúc xắc

Dice chọn hai hoặc nhiều kích thước từ một hình lập phương nhất định và cung cấp một hình lập phương con mới. Hãy xem xét sơ đồ sau đây cho thấy hoạt động của xúc xắc.

Thao tác xúc xắc trên khối lập phương dựa trên các tiêu chí lựa chọn sau liên quan đến ba chiều.

• (location = "Toronto" hoặc "Vancouver")
• (time = "Q1" hoặc "Q2")
• (item = "Di động" hoặc "Modem")

Trục

Hoạt động pivot còn được gọi là quay. Nó xoay các trục dữ liệu trong chế độ xem để cung cấp cách trình bày dữ liệu thay thế. Hãy xem xét sơ đồ sau đây cho thấy hoạt động xoay.

OLAP so với OLTP

Sr.No.	Kho dữ liệu (OLAP)	Cơ sở dữ liệu hoạt động (OLTP)
1	Liên quan đến xử lý lịch sử thông tin.	Liên quan đến quá trình xử lý hàng ngày.
2	Hệ thống OLAP được sử dụng bởi những người làm việc có tri thức như giám đốc điều hành, nhà quản lý và nhà phân tích.	Hệ thống OLTP được sử dụng bởi nhân viên thư ký, DBA hoặc chuyên gia cơ sở dữ liệu.
3	Hữu ích trong việc phân tích doanh nghiệp.	Hữu ích trong việc điều hành doanh nghiệp.
4	Nó tập trung vào Thông tin ra.	Nó tập trung vào Dữ liệu trong.
5	Dựa trên Lược đồ Sao, Bông tuyết, Lược đồ và Lược đồ Chòm sao Sự thật.	Dựa trên Mô hình Mối quan hệ Thực thể.
6	Chứa dữ liệu lịch sử.	Chứa dữ liệu hiện tại.
7	Cung cấp dữ liệu tổng hợp và tổng hợp.	Cung cấp dữ liệu nguyên thủy và rất chi tiết.
số 8	Cung cấp cái nhìn tổng hợp và đa chiều về dữ liệu.	Cung cấp chế độ xem dữ liệu quan hệ chi tiết và phẳng.
9	Số lượng hoặc người dùng là hàng trăm.	Số lượng người dùng lên đến hàng nghìn.
10	Số lượng bản ghi được truy cập là hàng triệu.	Số lượng bản ghi được truy cập là hàng chục.
11	Kích thước cơ sở dữ liệu từ 100 GB đến 1 TB	Kích thước cơ sở dữ liệu từ 100 MB đến 1 GB.
12	Có tính linh hoạt cao.	Mang lại hiệu suất cao.

Máy chủ OLAP quan hệ được đặt giữa máy chủ back-end quan hệ và các công cụ front-end của máy khách. Để lưu trữ và quản lý dữ liệu kho, OLAP quan hệ sử dụng DBMS quan hệ mở rộng hoặc quan hệ mở rộng.

ROLAP bao gồm những điều sau:

• Thực hiện logic điều hướng tổng hợp
• Tối ưu hóa cho từng mặt sau DBMS
• Các công cụ và dịch vụ bổ sung

Những điểm cần nhớ

• Máy chủ ROLAP có khả năng mở rộng cao.

• Các công cụ ROLAP phân tích khối lượng lớn dữ liệu trên nhiều thứ nguyên.

• Các công cụ ROLAP lưu trữ và phân tích dữ liệu có tính biến động cao và có thể thay đổi.

Kiến trúc OLAP quan hệ

ROLAP bao gồm các thành phần sau:

• Máy chủ cơ sở dữ liệu
• Máy chủ ROLAP
• Công cụ front-end.

Ưu điểm

• Máy chủ ROLAP có thể dễ dàng sử dụng với RDBMS hiện có.
• Dữ liệu có thể được lưu trữ một cách hiệu quả, vì không có dữ kiện nào có thể được lưu trữ.
• Các công cụ ROLAP không sử dụng các khối dữ liệu được tính toán trước.
• Máy chủ DSS của chiến lược vi mô áp dụng cách tiếp cận ROLAP.

Nhược điểm

• Hiệu suất truy vấn kém.

• Một số hạn chế về khả năng mở rộng tùy thuộc vào kiến ​​trúc công nghệ được sử dụng.

OLAP đa chiều (MOLAP) sử dụng công cụ lưu trữ đa chiều dựa trên mảng cho các chế độ xem dữ liệu đa chiều. Với kho dữ liệu đa chiều, việc sử dụng lưu trữ có thể thấp nếu tập dữ liệu thưa thớt. Do đó, nhiều máy chủ MOLAP sử dụng hai cấp độ biểu diễn lưu trữ dữ liệu để xử lý các tập dữ liệu dày đặc và thưa thớt.

Những điểm cần nhớ -

• Công cụ MOLAP xử lý thông tin với thời gian phản hồi nhất quán bất kể mức độ tóm tắt hoặc tính toán được chọn.

• Các công cụ MOLAP cần tránh nhiều phức tạp khi tạo cơ sở dữ liệu quan hệ để lưu trữ dữ liệu để phân tích.

• Các công cụ MOLAP cần hiệu suất nhanh nhất có thể.

• Máy chủ MOLAP sử dụng hai cấp độ lưu trữ để xử lý các tập dữ liệu dày đặc và thưa thớt.

• Các khối con dày đặc hơn được xác định và lưu trữ dưới dạng cấu trúc mảng.

• Các khối con thưa thớt sử dụng công nghệ nén.

Kiến trúc MOLAP

MOLAP bao gồm các thành phần sau:

• Máy chủ cơ sở dữ liệu.
• Máy chủ MOLAP.
• Công cụ front-end.

Ưu điểm

• MOLAP cho phép lập chỉ mục nhanh nhất đến dữ liệu tóm tắt được tính toán trước.
• Giúp người dùng kết nối với mạng cần phân tích dữ liệu lớn hơn, ít được xác định hơn.
• Dễ sử dụng hơn, do đó MOLAP phù hợp với người dùng chưa có kinh nghiệm.

Nhược điểm

• MOLAP không có khả năng chứa dữ liệu chi tiết.
• Việc sử dụng bộ nhớ có thể thấp nếu tập dữ liệu thưa thớt.

MOLAP so với ROLAP

Sr.No.	MOLAP	ROLAP
1	Truy xuất thông tin nhanh chóng.	Truy xuất thông tin tương đối chậm.
2	Sử dụng mảng thưa thớt để lưu trữ tập dữ liệu.	Sử dụng bảng quan hệ.
3	MOLAP phù hợp nhất cho người dùng chưa có kinh nghiệm, vì nó rất dễ sử dụng.	ROLAP phù hợp nhất cho người dùng có kinh nghiệm.
4	Duy trì một cơ sở dữ liệu riêng cho các khối dữ liệu.	Nó có thể không yêu cầu dung lượng khác với dung lượng có sẵn trong Kho dữ liệu.
5	Cơ sở DBMS yếu.	Cơ sở DBMS rất mạnh.

Lược đồ là một mô tả logic của toàn bộ cơ sở dữ liệu. Nó bao gồm tên và mô tả các bản ghi của tất cả các loại bản ghi bao gồm tất cả các mục dữ liệu liên quan và tổng hợp. Giống như cơ sở dữ liệu, kho dữ liệu cũng yêu cầu duy trì một lược đồ. Cơ sở dữ liệu sử dụng mô hình quan hệ, trong khi kho dữ liệu sử dụng lược đồ Star, Snowflake và Fact Constellation. Trong chương này, chúng ta sẽ thảo luận về các lược đồ được sử dụng trong kho dữ liệu.

Lược đồ sao

• Mỗi chiều trong giản đồ hình sao chỉ được biểu thị bằng bảng một chiều.

• Bảng thứ nguyên này chứa tập hợp các thuộc tính.

• Biểu đồ sau đây cho thấy dữ liệu bán hàng của một công ty theo bốn khía cạnh, đó là thời gian, mặt hàng, chi nhánh và địa điểm.

• Có một bảng thực tế ở trung tâm. Nó chứa các phím của mỗi chiều trong số bốn chiều.

• Bảng dữ kiện cũng chứa các thuộc tính, cụ thể là đô la đã bán và đơn vị đã bán.

Note- Mỗi thứ nguyên chỉ có một bảng thứ nguyên và mỗi bảng chứa một tập hợp các thuộc tính. Ví dụ: bảng thứ nguyên vị trí chứa tập thuộc tính {location_key, street, city, province_or_state, country}. Ràng buộc này có thể gây dư thừa dữ liệu. Ví dụ: "Vancouver" và "Victoria", cả hai thành phố đều thuộc tỉnh British Columbia của Canada. Các mục nhập cho các thành phố như vậy có thể gây ra dư thừa dữ liệu dọc theo các thuộc tính province_or_state và country.

Lược đồ bông tuyết

• Một số bảng thứ nguyên trong lược đồ Snowflake được chuẩn hóa.

• Quá trình chuẩn hóa chia nhỏ dữ liệu thành các bảng bổ sung.

• Không giống như giản đồ Star, bảng kích thước trong lược đồ bông tuyết được chuẩn hóa. Ví dụ: bảng kích thước mặt hàng trong giản đồ hình sao được chuẩn hóa và chia thành hai bảng thứ nguyên, đó là mặt hàng và bảng nhà cung cấp.

• Bây giờ, bảng thứ nguyên mặt hàng chứa các thuộc tính item_key, item_name, type, brand, và nhà cung cấp-key.

• Khóa nhà cung cấp được liên kết với bảng kích thước nhà cung cấp. Bảng thứ nguyên nhà cung cấp có chứa các thuộc tính nhà cung cấp_chỉ và loại nhà cung cấp.

Note - Do chuẩn hóa trong lược đồ Snowflake, độ dư thừa được giảm bớt và do đó, nó trở nên dễ bảo trì và tiết kiệm không gian lưu trữ.

Lược đồ Chòm sao Sự thật

• Một chòm sao dữ kiện có nhiều bảng dữ kiện. Nó còn được gọi là giản đồ thiên hà.

• Sơ đồ sau đây cho thấy hai bảng dữ kiện, đó là doanh thu và giao hàng.

• Bảng thực tế về doanh số bán hàng giống như bảng trong lược đồ sao.

• Bảng thông tin vận chuyển có năm thứ nguyên, đó là item_key, time_key, shipper_key, from_location, to_location.

• Bảng dữ kiện vận chuyển cũng bao gồm hai thước đo, đó là đô la bán ra và đơn vị đã bán.

• Cũng có thể chia sẻ bảng thứ nguyên giữa các bảng dữ kiện. Ví dụ: bảng thứ nguyên thời gian, mặt hàng và vị trí được chia sẻ giữa bảng thông tin bán hàng và giao hàng.

Định nghĩa lược đồ

Lược đồ đa chiều được định nghĩa bằng Ngôn ngữ Truy vấn Khai thác Dữ liệu (DMQL). Hai định nghĩa nguyên thủy, định nghĩa hình khối và định nghĩa kích thước, có thể được sử dụng để xác định kho dữ liệu và siêu thị dữ liệu.

Cú pháp cho định nghĩa khối lập phương

define cube < cube_name > [ < dimension-list > }: < measure_list >

Cú pháp cho định nghĩa thứ nguyên

define dimension < dimension_name > as ( < attribute_or_dimension_list > )

Định nghĩa giản đồ sao

Lược đồ hình sao mà chúng ta đã thảo luận có thể được xác định bằng Ngôn ngữ Truy vấn Khai thác Dữ liệu (DMQL) như sau:

define cube sales star [time, item, branch, location]:   
    	   
dollars sold = sum(sales in dollars), units sold = count(*)    	  

define dimension time as (time key, day, day of week, month, quarter, year)
define dimension item as (item key, item name, brand, type, supplier type)        	
define dimension branch as (branch key, branch name, branch type)              	
define dimension location as (location key, street, city, province or state, country)

Định nghĩa giản đồ bông tuyết

Lược đồ bông tuyết có thể được định nghĩa bằng DMQL như sau:

define cube sales snowflake [time, item, branch, location]:

dollars sold = sum(sales in dollars), units sold = count(*)

define dimension time as (time key, day, day of week, month, quarter, year)
define dimension item as (item key, item name, brand, type, supplier (supplier key, supplier type))
define dimension branch as (branch key, branch name, branch type)
define dimension location as (location key, street, city (city key, city, province or state, country))

Định nghĩa Lược đồ Chòm sao Sự thật

Lược đồ chòm sao sự kiện có thể được xác định bằng DMQL như sau:

define cube sales [time, item, branch, location]:

dollars sold = sum(sales in dollars), units sold = count(*)

define dimension time as (time key, day, day of week, month, quarter, year)
define dimension item as (item key, item name, brand, type, supplier type)
define dimension branch as (branch key, branch name, branch type)
define dimension location as (location key, street, city, province or state,country)
define cube shipping [time, item, shipper, from location, to location]:

dollars cost = sum(cost in dollars), units shipped = count(*)

define dimension time as time in cube sales
define dimension item as item in cube sales
define dimension shipper as (shipper key, shipper name, location as location in cube sales, shipper type)
define dimension from location as location in cube sales
define dimension to location as location in cube sales

Phân vùng được thực hiện để nâng cao hiệu suất và tạo điều kiện dễ dàng quản lý dữ liệu. Phân vùng cũng giúp cân bằng các yêu cầu khác nhau của hệ thống. Nó tối ưu hóa hiệu suất phần cứng và đơn giản hóa việc quản lý kho dữ liệu bằng cách phân chia mỗi bảng dữ liệu thành nhiều phân vùng riêng biệt. Trong chương này, chúng ta sẽ thảo luận về các chiến lược phân vùng khác nhau.

Tại sao nó là cần thiết để phân vùng?

Phân vùng quan trọng vì những lý do sau:

• Để quản lý dễ dàng,
• Để hỗ trợ sao lưu / phục hồi,
• Để nâng cao hiệu suất.

Để quản lý dễ dàng

Bảng dữ liệu trong kho dữ liệu có thể có kích thước lên đến hàng trăm gigabyte. Kích thước khổng lồ của bảng dữ kiện này rất khó quản lý như một thực thể duy nhất. Do đó nó cần phân vùng.

Để hỗ trợ sao lưu / phục hồi

Nếu chúng ta không phân vùng bảng dữ kiện, thì chúng ta phải tải bảng dữ liệu hoàn chỉnh với tất cả dữ liệu. Phân vùng cho phép chúng tôi chỉ tải lượng dữ liệu cần thiết một cách thường xuyên. Nó làm giảm thời gian tải và cũng nâng cao hiệu suất của hệ thống.

Note- Để cắt giảm kích thước sao lưu, tất cả các phân vùng khác với phân vùng hiện tại có thể được đánh dấu là chỉ đọc. Sau đó, chúng ta có thể đặt các phân vùng này vào trạng thái không thể sửa đổi chúng. Sau đó, chúng có thể được sao lưu. Nó có nghĩa là chỉ phân vùng hiện tại được sao lưu.

Để nâng cao hiệu suất

Bằng cách phân chia bảng dữ liệu thành các tập dữ liệu, các thủ tục truy vấn có thể được nâng cao. Hiệu suất truy vấn được nâng cao vì bây giờ truy vấn chỉ quét những phân vùng có liên quan. Nó không phải quét toàn bộ dữ liệu.

Phân vùng ngang

Có nhiều cách khác nhau để phân vùng bảng dữ kiện. Trong phân vùng theo chiều ngang, chúng ta phải ghi nhớ các yêu cầu về khả năng quản lý của kho dữ liệu.

Phân vùng theo thời gian thành các phân đoạn bằng nhau

Trong chiến lược phân vùng này, bảng dữ kiện được phân vùng trên cơ sở khoảng thời gian. Ở đây mỗi khoảng thời gian đại diện cho một khoảng thời gian lưu giữ đáng kể trong doanh nghiệp. Ví dụ: nếu người dùng truy vấnmonth to date datathì việc phân vùng dữ liệu thành các phân đoạn hàng tháng là thích hợp. Chúng ta có thể sử dụng lại các bảng đã phân vùng bằng cách xóa dữ liệu trong chúng.

Phân chia theo thời gian thành các phân đoạn có kích thước khác nhau

Loại phân vùng này được thực hiện khi dữ liệu cũ được truy cập không thường xuyên. Nó được thực hiện như một tập hợp các phân vùng nhỏ cho dữ liệu tương đối hiện tại, phân vùng lớn hơn cho dữ liệu không hoạt động.

Điểm cần lưu ý

• Thông tin chi tiết vẫn có sẵn trực tuyến.

• Số lượng bàn vật lý được giữ tương đối ít, giúp giảm chi phí vận hành.

• Kỹ thuật này phù hợp khi yêu cầu kết hợp giữa dữ liệu nhúng lịch sử gần đây và khai thác dữ liệu trong toàn bộ lịch sử.

• Kỹ thuật này không hữu ích khi cấu hình phân vùng thay đổi thường xuyên, bởi vì việc phân vùng lại sẽ làm tăng chi phí hoạt động của kho dữ liệu.

Phân vùng trên một thứ nguyên khác

Bảng dữ kiện cũng có thể được phân vùng trên cơ sở các thứ nguyên khác với thời gian, chẳng hạn như nhóm sản phẩm, khu vực, nhà cung cấp hoặc bất kỳ thứ nguyên nào khác. Hãy lấy một ví dụ.

Giả sử một chức năng thị trường đã được cấu trúc thành các bộ phận khu vực riêng biệt như trên state by statenền tảng. Nếu mỗi khu vực muốn truy vấn thông tin thu được trong khu vực của mình, thì việc phân chia bảng dữ kiện thành các phân vùng khu vực sẽ hiệu quả hơn. Điều này sẽ làm cho các truy vấn tăng tốc độ vì nó không yêu cầu quét thông tin không liên quan.

Điểm cần lưu ý

• Truy vấn không phải quét dữ liệu không liên quan để tăng tốc quá trình truy vấn.

• Kỹ thuật này không thích hợp khi các kích thước không thể thay đổi trong tương lai. Vì vậy, cần xác định rằng thứ nguyên không thay đổi trong tương lai.

• Nếu thứ nguyên thay đổi, thì toàn bộ bảng dữ kiện sẽ phải được phân vùng lại.

Note - Chúng tôi khuyên bạn chỉ nên thực hiện phân vùng trên cơ sở thứ nguyên thời gian, trừ khi bạn chắc chắn rằng nhóm thứ nguyên được đề xuất sẽ không thay đổi trong vòng đời của kho dữ liệu.

Phân vùng theo kích thước của bảng

Khi không có cơ sở rõ ràng để phân chia bảng dữ kiện theo bất kỳ thứ nguyên nào, thì chúng ta nên partition the fact table on the basis of their size.Chúng ta có thể đặt kích thước định trước làm điểm tới hạn. Khi bảng vượt quá kích thước định trước, một phân vùng bảng mới được tạo.

Điểm cần lưu ý

• Việc phân vùng này rất phức tạp để quản lý.

• Nó yêu cầu siêu dữ liệu để xác định dữ liệu nào được lưu trữ trong mỗi phân vùng.

Kích thước phân vùng

Nếu một thứ nguyên chứa số lượng lớn các mục nhập, thì cần phải phân vùng các thứ nguyên. Ở đây chúng ta phải kiểm tra kích thước của một thứ nguyên.

Hãy xem xét một thiết kế lớn thay đổi theo thời gian. Nếu chúng ta cần lưu trữ tất cả các biến thể để áp dụng so sánh, thứ nguyên đó có thể rất lớn. Điều này chắc chắn sẽ ảnh hưởng đến thời gian phản hồi.

Phần thi đấu vòng tròn

Trong kỹ thuật round robin, khi cần phân vùng mới, phân vùng cũ sẽ được lưu trữ. Nó sử dụng siêu dữ liệu để cho phép công cụ truy cập của người dùng tham chiếu đến phân vùng bảng chính xác.

Kỹ thuật này giúp dễ dàng tự động hóa các phương tiện quản lý bảng trong kho dữ liệu.

Phân vùng dọc

Phân vùng theo chiều dọc, chia nhỏ dữ liệu theo chiều dọc. Các hình ảnh sau đây mô tả cách phân vùng dọc được thực hiện.

Phân vùng dọc có thể được thực hiện theo hai cách sau:

• Normalization
• Tách hàng

Bình thường hóa

Chuẩn hóa là phương pháp quan hệ tiêu chuẩn của tổ chức cơ sở dữ liệu. Trong phương pháp này, các hàng được thu gọn thành một hàng, do đó nó làm giảm không gian. Hãy xem các bảng sau cho biết cách chuẩn hóa được thực hiện.

Bảng trước khi chuẩn hóa

ID sản phẩm	Qty	Giá trị	sales_date	Store_id	Tên cửa hàng	Vị trí	Khu vực
30	5	3,67	3-08-13	16	nắng	Bangalore	S
35	4	5.33	3-9-13	16	nắng	Bangalore	S
40	5	2,50	3-9-13	64	san	Mumbai	W
45	7	5,66	3-9-13	16	nắng	Bangalore	S

Bảng sau khi chuẩn hóa

Store_id	Tên cửa hàng	Vị trí	Khu vực
16	nắng	Bangalore	W
64	san	Mumbai	S

ID sản phẩm	Định lượng	Giá trị	sales_date	Store_id
30	5	3,67	3-08-13	16
35	4	5.33	3-9-13	16
40	5	2,50	3-9-13	64
45	7	5,66	3-9-13	16

Tách hàng

Tách hàng có xu hướng để lại bản đồ 1-1 giữa các phân vùng. Động cơ của việc tách hàng là để tăng tốc độ truy cập vào bảng lớn bằng cách giảm kích thước của nó.

Note - Trong khi sử dụng phân vùng dọc, hãy đảm bảo rằng không có yêu cầu thực hiện thao tác nối chính giữa hai phân vùng.

Xác định chìa khóa để phân vùng

Điều rất quan trọng là chọn đúng khóa phân vùng. Chọn một khóa phân vùng sai sẽ dẫn đến việc tổ chức lại bảng dữ kiện. Hãy lấy một ví dụ. Giả sử chúng ta muốn phân vùng bảng sau.

Account_Txn_Table
transaction_id
account_id
transaction_type
value
transaction_date
region
branch_name

Chúng ta có thể chọn phân vùng trên bất kỳ khóa nào. Hai chìa khóa khả thi có thể là

• region
• transaction_date

Giả sử doanh nghiệp được tổ chức trên 30 vùng địa lý và mỗi vùng có số lượng chi nhánh khác nhau. Điều đó sẽ cung cấp cho chúng tôi 30 phân vùng, đó là hợp lý. Việc phân vùng này là đủ tốt vì việc nắm bắt các yêu cầu của chúng tôi đã chỉ ra rằng phần lớn các truy vấn bị giới hạn trong khu vực kinh doanh của chính người dùng.

Nếu chúng tôi phân vùng theo ngày giao dịch thay vì khu vực, thì giao dịch mới nhất từ ​​mọi khu vực sẽ nằm trong một phân vùng. Bây giờ người dùng muốn xem dữ liệu trong khu vực của mình phải truy vấn trên nhiều phân vùng.

Do đó, cần xác định đúng khóa phân vùng.

Siêu dữ liệu là gì?

Siêu dữ liệu được định nghĩa đơn giản là dữ liệu về dữ liệu. Dữ liệu được sử dụng để đại diện cho dữ liệu khác được gọi là siêu dữ liệu. Ví dụ: chỉ mục của sách đóng vai trò là siêu dữ liệu cho nội dung trong sách. Nói cách khác, chúng ta có thể nói rằng siêu dữ liệu là dữ liệu tóm tắt dẫn chúng ta đến dữ liệu chi tiết. Về kho dữ liệu, chúng ta có thể định nghĩa siêu dữ liệu như sau.

• Siêu dữ liệu là bản đồ đường dẫn đến kho dữ liệu.

• Siêu dữ liệu trong kho dữ liệu xác định các đối tượng kho.

• Siêu dữ liệu hoạt động như một thư mục. Thư mục này giúp hệ thống hỗ trợ quyết định định vị nội dung của kho dữ liệu.

Note- Trong kho dữ liệu, chúng tôi tạo siêu dữ liệu cho các tên dữ liệu và định nghĩa của một kho dữ liệu nhất định. Cùng với siêu dữ liệu này, siêu dữ liệu bổ sung cũng được tạo để đóng dấu thời gian cho bất kỳ dữ liệu được trích xuất nào, nguồn của dữ liệu được trích xuất.

Danh mục siêu dữ liệu

Siêu dữ liệu có thể được phân loại rộng rãi thành ba loại:

• Business Metadata - Nó có thông tin sở hữu dữ liệu, định nghĩa kinh doanh và các chính sách thay đổi.

• Technical Metadata- Nó bao gồm tên hệ thống cơ sở dữ liệu, tên bảng và cột và kích thước, kiểu dữ liệu và giá trị cho phép. Siêu dữ liệu kỹ thuật cũng bao gồm thông tin cấu trúc như các chỉ số và thuộc tính khóa chính và khóa ngoại.

• Operational Metadata- Nó bao gồm tiền tệ của dữ liệu và dòng dữ liệu. Đơn vị tiền tệ của dữ liệu có nghĩa là dữ liệu đang hoạt động, được lưu trữ hay bị xóa. Dòng dữ liệu có nghĩa là lịch sử của dữ liệu được di chuyển và chuyển đổi được áp dụng trên đó.

Vai trò của siêu dữ liệu

Siêu dữ liệu có vai trò rất quan trọng trong kho dữ liệu. Vai trò của siêu dữ liệu trong kho khác với dữ liệu kho, nhưng nó vẫn đóng một vai trò quan trọng. Các vai trò khác nhau của siêu dữ liệu được giải thích bên dưới.

• Siêu dữ liệu hoạt động như một thư mục.

• Thư mục này giúp hệ thống hỗ trợ quyết định định vị nội dung của kho dữ liệu.

• Siêu dữ liệu hỗ trợ trong hệ thống hỗ trợ quyết định ánh xạ dữ liệu khi dữ liệu được chuyển đổi từ môi trường hoạt động sang môi trường kho dữ liệu.

• Siêu dữ liệu giúp tóm tắt giữa dữ liệu chi tiết hiện tại và dữ liệu được tóm tắt cao.

• Siêu dữ liệu cũng giúp tóm tắt giữa dữ liệu chi tiết nhẹ và dữ liệu tóm tắt cao.

• Siêu dữ liệu được sử dụng cho các công cụ truy vấn.

• Siêu dữ liệu được sử dụng trong các công cụ chiết xuất và làm sạch.

• Siêu dữ liệu được sử dụng trong các công cụ báo cáo.

• Siêu dữ liệu được sử dụng trong các công cụ chuyển đổi.

• Siêu dữ liệu đóng một vai trò quan trọng trong việc tải các chức năng.

Sơ đồ sau đây cho thấy vai trò của siêu dữ liệu.

Kho lưu trữ siêu dữ liệu

Kho siêu dữ liệu là một phần không thể thiếu trong hệ thống kho dữ liệu. Nó có siêu dữ liệu sau:

• Definition of data warehouse- Nó bao gồm mô tả cấu trúc của kho dữ liệu. Mô tả được xác định bởi lược đồ, chế độ xem, cấu trúc phân cấp, định nghĩa dữ liệu dẫn xuất, vị trí và nội dung của data mart.

• Business metadata - Nó chứa thông tin sở hữu dữ liệu, định nghĩa kinh doanh và các chính sách thay đổi.

• Operational Metadata- Nó bao gồm tiền tệ của dữ liệu và dòng dữ liệu. Đơn vị tiền tệ của dữ liệu có nghĩa là dữ liệu đang hoạt động, được lưu trữ hay bị xóa. Dòng dữ liệu có nghĩa là lịch sử của dữ liệu được di chuyển và chuyển đổi được áp dụng trên đó.

• Data for mapping from operational environment to data warehouse - Nó bao gồm cơ sở dữ liệu nguồn và nội dung của chúng, trích xuất dữ liệu, dọn dẹp phân vùng dữ liệu, quy tắc chuyển đổi, quy tắc làm mới và xóa dữ liệu.

• Algorithms for summarization - Nó bao gồm các thuật toán thứ nguyên, dữ liệu về mức độ chi tiết, tổng hợp, tóm tắt, v.v.

Những thách thức đối với quản lý siêu dữ liệu

Tầm quan trọng của siêu dữ liệu không thể được phóng đại. Siêu dữ liệu giúp tăng độ chính xác của báo cáo, xác thực việc chuyển đổi dữ liệu và đảm bảo tính chính xác của các phép tính. Siêu dữ liệu cũng thực thi định nghĩa các thuật ngữ kinh doanh cho người dùng cuối là doanh nghiệp. Với tất cả những cách sử dụng siêu dữ liệu này, nó cũng có những thách thức. Một số thách thức được thảo luận dưới đây.

• Siêu dữ liệu trong một tổ chức lớn nằm rải rác trong tổ chức. Siêu dữ liệu này được trải rộng trong bảng tính, cơ sở dữ liệu và ứng dụng.

• Siêu dữ liệu có thể có trong tệp văn bản hoặc tệp đa phương tiện. Để sử dụng dữ liệu này cho các giải pháp quản lý thông tin, nó phải được xác định chính xác.

• Không có tiêu chuẩn được chấp nhận trong toàn ngành. Các nhà cung cấp giải pháp quản lý dữ liệu có trọng tâm hẹp.

• Không có phương pháp chuyển siêu dữ liệu nào dễ dàng và được chấp nhận.

Tại sao chúng ta cần một Data Mart?

Dưới đây là những lý do để tạo data mart -

• Phân vùng dữ liệu để áp đặt access control strategies.

• Để tăng tốc các truy vấn bằng cách giảm khối lượng dữ liệu được quét.

• Để phân đoạn dữ liệu thành các nền tảng phần cứng khác nhau.

• Để cấu trúc dữ liệu theo một hình thức phù hợp với một công cụ truy cập người dùng.

Note- Không lưu dữ liệu vì bất kỳ lý do nào khác vì chi phí vận hành dữ liệu marting có thể rất cao. Trước khi kiểm duyệt dữ liệu, hãy đảm bảo rằng chiến lược kiểm tra dữ liệu phù hợp với giải pháp cụ thể của bạn.

Đánh dấu dữ liệu hiệu quả về chi phí

Thực hiện theo các bước được cung cấp bên dưới để làm cho việc lưu trữ dữ liệu tiết kiệm chi phí -

• Xác định các Tách chức năng
• Xác định Yêu cầu về Công cụ Truy cập Người dùng
• Xác định các vấn đề về kiểm soát truy cập

Xác định các Tách chức năng

Trong bước này, chúng tôi xác định xem tổ chức có sự phân chia chức năng tự nhiên hay không. Chúng tôi tìm kiếm sự phân chia các phòng ban và chúng tôi xác định xem cách các phòng ban sử dụng thông tin có xu hướng tách biệt với phần còn lại của tổ chức hay không. Hãy lấy một ví dụ.

Hãy xem xét một tổ chức bán lẻ, nơi mỗi người bán có trách nhiệm tối đa hóa doanh số bán hàng của một nhóm sản phẩm. Về điều này, sau đây là những thông tin có giá trị:

• giao dịch bán hàng trên cơ sở hàng ngày
• dự báo bán hàng trên cơ sở hàng tuần
• vị trí chứng khoán hàng ngày
• biến động cổ phiếu hàng ngày

Vì người bán không quan tâm đến các sản phẩm mà họ không kinh doanh, nên việc kiểm tra dữ liệu là một tập hợp con của dữ liệu giao dịch mà nhóm sản phẩm quan tâm. Biểu đồ sau đây cho thấy dữ liệu marting cho những người dùng khác nhau.

Dưới đây là các vấn đề cần lưu ý khi xác định phân tách chức năng -

• Cơ cấu của bộ phận có thể thay đổi.

• Các sản phẩm có thể chuyển từ bộ phận này sang bộ phận khác.

• Người bán có thể truy vấn xu hướng bán hàng của các sản phẩm khác để phân tích điều gì đang xảy ra với việc bán hàng.

Note - Chúng tôi cần xác định lợi ích kinh doanh và tính khả thi về mặt kỹ thuật của việc sử dụng data mart.

Xác định Yêu cầu về Công cụ Truy cập Người dùng

Chúng tôi cần dữ liệu mart để hỗ trợ user access toolsyêu cầu cấu trúc dữ liệu nội bộ. Dữ liệu trong các cấu trúc như vậy nằm ngoài tầm kiểm soát của kho dữ liệu nhưng cần được nhập và cập nhật thường xuyên.

Có một số công cụ điền trực tiếp từ hệ thống nguồn nhưng một số không thể. Do đó, các yêu cầu bổ sung bên ngoài phạm vi của công cụ cần được xác định cho tương lai.

Note - Để đảm bảo tính nhất quán của dữ liệu trên tất cả các công cụ truy cập, dữ liệu không nên được nhập trực tiếp từ kho dữ liệu, thay vào đó mỗi công cụ phải có kho dữ liệu riêng.

Xác định các vấn đề về kiểm soát truy cập

Cần có các quy tắc bảo mật để đảm bảo dữ liệu chỉ được truy cập bởi những người dùng được ủy quyền. Ví dụ: một kho dữ liệu cho tổ chức ngân hàng bán lẻ đảm bảo rằng tất cả các tài khoản thuộc cùng một pháp nhân. Luật bảo mật có thể buộc bạn hoàn toàn ngăn chặn việc truy cập vào thông tin không thuộc sở hữu của ngân hàng cụ thể.

Data mart cho phép chúng tôi xây dựng một bức tường hoàn chỉnh bằng cách phân tách vật lý các phân đoạn dữ liệu trong kho dữ liệu. Để tránh các vấn đề về quyền riêng tư có thể xảy ra, dữ liệu chi tiết có thể được xóa khỏi kho dữ liệu. Chúng tôi có thể tạo data mart cho từng pháp nhân và tải nó qua kho dữ liệu, với dữ liệu tài khoản chi tiết.

Thiết kế Data Marts

Data mart nên được thiết kế như một phiên bản nhỏ hơn của giản đồ starflake trong kho dữ liệu và phải phù hợp với thiết kế cơ sở dữ liệu của kho dữ liệu. Nó giúp duy trì quyền kiểm soát các cá thể cơ sở dữ liệu.

Các bản tóm tắt được trộn dữ liệu theo cách giống như chúng sẽ được thiết kế trong kho dữ liệu. Bảng tóm tắt giúp sử dụng tất cả dữ liệu thứ nguyên trong lược đồ starflake.

Chi phí đánh dấu dữ liệu

Các biện pháp chi phí cho việc duyệt dữ liệu như sau:

• Chi phí phần cứng và phần mềm
• Truy cập mạng
• Ràng buộc về thời gian

Chi phí phần cứng và phần mềm

Mặc dù data mart được tạo trên cùng một phần cứng, chúng yêu cầu một số phần cứng và phần mềm bổ sung. Để xử lý các truy vấn của người dùng, nó yêu cầu thêm sức mạnh xử lý và ổ lưu trữ. Nếu dữ liệu chi tiết và kho dữ liệu tồn tại trong kho dữ liệu, thì chúng tôi sẽ phải trả thêm chi phí để lưu trữ và quản lý dữ liệu sao chép.

Note - Lưu trữ dữ liệu đắt hơn tổng hợp, do đó nó nên được sử dụng như một chiến lược bổ sung chứ không phải là một chiến lược thay thế.

Truy cập mạng

Kho dữ liệu có thể ở một vị trí khác với kho dữ liệu, vì vậy chúng tôi nên đảm bảo rằng mạng LAN hoặc WAN có khả năng xử lý khối lượng dữ liệu đang được truyền trong data mart load process.

Ràng buộc về thời gian

Mức độ mà quá trình tải data mart sẽ ăn vào cửa sổ thời gian có sẵn tùy thuộc vào mức độ phức tạp của các phép biến đổi và khối lượng dữ liệu đang được vận chuyển. Việc xác định số lượng data mart có thể phụ thuộc vào -

• Dung lượng mạng.
• Khoảng thời gian có sẵn
• Khối lượng dữ liệu được chuyển
• Các cơ chế đang được sử dụng để chèn dữ liệu vào data mart

Quản lý hệ thống là bắt buộc để triển khai thành công kho dữ liệu. Các nhà quản lý hệ thống quan trọng nhất là -

• Trình quản lý cấu hình hệ thống
• Trình quản lý lập lịch hệ thống
• Quản lý sự kiện hệ thống
• Quản lý cơ sở dữ liệu hệ thống
• Trình quản lý khôi phục sao lưu hệ thống

Trình quản lý cấu hình hệ thống

• Người quản lý cấu hình hệ thống chịu trách nhiệm quản lý việc thiết lập và cấu hình kho dữ liệu.

• Cấu trúc của trình quản lý cấu hình thay đổi từ hệ điều hành này sang hệ điều hành khác.

• Trong cấu trúc cấu hình Unix, trình quản lý khác nhau giữa các nhà cung cấp.

• Trình quản lý cấu hình có giao diện người dùng duy nhất.

• Giao diện của trình quản lý cấu hình cho phép chúng ta kiểm soát tất cả các khía cạnh của hệ thống.

Note - Công cụ cấu hình quan trọng nhất là trình quản lý I / O.

Trình quản lý lập lịch hệ thống

Trình quản lý lập lịch hệ thống chịu trách nhiệm thực hiện thành công kho dữ liệu. Mục đích của nó là lên lịch cho các truy vấn đặc biệt. Mỗi hệ điều hành đều có bộ lập lịch riêng với một số dạng cơ chế kiểm soát hàng loạt. Danh sách các tính năng mà người quản lý lập lịch hệ thống phải có như sau:

• Làm việc trên các ranh giới cụm hoặc MPP
• Xử lý chênh lệch giờ quốc tế
• Xử lý công việc thất bại
• Xử lý nhiều truy vấn
• Hỗ trợ các ưu tiên công việc
• Khởi động lại hoặc xếp hàng lại các công việc bị lỗi
• Thông báo cho người dùng hoặc quy trình khi công việc hoàn thành
• Duy trì lịch trình công việc khi hệ thống ngừng hoạt động
• Xếp hàng lại các công việc vào hàng đợi khác
• Hỗ trợ dừng và bắt đầu xếp hàng
• Ghi nhật ký công việc đã xếp hàng đợi
• Xử lý liên hàng đợi

Note - Danh sách trên có thể được sử dụng như các thông số đánh giá để đánh giá một người lập lịch tốt.

Một số công việc quan trọng mà người lập lịch phải có khả năng xử lý như sau:

• Lập lịch truy vấn hàng ngày và đột xuất
• Thực hiện các yêu cầu báo cáo thường xuyên
• Tải dữ liệu
• Xử lí dữ liệu
• Tạo chỉ mục
• Backup
• Tạo tổng hợp
• Chuyển đổi dữ liệu

Note - Nếu kho dữ liệu đang chạy trên kiến ​​trúc cụm hoặc MPP, thì trình quản lý lập lịch hệ thống phải có khả năng chạy trên kiến ​​trúc.

Trình quản lý sự kiện hệ thống

Trình quản lý sự kiện là một loại phần mềm. Trình quản lý sự kiện quản lý các sự kiện được xác định trên hệ thống kho dữ liệu. Chúng ta không thể quản lý kho dữ liệu một cách thủ công vì cấu trúc của kho dữ liệu rất phức tạp. Do đó chúng ta cần một công cụ tự động xử lý tất cả các sự kiện mà không cần bất kỳ sự can thiệp nào của người dùng.

Note- Người quản lý sự kiện giám sát các sự kiện xảy ra và xử lý chúng. Người quản lý sự kiện cũng theo dõi vô số thứ có thể xảy ra sai sót trên hệ thống kho dữ liệu phức tạp này.

Sự kiện

Sự kiện là các hành động được tạo bởi người dùng hoặc chính hệ thống. Có thể lưu ý rằng sự kiện là sự xuất hiện có thể đo lường, quan sát được của một hành động xác định.

Dưới đây là danh sách các sự kiện phổ biến cần được theo dõi.

• Lỗi phần cứng
• Hết dung lượng trên một số đĩa phím
• Một quá trình đang chết
• Quy trình trả về lỗi
• Sử dụng CPU vượt quá ngưỡng 805
• Tranh cãi nội bộ về các điểm tuần tự hóa cơ sở dữ liệu
• Tỷ lệ lần truy cập bộ nhớ đệm của bộ đệm vượt quá hoặc thất bại dưới ngưỡng
• Một bảng đạt đến kích thước tối đa
• Trao đổi bộ nhớ quá mức
• Một bảng không thể mở rộng do thiếu không gian
• Đĩa hiển thị I / O tắc nghẽn
• Sử dụng khu vực tạm thời hoặc sắp xếp đạt đến một ngưỡng nhất định
• Bất kỳ việc sử dụng bộ nhớ dùng chung cơ sở dữ liệu nào khác

Điều quan trọng nhất của các sự kiện là chúng phải có khả năng tự thực hiện. Các gói sự kiện xác định các thủ tục cho các sự kiện được xác định trước. Mã liên kết với mỗi sự kiện được gọi là trình xử lý sự kiện. Mã này được thực thi bất cứ khi nào một sự kiện xảy ra.

Trình quản lý hệ thống và cơ sở dữ liệu

Hệ thống và trình quản lý cơ sở dữ liệu có thể là hai phần mềm riêng biệt, nhưng chúng thực hiện cùng một công việc. Mục tiêu của các công cụ này là tự động hóa các quy trình nhất định và đơn giản hóa việc thực thi của các quy trình khác. Tiêu chí để chọn một hệ thống và trình quản lý cơ sở dữ liệu như sau:

• tăng hạn ngạch của người dùng.
• gán và hủy gán vai trò cho người dùng
• gán và hủy gán các cấu hình cho người dùng
• thực hiện quản lý không gian cơ sở dữ liệu
• giám sát và báo cáo về việc sử dụng không gian
• dọn dẹp không gian bị phân mảnh và không sử dụng
• thêm và mở rộng không gian
• thêm và xóa người dùng
• quản lý mật khẩu người dùng
• quản lý bảng tóm tắt hoặc bảng tạm thời
• gán hoặc gán không gian tạm thời cho và từ người dùng
• lấy lại không gian hình thức bảng tạm thời cũ hoặc lỗi thời
• quản lý nhật ký lỗi và theo dõi
• để duyệt các tệp nhật ký và theo dõi
• lỗi chuyển hướng hoặc thông tin theo dõi
• bật và tắt lỗi và ghi nhật ký theo dõi
• thực hiện quản lý không gian hệ thống
• giám sát và báo cáo về việc sử dụng không gian
• dọn dẹp các thư mục tệp cũ và không sử dụng
• thêm hoặc mở rộng không gian.

Trình quản lý khôi phục sao lưu hệ thống

Công cụ sao lưu và phục hồi giúp nhân viên vận hành và quản lý dễ dàng sao lưu dữ liệu. Lưu ý rằng trình quản lý sao lưu hệ thống phải được tích hợp với phần mềm quản lý lịch biểu đang được sử dụng. Các tính năng quan trọng cần thiết để quản lý các bản sao lưu như sau:

• Scheduling
• Sao lưu dữ liệu theo dõi
• Nhận thức về cơ sở dữ liệu

Các bản sao lưu chỉ được thực hiện để bảo vệ khỏi mất dữ liệu. Sau đây là những điểm quan trọng cần nhớ:

• Phần mềm sao lưu sẽ giữ một số dạng cơ sở dữ liệu về vị trí và thời điểm sao lưu phần dữ liệu.

• Trình quản lý khôi phục sao lưu phải có giao diện người dùng tốt cho cơ sở dữ liệu đó.

• Phần mềm khôi phục sao lưu cơ sở dữ liệu nên biết.

• Nhận thức được cơ sở dữ liệu, phần mềm sau đó có thể được giải quyết bằng các thuật ngữ cơ sở dữ liệu và sẽ không thực hiện sao lưu sẽ không khả thi.

Người quản lý quy trình chịu trách nhiệm duy trì luồng dữ liệu cả vào và ra khỏi kho dữ liệu. Có ba loại trình quản lý quy trình khác nhau -

• Quản lý tải
• Quản lý kho
• Quản lý truy vấn

Trình quản lý tải kho dữ liệu

Trình quản lý tải thực hiện các hoạt động cần thiết để trích xuất và tải dữ liệu vào cơ sở dữ liệu. Quy mô và độ phức tạp của trình quản lý tải khác nhau giữa các giải pháp cụ thể từ kho dữ liệu này sang kho dữ liệu khác.

Kiến trúc quản lý tải

Trình quản lý tải thực hiện các chức năng sau:

• Trích xuất dữ liệu từ hệ thống nguồn.

• Tải nhanh dữ liệu đã trích xuất vào kho dữ liệu tạm thời.

• Thực hiện các phép biến đổi đơn giản thành cấu trúc tương tự như cấu trúc trong kho dữ liệu.

Trích xuất dữ liệu từ nguồn

Dữ liệu được trích xuất từ ​​cơ sở dữ liệu hoạt động hoặc các nhà cung cấp thông tin bên ngoài. Cổng là các chương trình ứng dụng được sử dụng để trích xuất dữ liệu. Nó được hỗ trợ bởi DBMS bên dưới và cho phép chương trình khách tạo SQL được thực thi tại một máy chủ. Kết nối Cơ sở dữ liệu Mở (ODBC) và Kết nối Cơ sở dữ liệu Java (JDBC) là những ví dụ về cổng.

Tải nhanh

• Để giảm thiểu cửa sổ tổng tải, dữ liệu cần được tải vào kho trong thời gian nhanh nhất có thể.

• Các phép biến đổi ảnh hưởng đến tốc độ xử lý dữ liệu.

• Sẽ hiệu quả hơn nếu tải dữ liệu vào cơ sở dữ liệu quan hệ trước khi áp dụng các phép biến đổi và kiểm tra.

• Công nghệ Gateway không phù hợp, vì chúng không hiệu quả khi có khối lượng dữ liệu lớn.

Biến đổi đơn giản

Trong khi tải, nó có thể được yêu cầu thực hiện các phép biến đổi đơn giản. Sau khi hoàn thành các phép biến đổi đơn giản, chúng ta có thể kiểm tra phức tạp. Giả sử chúng tôi đang tải giao dịch bán EPOS, chúng tôi cần thực hiện các kiểm tra sau:

• Loại bỏ tất cả các cột không cần thiết trong nhà kho.
• Chuyển đổi tất cả các giá trị thành kiểu dữ liệu bắt buộc.

Quản lý kho

Người quản lý kho chịu trách nhiệm về quá trình quản lý kho. Nó bao gồm một phần mềm hệ thống của bên thứ ba, các chương trình C và các tập lệnh shell. Quy mô và độ phức tạp của người quản lý kho khác nhau giữa các giải pháp cụ thể.

Kiến trúc quản lý kho

Người quản lý kho bao gồm những điều sau đây:

• Quá trình kiểm soát
• Các thủ tục được lưu trữ hoặc C với SQL
• Công cụ sao lưu / phục hồi
• Tập lệnh SQL

Chức năng của Quản lý kho

Người quản lý kho thực hiện các chức năng sau:

• Phân tích dữ liệu để thực hiện kiểm tra tính nhất quán và tính toàn vẹn tham chiếu.

• Tạo chỉ mục, chế độ xem kinh doanh, chế độ xem phân vùng dựa trên dữ liệu cơ sở.

• Tạo tổng hợp mới và cập nhật các tổng hợp hiện có.

• Tạo chuẩn hóa.

• Chuyển đổi và hợp nhất dữ liệu nguồn của kho lưu trữ tạm thời vào kho dữ liệu đã xuất bản.

• Sao lưu dữ liệu trong kho dữ liệu.

• Lưu trữ dữ liệu đã hết thời gian lưu trữ.

Note - Người quản lý kho phân tích hồ sơ truy vấn để xác định xem chỉ mục và các tổng hợp có phù hợp hay không.

Trình quản lý truy vấn

Trình quản lý truy vấn chịu trách nhiệm hướng các truy vấn đến các bảng phù hợp. Bằng cách hướng các truy vấn đến các bảng thích hợp, nó tăng tốc quá trình phản hồi và yêu cầu truy vấn. Ngoài ra, trình quản lý truy vấn chịu trách nhiệm lên lịch thực hiện các truy vấn do người dùng đăng.

Kiến trúc trình quản lý truy vấn

Trình quản lý truy vấn bao gồm các thành phần sau:

• Chuyển hướng truy vấn thông qua công cụ C hoặc RDBMS
• Thủ tục lưu trữ
• Công cụ quản lý truy vấn
• Lập lịch truy vấn thông qua công cụ C hoặc RDBMS
• Lập lịch truy vấn thông qua phần mềm của bên thứ ba

Chức năng của Trình quản lý truy vấn

• Nó trình bày dữ liệu cho người dùng dưới dạng họ hiểu.

• Nó lên lịch thực hiện các truy vấn được đăng bởi người dùng cuối.

• Nó lưu trữ hồ sơ truy vấn để cho phép người quản lý kho xác định chỉ mục và tổng hợp nào là phù hợp.

Mục tiêu của kho dữ liệu là làm cho một lượng lớn dữ liệu dễ dàng truy cập đến người dùng, do đó cho phép người dùng trích xuất thông tin về doanh nghiệp nói chung. Nhưng chúng tôi biết rằng có thể có một số hạn chế bảo mật được áp dụng đối với dữ liệu có thể là trở ngại cho việc truy cập thông tin. Nếu nhà phân tích có tầm nhìn hạn chế về dữ liệu, thì không thể nắm bắt được bức tranh toàn cảnh về các xu hướng trong doanh nghiệp.

Dữ liệu từ mỗi nhà phân tích có thể được tóm tắt và chuyển cho ban quản lý nơi có thể tổng hợp các bản tóm tắt khác nhau. Vì tổng thể của các tóm tắt không thể giống với tổng thể của tổng thể, nên có thể bỏ sót một số xu hướng thông tin trong dữ liệu trừ khi ai đó đang phân tích dữ liệu một cách tổng thể.

Yêu cầu bảo mật

Việc thêm các tính năng bảo mật ảnh hưởng đến hiệu suất của kho dữ liệu, do đó điều quan trọng là phải xác định các yêu cầu bảo mật càng sớm càng tốt. Rất khó để thêm các tính năng bảo mật sau khi kho dữ liệu đã hoạt động.

Trong giai đoạn thiết kế kho dữ liệu, chúng ta nên lưu ý những nguồn dữ liệu nào có thể được thêm vào sau này và tác động của việc thêm các nguồn dữ liệu đó. Chúng ta nên xem xét các khả năng sau trong giai đoạn thiết kế.

• Liệu các nguồn dữ liệu mới có yêu cầu các hạn chế bảo mật và / hoặc kiểm toán mới được thực hiện hay không?

• Liệu những người dùng mới được thêm vào có hạn chế quyền truy cập vào dữ liệu đã có sẵn?

Tình huống này phát sinh khi người dùng tương lai và nguồn dữ liệu không được biết rõ. Trong tình huống như vậy, chúng ta cần sử dụng kiến ​​thức về kinh doanh và mục tiêu của kho dữ liệu để biết các yêu cầu có thể xảy ra.

Các hoạt động sau đây bị ảnh hưởng bởi các biện pháp an ninh -

• Người dùng truy cập
• Tải dữ liệu
• Di chuyển dữ liệu
• Tạo truy vấn

Người dùng truy cập

Đầu tiên chúng ta cần phân loại dữ liệu và sau đó phân loại người dùng trên cơ sở dữ liệu họ có thể truy cập. Nói cách khác, người dùng được phân loại theo dữ liệu mà họ có thể truy cập.

Data Classification

Hai cách tiếp cận sau có thể được sử dụng để phân loại dữ liệu:

• Dữ liệu có thể được phân loại theo độ nhạy của nó. Dữ liệu nhạy cảm cao được phân loại là bị hạn chế cao và dữ liệu ít nhạy cảm hơn được phân loại là ít hạn chế hơn.

• Dữ liệu cũng có thể được phân loại theo chức năng công việc. Hạn chế này chỉ cho phép người dùng cụ thể xem dữ liệu cụ thể. Ở đây, chúng tôi hạn chế người dùng chỉ xem phần dữ liệu mà họ quan tâm và chịu trách nhiệm.

Có một số vấn đề trong cách tiếp cận thứ hai. Để hiểu, hãy lấy một ví dụ. Giả sử bạn đang xây dựng kho dữ liệu cho một ngân hàng. Hãy xem xét rằng dữ liệu đang được lưu trữ trong kho dữ liệu là dữ liệu giao dịch cho tất cả các tài khoản. Câu hỏi đặt ra ở đây là ai được phép xem dữ liệu giao dịch. Giải pháp nằm ở việc phân loại dữ liệu theo chức năng.

User classification

Các cách tiếp cận sau có thể được sử dụng để phân loại người dùng:

• Người dùng có thể được phân loại theo thứ bậc của người dùng trong một tổ chức, tức là người dùng có thể được phân loại theo phòng ban, bộ phận, nhóm, v.v.

• Người dùng cũng có thể được phân loại theo vai trò của họ, với những người được nhóm giữa các phòng ban dựa trên vai trò của họ.

Classification on basis of Department

Hãy lấy một ví dụ về kho dữ liệu nơi người dùng đến từ bộ phận bán hàng và tiếp thị. Chúng tôi có thể bảo mật bằng chế độ xem công ty từ trên xuống dưới, với quyền truy cập tập trung vào các phòng ban khác nhau. Nhưng có thể có một số hạn chế đối với người dùng ở các cấp độ khác nhau. Cấu trúc này được thể hiện trong sơ đồ sau.

Nhưng nếu mỗi bộ phận truy cập dữ liệu khác nhau, thì chúng ta nên thiết kế quyền truy cập bảo mật cho từng bộ phận riêng biệt. Điều này có thể đạt được bằng các siêu thị dữ liệu của bộ phận. Vì các kho dữ liệu này được tách biệt khỏi kho dữ liệu, chúng tôi có thể thực thi các hạn chế bảo mật riêng biệt trên mỗi kho dữ liệu. Cách tiếp cận này được thể hiện trong hình sau.

Classification Based on Role

Nếu dữ liệu nói chung có sẵn cho tất cả các phòng ban, thì việc tuân theo hệ thống phân cấp truy cập vai trò sẽ rất hữu ích. Nói cách khác, nếu dữ liệu được truy cập chung bởi tất cả các bộ phận, thì hãy áp dụng các hạn chế bảo mật theo vai trò của người dùng. Phân cấp truy cập vai trò được hiển thị trong hình sau.

Yêu cầu kiểm toán

Kiểm toán là một tập hợp con của bảo mật, một hoạt động tốn kém. Kiểm toán có thể gây ra chi phí lớn cho hệ thống. Để hoàn thành kiểm tra kịp thời, chúng tôi yêu cầu nhiều phần cứng hơn và do đó, chúng tôi khuyến nghị rằng nên tắt kiểm tra nếu có thể. Các yêu cầu đánh giá có thể được phân loại như sau:

• Connections
• Disconnections
• Truy cập dữ liệu
• Thay đổi dữ liệu

Note- Đối với mỗi hạng mục nêu trên, cần phải kiểm toán thành công, thất bại hoặc cả hai. Từ quan điểm của lý do bảo mật, việc kiểm tra các hư hỏng là rất quan trọng. Việc kiểm tra lỗi rất quan trọng vì chúng có thể làm nổi bật truy cập trái phép hoặc gian lận.

Yêu cầu mạng

An ninh mạng cũng quan trọng như các chứng khoán khác. Chúng ta không thể bỏ qua yêu cầu bảo mật mạng. Chúng ta cần xem xét các vấn đề sau:

• Có cần mã hóa dữ liệu trước khi chuyển vào kho dữ liệu không?

• Có giới hạn nào đối với các tuyến mạng mà dữ liệu có thể sử dụng không?

Những hạn chế này cần được xem xét cẩn thận. Sau đây là những điểm cần nhớ:

• Quá trình mã hóa và giải mã sẽ làm tăng chi phí. Nó sẽ đòi hỏi nhiều sức mạnh xử lý và thời gian xử lý hơn.

• Chi phí mã hóa có thể cao nếu hệ thống đã là một hệ thống được tải vì mã hóa do hệ thống nguồn chịu.

Di chuyển dữ liệu

Tồn tại các tác động bảo mật tiềm ẩn trong khi di chuyển dữ liệu. Giả sử chúng ta cần chuyển một số dữ liệu bị hạn chế dưới dạng tệp phẳng sẽ được tải. Khi dữ liệu được tải vào kho dữ liệu, các câu hỏi sau được đặt ra:

• Tập tin phẳng được lưu trữ ở đâu?
• Ai có quyền truy cập vào không gian đĩa đó?

Nếu chúng ta nói về việc sao lưu các tệp phẳng này, các câu hỏi sau sẽ được đặt ra:

• Bạn có sao lưu các phiên bản được mã hóa hoặc giải mã không?
• Các bản sao lưu này có cần được thực hiện cho các băng đặc biệt được lưu trữ riêng không?
• Ai có quyền truy cập vào những cuốn băng này?

Một số hình thức di chuyển dữ liệu khác như tập kết quả truy vấn cũng cần được xem xét. Các câu hỏi được đưa ra trong khi tạo bảng tạm thời như sau:

• Cái bàn tạm thời đó sẽ được giữ ở đâu?
• Làm thế nào để bạn hiển thị bảng như vậy?

Chúng ta nên tránh việc vô tình đưa ra các giới hạn bảo mật. Nếu người dùng có quyền truy cập vào dữ liệu bị hạn chế có thể tạo các bảng tạm thời có thể truy cập được, dữ liệu có thể hiển thị cho người dùng không được ủy quyền. Chúng tôi có thể khắc phục sự cố này bằng cách có một khu vực tạm thời riêng biệt cho người dùng có quyền truy cập vào dữ liệu bị hạn chế.

Tài liệu

Các yêu cầu kiểm toán và bảo mật cần phải được lập thành văn bản thích hợp. Điều này sẽ được coi là một phần của sự biện minh. Tài liệu này có thể chứa tất cả thông tin được thu thập từ -

• Phân loại dữ liệu
• Phân loại người dùng
• Yêu cầu mạng
• Yêu cầu về di chuyển và lưu trữ dữ liệu
• Tất cả các hành động có thể kiểm tra được

Tác động của bảo mật đối với thiết kế

Bảo mật ảnh hưởng đến mã ứng dụng và khoảng thời gian phát triển. An ninh ảnh hưởng đến khu vực sau -

• Phát triển ứng dụng
• Thiết kế cơ sở dữ liệu
• Testing

Phát triển ứng dụng

Bảo mật ảnh hưởng đến sự phát triển ứng dụng tổng thể và nó cũng ảnh hưởng đến thiết kế của các thành phần quan trọng của kho dữ liệu như trình quản lý tải, trình quản lý kho và trình quản lý truy vấn. Trình quản lý tải có thể yêu cầu mã kiểm tra để lọc bản ghi và đặt chúng ở các vị trí khác nhau. Các quy tắc chuyển đổi khác cũng có thể được yêu cầu để ẩn dữ liệu nhất định. Ngoài ra, có thể có các yêu cầu về siêu dữ liệu bổ sung để xử lý bất kỳ đối tượng bổ sung nào.

Để tạo và duy trì các chế độ xem bổ sung, người quản lý kho có thể yêu cầu thêm mã để thực thi bảo mật. Các kiểm tra bổ sung có thể phải được mã hóa vào kho dữ liệu để ngăn nó bị đánh lừa khi di chuyển dữ liệu vào một vị trí không nên có. Trình quản lý truy vấn yêu cầu các thay đổi để xử lý bất kỳ hạn chế truy cập nào. Người quản lý truy vấn sẽ cần phải biết về tất cả các chế độ xem bổ sung và tổng hợp.

Thiết kế cơ sở dữ liệu

Việc bố trí cơ sở dữ liệu cũng bị ảnh hưởng bởi vì khi các biện pháp bảo mật được thực hiện, số lượng khung nhìn và bảng sẽ tăng lên. Thêm bảo mật làm tăng kích thước của cơ sở dữ liệu và do đó làm tăng độ phức tạp của việc thiết kế và quản lý cơ sở dữ liệu. Nó cũng sẽ tăng thêm sự phức tạp cho kế hoạch quản lý và khôi phục sao lưu.

Thử nghiệm

Kiểm tra kho dữ liệu là một quá trình phức tạp và kéo dài. Việc thêm bảo mật cho kho dữ liệu cũng ảnh hưởng đến độ phức tạp của thời gian thử nghiệm. Nó ảnh hưởng đến thử nghiệm theo hai cách sau:

• Nó sẽ làm tăng thời gian cần thiết cho việc tích hợp và kiểm tra hệ thống.

• Có thêm chức năng được thử nghiệm sẽ làm tăng kích thước của bộ thử nghiệm.

Kho dữ liệu là một hệ thống phức tạp và nó chứa một khối lượng dữ liệu khổng lồ. Do đó, điều quan trọng là phải sao lưu tất cả dữ liệu để có thể khôi phục trong tương lai theo yêu cầu. Trong chương này, chúng ta sẽ thảo luận các vấn đề trong việc thiết kế chiến lược dự phòng.

Thuật ngữ dự phòng

Trước khi tiếp tục, bạn nên biết một số thuật ngữ sao lưu được thảo luận bên dưới.

• Complete backup- Nó sao lưu toàn bộ cơ sở dữ liệu cùng một lúc. Bản sao lưu này bao gồm tất cả các tệp cơ sở dữ liệu, tệp điều khiển và tệp tạp chí.

• Partial backup- Như tên cho thấy, nó không tạo ra một bản sao lưu hoàn chỉnh của cơ sở dữ liệu. Sao lưu từng phần rất hữu ích trong các cơ sở dữ liệu lớn vì chúng cho phép một chiến lược theo đó các phần khác nhau của cơ sở dữ liệu được sao lưu theo kiểu tuần hoàn hàng ngày, để toàn bộ cơ sở dữ liệu được sao lưu hiệu quả mỗi tuần một lần.

• Cold backup- Sao lưu nguội được thực hiện trong khi cơ sở dữ liệu hoàn toàn tắt. Trong môi trường đa phiên bản, tất cả các phiên bản phải được tắt.

• Hot backup- Sao lưu nóng được thực hiện khi công cụ cơ sở dữ liệu đang hoạt động. Các yêu cầu của sao lưu nóng thay đổi từ RDBMS đến RDBMS.

• Online backup - Nó khá giống với sao lưu nóng.

Sao lưu phần cứng

Điều quan trọng là phải quyết định phần cứng nào sẽ sử dụng để sao lưu. Tốc độ xử lý sao lưu và khôi phục phụ thuộc vào phần cứng được sử dụng, cách phần cứng được kết nối, băng thông của mạng, phần mềm sao lưu và tốc độ của hệ thống I / O của máy chủ. Ở đây chúng tôi sẽ thảo luận về một số lựa chọn phần cứng có sẵn và ưu nhược điểm của chúng. Những lựa chọn này như sau:

• Công nghệ băng
• Sao lưu đĩa

Công nghệ băng

Sự lựa chọn băng có thể được phân loại như sau:

• Phương tiện băng
• Ổ băng độc lập
• Máy xếp băng
• Silo băng

Tape Media

Có một số loại phương tiện băng. Một số tiêu chuẩn phương tiện băng được liệt kê trong bảng dưới đây -

Tape Media	Sức chứa	Tỷ lệ I / O
DLT	40 GB	3 MB / s
3490e	1,6 GB	3 MB / s
8 mm	14 GB	1 MB / s

Các yếu tố khác cần được xem xét như sau:

• Độ tin cậy của phương tiện băng
• Chi phí của phương tiện băng trên mỗi đơn vị
• Scalability
• Chi phí nâng cấp hệ thống băng
• Chi phí của phương tiện băng trên mỗi đơn vị
• Thời hạn sử dụng của băng trung bình

Standalone Tape Drives

Các ổ băng có thể được kết nối theo những cách sau:

• Trực tiếp đến máy chủ
• Là thiết bị có sẵn mạng
• Từ xa đến máy khác

Có thể có vấn đề khi kết nối ổ băng với kho dữ liệu.

• Coi máy chủ là một máy MPP 48node. Chúng tôi không biết nút để kết nối ổ băng và chúng tôi không biết cách trải chúng qua các nút máy chủ để có được hiệu suất tối ưu với máy chủ ít bị gián đoạn nhất và độ trễ I / O nội bộ ít nhất.

• Kết nối ổ băng như một thiết bị có sẵn mạng đòi hỏi mạng phải hoạt động tốt với tốc độ truyền dữ liệu lớn. Đảm bảo rằng có đủ băng thông trong thời gian bạn yêu cầu.

• Việc kết nối các ổ băng từ xa cũng yêu cầu băng thông cao.

Máy xếp băng

Phương pháp tải nhiều băng vào một ổ băng duy nhất được gọi là bộ xếp băng. Bộ xếp chồng tháo băng hiện tại khi nó đã hoàn thành và tải băng tiếp theo, do đó mỗi lần chỉ có một băng có thể truy cập được. Giá cả và các khả năng có thể khác nhau, nhưng khả năng chung là chúng có thể thực hiện sao lưu không cần giám sát.

Băng Silo

Các silo băng cung cấp khả năng lưu trữ lớn. Các silo băng có thể lưu trữ và quản lý hàng nghìn cuộn băng. Chúng có thể tích hợp nhiều ổ băng. Họ có phần mềm và phần cứng để dán nhãn và lưu trữ các băng mà họ lưu trữ. Việc silo được kết nối từ xa qua mạng hoặc liên kết chuyên dụng là rất phổ biến. Chúng tôi nên đảm bảo rằng băng thông của kết nối phù hợp với công việc.

Sao lưu đĩa

Các phương pháp sao lưu đĩa là -

• Sao lưu từ đĩa sang đĩa
• Vỡ gương

Các phương pháp này được sử dụng trong hệ thống OLTP. Các phương pháp này giảm thiểu thời gian chết của cơ sở dữ liệu và tối đa hóa tính khả dụng.

Disk-to-Disk Backups

Đây là bản sao lưu được thực hiện trên đĩa chứ không phải trên băng. Sao lưu từ đĩa sang đĩa được thực hiện vì những lý do sau:

• Tốc độ sao lưu ban đầu
• Tốc độ khôi phục

Sao lưu dữ liệu từ đĩa vào đĩa nhanh hơn nhiều so với băng. Tuy nhiên nó là bước trung gian của sao lưu. Sau đó, dữ liệu được sao lưu trên băng. Ưu điểm khác của sao lưu từ đĩa sang đĩa là nó cung cấp cho bạn bản sao trực tuyến của bản sao lưu mới nhất.

Mirror Breaking

Ý tưởng là để các đĩa được nhân bản để có khả năng phục hồi trong ngày làm việc. Khi cần sao lưu, một trong các bộ nhân bản có thể bị phá vỡ. Kỹ thuật này là một biến thể của sao lưu từ đĩa sang đĩa.

Note - Cơ sở dữ liệu có thể cần được tắt để đảm bảo tính nhất quán của bản sao lưu.

Jukeboxes quang học

Máy hát tự động quang học cho phép dữ liệu được lưu trữ gần đường truyền. Kỹ thuật này cho phép quản lý một số lượng lớn các đĩa quang theo cách tương tự như một bộ xếp băng hoặc một silo băng. Hạn chế của kỹ thuật này là nó có tốc độ ghi chậm hơn so với đĩa. Nhưng phương tiện quang học cung cấp tuổi thọ cao và độ tin cậy khiến chúng trở thành một lựa chọn tốt về phương tiện lưu trữ.

Sao lưu phần mềm

Có các công cụ phần mềm có sẵn trợ giúp trong quá trình sao lưu. Các công cụ phần mềm này đi kèm dưới dạng một gói. Những công cụ này không chỉ sao lưu mà còn có thể quản lý và kiểm soát hiệu quả các chiến lược sao lưu. Có rất nhiều gói phần mềm có sẵn trên thị trường. Một số trong số chúng được liệt kê trong bảng sau:

Tên gói hàng	Nhà cung cấp
Nhà mạng	Legato
QUẢNG CÁO	IBM
Epoch	Hệ thống kỷ nguyên
Omniback II	HP
Alexandria	Thường xuyên

Tiêu chí chọn gói phần mềm

Các tiêu chí để chọn gói phần mềm tốt nhất được liệt kê dưới đây:

• Sản phẩm có thể mở rộng như thế nào khi thêm ổ băng?
• Gói có tùy chọn máy chủ-máy khách hay phải chạy trên chính máy chủ cơ sở dữ liệu?
• Nó sẽ hoạt động trong môi trường cụm và MPP?
• Mức độ song song được yêu cầu?
• Gói hỗ trợ những nền tảng nào?
• Gói có hỗ trợ dễ dàng truy cập thông tin về nội dung băng không?
• Cơ sở dữ liệu gói có biết không?
• Gói hỗ trợ ổ băng và phương tiện băng nào?

Một kho dữ liệu không ngừng phát triển và không thể đoán trước được truy vấn mà người dùng sẽ đăng trong tương lai. Do đó, việc điều chỉnh hệ thống kho dữ liệu trở nên khó khăn hơn. Trong chương này, chúng ta sẽ thảo luận về cách điều chỉnh các khía cạnh khác nhau của kho dữ liệu như hiệu suất, tải dữ liệu, truy vấn, v.v.

Khó khăn trong việc điều chỉnh kho dữ liệu

Điều chỉnh kho dữ liệu là một thủ tục khó khăn do những lý do sau:

• Kho dữ liệu là động; nó không bao giờ bất biến.

• Rất khó dự đoán truy vấn mà người dùng sẽ đăng trong tương lai.

• Yêu cầu kinh doanh thay đổi theo thời gian.

• Người dùng và hồ sơ của họ liên tục thay đổi.

• Người dùng có thể chuyển từ nhóm này sang nhóm khác.

• Tải dữ liệu về kho cũng thay đổi theo thời gian.

Note - Có kiến ​​thức đầy đủ về kho dữ liệu là rất quan trọng.

Đánh giá hiệu suất

Dưới đây là danh sách các thước đo khách quan về hiệu suất -

• Thời gian phản hồi truy vấn trung bình
• Tốc độ quét
• Thời gian sử dụng mỗi ngày truy vấn
• Sử dụng bộ nhớ cho mỗi quá trình
• Tỷ lệ thông lượng I / O

Sau đây là những điểm cần nhớ.

• Cần nêu rõ các biện pháp trong thỏa thuận mức dịch vụ (SLA).

• Việc cố gắng điều chỉnh thời gian phản hồi sẽ chẳng có ích gì nếu chúng đã tốt hơn yêu cầu.

• Điều cần thiết là phải có những kỳ vọng thực tế trong khi đánh giá hiệu suất.

• Điều quan trọng nữa là người dùng phải có những kỳ vọng khả thi.

• Để che giấu sự phức tạp của hệ thống với người dùng, nên sử dụng các tập hợp và chế độ xem.

• Cũng có thể người dùng có thể viết một truy vấn mà bạn chưa điều chỉnh.

Điều chỉnh tải dữ liệu

Tải dữ liệu là một phần quan trọng của quá trình xử lý qua đêm. Không có gì khác có thể chạy cho đến khi quá trình tải dữ liệu hoàn tất. Đây là điểm vào hệ thống.

Note- Nếu có sự chậm trễ trong việc truyền dữ liệu, hoặc dữ liệu đến thì toàn bộ hệ thống sẽ bị ảnh hưởng nặng nề. Do đó, điều rất quan trọng là phải điều chỉnh tải dữ liệu trước.

Có nhiều cách tiếp cận khác nhau để điều chỉnh tải dữ liệu được thảo luận bên dưới:

• Cách tiếp cận rất phổ biến là chèn dữ liệu bằng cách sử dụng SQL Layer. Trong cách tiếp cận này, các kiểm tra và ràng buộc thông thường cần được thực hiện. Khi dữ liệu được chèn vào bảng, mã sẽ chạy để kiểm tra xem có đủ không gian để chèn dữ liệu hay không. Nếu không có đủ dung lượng thì có thể phải phân bổ thêm dung lượng cho các bảng này. Các kiểm tra này cần thời gian để thực hiện và tốn kém cho CPU.

• Cách tiếp cận thứ hai là bỏ qua tất cả các kiểm tra và ràng buộc này và đặt dữ liệu trực tiếp vào các khối được định dạng sẵn. Các khối này sau đó được ghi vào cơ sở dữ liệu. Nó nhanh hơn so với cách tiếp cận đầu tiên, nhưng nó chỉ có thể hoạt động với toàn bộ khối dữ liệu. Điều này có thể dẫn đến một số lãng phí không gian.

• Cách tiếp cận thứ ba là trong khi tải dữ liệu vào bảng đã chứa bảng, chúng ta có thể duy trì các chỉ mục.

• Cách tiếp cận thứ tư nói rằng để tải dữ liệu trong các bảng đã chứa dữ liệu, drop the indexes & recreate themkhi quá trình tải dữ liệu hoàn tất. Sự lựa chọn giữa cách tiếp cận thứ ba và thứ tư phụ thuộc vào lượng dữ liệu đã được tải và bao nhiêu chỉ mục cần được xây dựng lại.

Kiểm tra tính toàn vẹn

Kiểm tra tính toàn vẹn ảnh hưởng nhiều đến hiệu suất của tải. Sau đây là những điểm cần nhớ:

• Kiểm tra tính toàn vẹn cần được hạn chế vì chúng đòi hỏi sức mạnh xử lý lớn.

• Kiểm tra tính toàn vẹn nên được áp dụng trên hệ thống nguồn để tránh làm giảm hiệu suất của tải dữ liệu.

Truy vấn điều chỉnh

Chúng tôi có hai loại truy vấn trong kho dữ liệu -

• Truy vấn cố định
• Truy vấn đặc biệt

Truy vấn cố định

Các truy vấn cố định được xác định rõ. Sau đây là các ví dụ về truy vấn cố định -

• báo cáo thường xuyên
• Truy vấn soạn trước
• Tổng hợp chung

Việc điều chỉnh các truy vấn cố định trong kho dữ liệu cũng giống như trong hệ thống cơ sở dữ liệu quan hệ. Sự khác biệt duy nhất là lượng dữ liệu được truy vấn có thể khác nhau. Nó là tốt để lưu trữ kế hoạch thực thi thành công nhất trong khi thử nghiệm các truy vấn cố định. Việc lưu trữ kế hoạch thực thi này sẽ cho phép chúng tôi phát hiện kích thước dữ liệu thay đổi và độ lệch dữ liệu, vì nó sẽ khiến kế hoạch thực thi thay đổi.

Note - Chúng ta không thể làm được nhiều hơn trên bảng thực tế nhưng trong khi xử lý các bảng thứ nguyên hoặc tổng hợp, bộ sưu tập thông thường về tinh chỉnh SQL, cơ chế lưu trữ và phương thức truy cập có thể được sử dụng để điều chỉnh các truy vấn này.

Truy vấn đặc biệt

Để hiểu các truy vấn đặc biệt, điều quan trọng là phải biết những người dùng đặc biệt của kho dữ liệu. Đối với mỗi người dùng hoặc nhóm người dùng, bạn cần biết những điều sau:

• Số lượng người dùng trong nhóm
• Liệu họ có sử dụng các truy vấn đặc biệt trong khoảng thời gian đều đặn hay không
• Liệu họ có thường xuyên sử dụng các truy vấn đặc biệt hay không
• Liệu họ có thỉnh thoảng sử dụng các truy vấn đặc biệt vào những khoảng thời gian không xác định hay không.
• Kích thước truy vấn tối đa mà chúng có xu hướng chạy
• Kích thước trung bình của truy vấn mà họ có xu hướng chạy
• Liệu chúng có yêu cầu quyền truy cập chi tiết vào dữ liệu cơ sở hay không
• Thời gian đăng nhập đã trôi qua mỗi ngày
• Thời gian cao điểm của việc sử dụng hàng ngày
• Số lượng truy vấn họ chạy mỗi giờ cao điểm

Points to Note

• Điều quan trọng là phải theo dõi hồ sơ của người dùng và xác định các truy vấn được chạy một cách thường xuyên.

• Điều quan trọng nữa là việc điều chỉnh được thực hiện không ảnh hưởng đến hiệu suất.

• Xác định các truy vấn tương tự và đặc biệt thường được chạy.

• Nếu các truy vấn này được xác định, thì cơ sở dữ liệu sẽ thay đổi và các chỉ mục mới có thể được thêm vào cho các truy vấn đó.

• Nếu các truy vấn này được xác định, thì các tổng hợp mới có thể được tạo riêng cho các truy vấn đó để thực thi hiệu quả.

Kiểm tra là rất quan trọng đối với hệ thống kho dữ liệu để làm cho chúng hoạt động chính xác và hiệu quả. Có ba cấp độ thử nghiệm cơ bản được thực hiện trên kho dữ liệu -

• Kiểm tra đơn vị
• Thử nghiệm hội nhập
• Thử nghiệm hệ thống

Kiểm tra đơn vị

• Trong thử nghiệm đơn vị, mỗi thành phần được thử nghiệm riêng biệt.

• Mỗi mô-đun, tức là, thủ tục, chương trình, SQL Script, Unix shell đều được kiểm tra.

• Thử nghiệm này được thực hiện bởi nhà phát triển.

Thử nghiệm hội nhập

• Trong thử nghiệm tích hợp, các mô-đun khác nhau của ứng dụng được tập hợp lại với nhau và sau đó được kiểm tra dựa trên số lượng đầu vào.

• Nó được thực hiện để kiểm tra xem các thành phần khác nhau có hoạt động tốt hay không sau khi tích hợp.

Thử nghiệm hệ thống

• Trong thử nghiệm hệ thống, toàn bộ ứng dụng kho dữ liệu được thử nghiệm cùng nhau.

• Mục đích của kiểm thử hệ thống là để kiểm tra xem toàn bộ hệ thống có hoạt động chính xác với nhau hay không.

• Kiểm thử hệ thống được thực hiện bởi nhóm kiểm thử.

• Vì quy mô của toàn bộ kho dữ liệu là rất lớn, nên thường có thể thực hiện thử nghiệm hệ thống tối thiểu trước khi kế hoạch thử nghiệm được ban hành.

Lịch kiểm tra

Trước hết, lịch trình kiểm tra được tạo ra trong quá trình phát triển kế hoạch kiểm tra. Trong lịch trình này, chúng tôi dự đoán thời gian ước tính cần thiết cho việc kiểm tra toàn bộ hệ thống kho dữ liệu.

Có nhiều phương pháp khác nhau để tạo lịch kiểm tra, nhưng không có phương pháp nào là hoàn hảo vì kho dữ liệu rất phức tạp và lớn. Ngoài ra, hệ thống kho dữ liệu đang phát triển về bản chất. Một người có thể gặp phải các vấn đề sau trong khi tạo lịch kiểm tra:

• Một vấn đề đơn giản có thể có kích thước lớn của truy vấn có thể mất một ngày hoặc hơn để hoàn thành, tức là, truy vấn không hoàn thành trong một quy mô thời gian mong muốn.

• Có thể có lỗi phần cứng như mất đĩa hoặc lỗi do con người như vô tình xóa bảng hoặc ghi đè lên một bảng lớn.

Note - Do những khó khăn nêu trên, bạn nên luôn tăng gấp đôi lượng thời gian mà bạn thường cho phép để kiểm tra.

Kiểm tra khôi phục sao lưu

Kiểm tra chiến lược khôi phục sao lưu là cực kỳ quan trọng. Dưới đây là danh sách các tình huống mà thử nghiệm này là cần thiết -

• Lỗi phương tiện
• Mất hoặc hư hỏng không gian bảng hoặc tệp dữ liệu
• Mất hoặc hỏng tệp nhật ký làm lại
• Mất hoặc hư hỏng tệp điều khiển
• Lỗi phiên bản
• Mất hoặc hư hỏng tệp lưu trữ
• Mất hoặc hư hỏng bàn
• Lỗi trong khi dữ liệu bị lỗi

Kiểm tra môi trường hoạt động

Có một số khía cạnh cần được kiểm tra. Những khía cạnh này được liệt kê dưới đây.

• Security- Cần có một tài liệu bảo mật riêng để kiểm tra bảo mật. Tài liệu này chứa danh sách các hoạt động không được phép và đưa ra các bài kiểm tra cho từng hoạt động.

• Scheduler- Cần có phần mềm lập lịch để kiểm soát các hoạt động hàng ngày của kho dữ liệu. Nó cần được kiểm tra trong quá trình kiểm tra hệ thống. Phần mềm lập lịch yêu cầu phải có giao diện với kho dữ liệu, phần mềm này sẽ cần bộ lập lịch để kiểm soát quá trình xử lý qua đêm và quản lý các tổng hợp.

• Disk Configuration.- Cấu hình đĩa cũng cần được kiểm tra để xác định các tắc nghẽn I / O. Thử nghiệm nên được thực hiện nhiều lần với các cài đặt khác nhau.

• Management Tools.- Yêu cầu kiểm tra tất cả các công cụ quản lý trong quá trình kiểm thử hệ thống. Dưới đây là danh sách các công cụ cần được kiểm tra.

  • Quản lý sự kiện
  • Quản lý hệ thống
  • Quản lý cơ sở dữ liệu
  • Quản lý cấu hình
  • Trình quản lý khôi phục sao lưu

Kiểm tra cơ sở dữ liệu

Cơ sở dữ liệu được kiểm tra theo ba cách sau:

• Testing the database manager and monitoring tools - Để kiểm tra trình quản lý cơ sở dữ liệu và các công cụ giám sát, chúng nên được sử dụng trong việc tạo, chạy và quản lý cơ sở dữ liệu thử nghiệm.

• Testing database features - Đây là danh sách các tính năng mà chúng tôi phải thử nghiệm -

  • Truy vấn song song

  • Tạo chỉ mục song song

  • Tải dữ liệu song song

• Testing database performance- Thực thi truy vấn đóng một vai trò rất quan trọng trong các thước đo hiệu suất của kho dữ liệu. Có những tập hợp các truy vấn cố định cần được chạy thường xuyên và chúng cần được kiểm tra. Để kiểm tra các truy vấn đặc biệt, người ta nên xem qua tài liệu yêu cầu của người dùng và hiểu hoàn toàn về doanh nghiệp. Hãy dành thời gian để kiểm tra các truy vấn khó xử nhất mà doanh nghiệp có thể yêu cầu so với các chiến lược chỉ mục và tổng hợp khác nhau.

Kiểm tra ứng dụng

• Tất cả các trình quản lý phải được tích hợp một cách chính xác và hoạt động để đảm bảo rằng tải từ đầu đến cuối, chỉ mục, tổng hợp và truy vấn hoạt động như mong đợi.

• Mỗi chức năng của mỗi người quản lý phải hoạt động chính xác

• Nó cũng cần thiết để kiểm tra ứng dụng trong một khoảng thời gian.

• Các nhiệm vụ cuối tuần và cuối tháng cũng nên được kiểm tra.

Hậu cần của bài kiểm tra

Mục đích của kiểm tra hệ thống là kiểm tra tất cả các lĩnh vực sau:

• Phần mềm lập lịch
• Quy trình hoạt động hàng ngày
• Chiến lược khôi phục sao lưu
• Công cụ quản lý và lập lịch trình
• Xử lý qua đêm
• Hiệu suất truy vấn

Note- Điểm quan trọng nhất là kiểm tra khả năng mở rộng. Nếu không làm như vậy sẽ để lại cho chúng ta một thiết kế hệ thống không hoạt động khi hệ thống phát triển.

Sau đây là các khía cạnh trong tương lai của kho dữ liệu.

• Như chúng ta đã thấy rằng kích thước của cơ sở dữ liệu mở đã tăng gần gấp đôi trong vài năm qua, điều đó cho thấy giá trị đáng kể mà nó chứa đựng.

• Khi kích thước của cơ sở dữ liệu ngày càng lớn, các ước tính về những gì tạo nên một cơ sở dữ liệu rất lớn sẽ tiếp tục phát triển.

• Phần cứng và phần mềm hiện có không cho phép giữ một lượng lớn dữ liệu trực tuyến. Ví dụ: bản ghi cuộc gọi Telco yêu cầu 10TB dữ liệu được lưu trực tuyến, chỉ bằng một bản ghi của một tháng. Nếu nó yêu cầu lưu giữ hồ sơ bán hàng, khách hàng tiếp thị, nhân viên, v.v., thì kích thước sẽ lớn hơn 100 TB.

• Bản ghi chứa thông tin văn bản và một số dữ liệu đa phương tiện. Dữ liệu đa phương tiện không thể dễ dàng thao tác như dữ liệu văn bản. Tìm kiếm dữ liệu đa phương tiện không phải là một nhiệm vụ dễ dàng, trong khi thông tin dạng văn bản có thể được truy xuất bằng phần mềm quan hệ hiện nay.

• Ngoài việc lập kế hoạch kích thước, việc xây dựng và vận hành các hệ thống kho dữ liệu ngày càng tăng về quy mô rất phức tạp. Khi số lượng người dùng tăng lên, quy mô của kho dữ liệu cũng tăng lên. Những người dùng này cũng sẽ yêu cầu truy cập hệ thống.

• Với sự phát triển của Internet, đòi hỏi người dùng phải truy cập dữ liệu trực tuyến.

Do đó, hình dạng trong tương lai của kho dữ liệu sẽ rất khác so với những gì đang được tạo ra ngày nay.