Kho dữ liệu - Kiến trúc

Trong chương này, chúng ta sẽ thảo luận về khung phân tích nghiệp vụ cho thiết kế và kiến ​​trúc kho dữ liệu của một kho dữ liệu.

Khung phân tích kinh doanh

Nhà phân tích kinh doanh lấy thông tin từ các kho dữ liệu để đo lường hiệu suất và thực hiện các điều chỉnh quan trọng nhằm thu phục các chủ doanh nghiệp khác trên thị trường. Có một kho dữ liệu mang lại những lợi ích sau:

• Vì kho dữ liệu có thể thu thập thông tin nhanh chóng và hiệu quả, nó có thể nâng cao năng suất kinh doanh.

• Kho dữ liệu cung cấp cho chúng tôi một cái nhìn nhất quán về khách hàng và các mặt hàng, do đó, nó giúp chúng tôi quản lý mối quan hệ với khách hàng.

• Kho dữ liệu cũng giúp giảm chi phí bằng cách theo dõi các xu hướng, các mẫu trong một thời gian dài một cách nhất quán và đáng tin cậy.

Để thiết kế một kho dữ liệu hiệu quả và hiệu quả, chúng ta cần hiểu và phân tích các nhu cầu kinh doanh và xây dựng business analysis framework. Mỗi người có quan điểm khác nhau về việc thiết kế kho dữ liệu. Các quan điểm này như sau:

• The top-down view - Chế độ xem này cho phép lựa chọn thông tin liên quan cần thiết cho một kho dữ liệu.

• The data source view - Dạng xem này trình bày thông tin được hệ thống vận hành thu thập, lưu trữ và quản lý.

• The data warehouse view- Dạng xem này bao gồm các bảng dữ kiện và bảng kích thước. Nó đại diện cho thông tin được lưu trữ bên trong kho dữ liệu.

• The business query view - Đó là cái nhìn của dữ liệu từ quan điểm của người dùng cuối.

Kiến trúc kho dữ liệu ba tầng

Nói chung, kho dữ liệu áp dụng kiến ​​trúc ba tầng. Sau đây là ba cấp của kiến ​​trúc kho dữ liệu.

• Bottom Tier- Tầng dưới cùng của kiến ​​trúc là máy chủ cơ sở dữ liệu kho dữ liệu. Nó là hệ thống cơ sở dữ liệu quan hệ. Chúng tôi sử dụng các công cụ và tiện ích back end để cung cấp dữ liệu vào tầng dưới cùng. Các công cụ và tiện ích back end này thực hiện các chức năng Extract, Clean, Load và refresh.

• Middle Tier - Ở tầng giữa, chúng ta có Máy chủ OLAP có thể được triển khai theo một trong hai cách sau.

  • Bằng OLAP quan hệ (ROLAP), là một hệ quản trị cơ sở dữ liệu quan hệ mở rộng. ROLAP ánh xạ các phép toán trên dữ liệu đa chiều với các phép toán quan hệ chuẩn.

  • Bằng mô hình OLAP đa chiều (MOLAP), mô hình này trực tiếp triển khai dữ liệu và hoạt động đa chiều.

• Top-Tier- Tầng này là tầng máy khách front-end. Lớp này chứa các công cụ truy vấn và công cụ báo cáo, công cụ phân tích và công cụ khai thác dữ liệu.

Sơ đồ sau mô tả kiến ​​trúc ba tầng của kho dữ liệu:

Mô hình kho dữ liệu

Từ quan điểm của kiến ​​trúc kho dữ liệu, chúng ta có các mô hình kho dữ liệu sau:

• Kho ảo
• Dữ liệu Mart
• Kho Doanh nghiệp

Kho ảo

Chế độ xem trên một kho dữ liệu hoạt động được gọi là một kho ảo. Rất dễ dàng để xây dựng một nhà kho ảo. Việc xây dựng một kho ảo đòi hỏi dung lượng dư thừa trên các máy chủ cơ sở dữ liệu đang hoạt động.

Dữ liệu Mart

Data mart chứa tập hợp con dữ liệu trong toàn tổ chức. Tập hợp con dữ liệu này có giá trị đối với các nhóm cụ thể của một tổ chức.

Nói cách khác, chúng tôi có thể khẳng định rằng data mart chứa dữ liệu cụ thể cho một nhóm cụ thể. Ví dụ: siêu thị dữ liệu tiếp thị có thể chứa dữ liệu liên quan đến các mặt hàng, khách hàng và doanh số bán hàng. Marts dữ liệu được giới hạn cho các đối tượng.

Những điểm cần nhớ về data marts -

• Các máy chủ dựa trên Window hoặc Unix / Linux được sử dụng để triển khai các data mart. Chúng được thực hiện trên các máy chủ chi phí thấp.

• Các chu kỳ của kho dữ liệu thực hiện được đo lường trong khoảng thời gian ngắn, tức là tính theo tuần chứ không phải tháng hoặc năm.

• Vòng đời của một trung tâm dữ liệu có thể phức tạp về lâu dài, nếu việc lập kế hoạch và thiết kế của nó không phù hợp với toàn tổ chức.

• Data mart có kích thước nhỏ.

• Marts dữ liệu được tùy chỉnh theo bộ phận.

• Nguồn của data mart là kho dữ liệu có cấu trúc theo bộ phận.

• Data mart rất linh hoạt.

Kho Doanh nghiệp

• Một kho doanh nghiệp thu thập tất cả các thông tin và các chủ đề trong toàn bộ tổ chức

• Nó cung cấp cho chúng tôi tích hợp dữ liệu toàn doanh nghiệp.

• Dữ liệu được tích hợp từ các hệ thống vận hành và các nhà cung cấp thông tin bên ngoài.

• Thông tin này có thể thay đổi từ vài gigabyte đến hàng trăm gigabyte, terabyte hoặc hơn thế nữa.

Quản lý tải

Thành phần này thực hiện các hoạt động cần thiết để giải nén và tải quá trình.

Quy mô và độ phức tạp của trình quản lý tải khác nhau giữa các giải pháp cụ thể từ kho dữ liệu này sang kho dữ liệu khác.

Kiến trúc quản lý tải

Bộ quản lý tải thực hiện các chức năng sau:

• Trích xuất dữ liệu từ hệ thống nguồn.

• Tải nhanh dữ liệu đã trích xuất vào kho dữ liệu tạm thời.

• Thực hiện các phép biến đổi đơn giản thành cấu trúc tương tự như cấu trúc trong kho dữ liệu.

Trích xuất dữ liệu từ nguồn

Dữ liệu được trích xuất từ ​​cơ sở dữ liệu hoạt động hoặc các nhà cung cấp thông tin bên ngoài. Gateways là các chương trình ứng dụng được sử dụng để trích xuất dữ liệu. Nó được hỗ trợ bởi DBMS cơ bản và cho phép chương trình khách hàng tạo SQL được thực thi tại một máy chủ. Kết nối cơ sở dữ liệu mở (ODBC), Kết nối cơ sở dữ liệu Java (JDBC), là các ví dụ về cổng.

Tải nhanh

• Để giảm thiểu tổng cửa sổ tải dữ liệu cần được tải vào kho trong thời gian nhanh nhất có thể.

• Các phép biến đổi ảnh hưởng đến tốc độ xử lý dữ liệu.

• Sẽ hiệu quả hơn nếu tải dữ liệu vào cơ sở dữ liệu quan hệ trước khi áp dụng các phép biến đổi và kiểm tra.

• Công nghệ Gateway được chứng minh là không phù hợp, vì chúng có xu hướng không hoạt động khi có khối lượng dữ liệu lớn.

Biến đổi đơn giản

Trong khi tải, nó có thể được yêu cầu thực hiện các phép biến đổi đơn giản. Sau khi điều này được hoàn thành, chúng tôi đã sẵn sàng để thực hiện các kiểm tra phức tạp. Giả sử chúng tôi đang tải giao dịch bán EPOS, chúng tôi cần thực hiện các kiểm tra sau:

• Loại bỏ tất cả các cột không cần thiết trong nhà kho.
• Chuyển đổi tất cả các giá trị thành kiểu dữ liệu bắt buộc.

Quản lý kho

Người quản lý kho chịu trách nhiệm về quy trình quản lý kho. Nó bao gồm phần mềm hệ thống của bên thứ ba, chương trình C và tập lệnh shell.

Quy mô và độ phức tạp của người quản lý kho khác nhau giữa các giải pháp cụ thể.

Kiến trúc quản lý kho

Người quản lý kho bao gồm những điều sau đây:

• Quá trình kiểm soát
• Các thủ tục được lưu trữ hoặc C với SQL
• Công cụ sao lưu / phục hồi
• Tập lệnh SQL

Hoạt động do Quản lý kho thực hiện

• Người quản lý kho phân tích dữ liệu để thực hiện kiểm tra tính nhất quán và tính toàn vẹn tham chiếu.

• Tạo chỉ mục, chế độ xem kinh doanh, chế độ xem phân vùng dựa trên dữ liệu cơ sở.

• Tạo tổng hợp mới và cập nhật các tổng hợp hiện có. Tạo chuẩn hóa.

• Chuyển đổi và hợp nhất dữ liệu nguồn vào kho dữ liệu đã xuất bản.

• Sao lưu dữ liệu trong kho dữ liệu.

• Lưu trữ dữ liệu đã hết thời gian lưu trữ.

Note - Người quản lý kho cũng phân tích hồ sơ truy vấn để xác định chỉ mục và tổng hợp là phù hợp.

Trình quản lý truy vấn

• Trình quản lý truy vấn chịu trách nhiệm hướng các truy vấn đến các bảng phù hợp.

• Bằng cách hướng các truy vấn đến các bảng thích hợp, tốc độ truy vấn và tạo phản hồi có thể được tăng lên.

• Trình quản lý truy vấn chịu trách nhiệm lập lịch thực hiện các truy vấn do người dùng đặt ra.

Kiến trúc trình quản lý truy vấn

Ảnh chụp màn hình sau đây cho thấy kiến ​​trúc của trình quản lý truy vấn. Nó bao gồm những điều sau:

• Chuyển hướng truy vấn thông qua công cụ C hoặc RDBMS
• Thủ tục lưu trữ
• Công cụ quản lý truy vấn
• Lập lịch truy vấn thông qua công cụ C hoặc RDBMS
• Lập lịch truy vấn thông qua phần mềm của bên thứ ba

Thông tin chi tiết

Thông tin chi tiết không được lưu giữ trực tuyến, thay vào đó nó được tổng hợp ở cấp độ chi tiết tiếp theo và sau đó được lưu trữ vào băng. Phần thông tin chi tiết của kho dữ liệu lưu giữ thông tin chi tiết trong lược đồ starflake. Thông tin chi tiết được nạp vào kho dữ liệu để bổ sung cho dữ liệu tổng hợp.

Sơ đồ sau đây cho thấy ấn tượng bằng hình ảnh về nơi thông tin chi tiết được lưu trữ và cách nó được sử dụng.

Note - Nếu thông tin chi tiết được giữ ngoại tuyến để giảm thiểu dung lượng ổ đĩa, chúng ta nên đảm bảo rằng dữ liệu đã được trích xuất, dọn dẹp và chuyển đổi thành giản đồ starflake trước khi nó được lưu trữ.

Thông tin tóm tắt

Tóm tắt Thông tin là một phần của kho dữ liệu lưu trữ các tổng hợp được xác định trước. Các tổng hợp này được tạo ra bởi người quản lý kho. Tóm tắt Thông tin phải được coi là nhất thời. Nó thay đổi khi đang di chuyển để đáp ứng các cấu hình truy vấn đang thay đổi.

Những điểm cần lưu ý về thông tin tóm tắt như sau:

• Thông tin tóm tắt tăng tốc hiệu suất của các truy vấn thông thường.

• Nó làm tăng chi phí hoạt động.

• Nó cần được cập nhật bất cứ khi nào dữ liệu mới được tải vào kho dữ liệu.

• Nó có thể chưa được sao lưu, vì nó có thể được tạo mới từ thông tin chi tiết.