Kho dữ liệu - Người quản lý quy trình
Người quản lý quy trình chịu trách nhiệm duy trì luồng dữ liệu cả vào và ra khỏi kho dữ liệu. Có ba loại trình quản lý quy trình khác nhau -
- Quản lý tải
- Quản lý kho
- Quản lý truy vấn
Trình quản lý tải kho dữ liệu
Trình quản lý tải thực hiện các hoạt động cần thiết để trích xuất và tải dữ liệu vào cơ sở dữ liệu. Quy mô và độ phức tạp của trình quản lý tải khác nhau giữa các giải pháp cụ thể từ kho dữ liệu này sang kho dữ liệu khác.
Kiến trúc quản lý tải
Trình quản lý tải thực hiện các chức năng sau:
Trích xuất dữ liệu từ hệ thống nguồn.
Tải nhanh dữ liệu đã trích xuất vào kho dữ liệu tạm thời.
Thực hiện các phép biến đổi đơn giản thành cấu trúc tương tự như cấu trúc trong kho dữ liệu.
Trích xuất dữ liệu từ nguồn
Dữ liệu được trích xuất từ cơ sở dữ liệu hoạt động hoặc các nhà cung cấp thông tin bên ngoài. Cổng là các chương trình ứng dụng được sử dụng để trích xuất dữ liệu. Nó được hỗ trợ bởi DBMS cơ bản và cho phép chương trình khách tạo SQL được thực thi tại một máy chủ. Kết nối Cơ sở dữ liệu Mở (ODBC) và Kết nối Cơ sở dữ liệu Java (JDBC) là các ví dụ về cổng.
Tải nhanh
Để giảm thiểu cửa sổ tổng tải, dữ liệu cần được tải vào kho trong thời gian nhanh nhất có thể.
Các phép biến đổi ảnh hưởng đến tốc độ xử lý dữ liệu.
Sẽ hiệu quả hơn nếu tải dữ liệu vào cơ sở dữ liệu quan hệ trước khi áp dụng các phép biến đổi và kiểm tra.
Công nghệ Gateway không phù hợp, vì chúng không hiệu quả khi có khối lượng dữ liệu lớn.
Biến đổi đơn giản
Trong khi tải, nó có thể được yêu cầu thực hiện các phép biến đổi đơn giản. Sau khi hoàn thành các phép biến đổi đơn giản, chúng ta có thể kiểm tra phức tạp. Giả sử chúng tôi đang tải giao dịch bán EPOS, chúng tôi cần thực hiện các kiểm tra sau:
- Loại bỏ tất cả các cột không cần thiết trong nhà kho.
- Chuyển đổi tất cả các giá trị thành kiểu dữ liệu bắt buộc.
Quản lý kho
Người quản lý kho chịu trách nhiệm về quá trình quản lý kho. Nó bao gồm một phần mềm hệ thống của bên thứ ba, các chương trình C và các tập lệnh shell. Quy mô và độ phức tạp của người quản lý kho khác nhau giữa các giải pháp cụ thể.
Kiến trúc quản lý kho
Người quản lý kho bao gồm những điều sau đây:
- Quá trình kiểm soát
- Các thủ tục được lưu trữ hoặc C với SQL
- Công cụ sao lưu / phục hồi
- Tập lệnh SQL
Chức năng của Quản lý kho
Người quản lý kho thực hiện các chức năng sau:
Phân tích dữ liệu để thực hiện kiểm tra tính nhất quán và tính toàn vẹn tham chiếu.
Tạo chỉ mục, chế độ xem kinh doanh, chế độ xem phân vùng dựa trên dữ liệu cơ sở.
Tạo tổng hợp mới và cập nhật các tổng hợp hiện có.
Tạo chuẩn hóa.
Chuyển đổi và hợp nhất dữ liệu nguồn của kho tạm vào kho dữ liệu đã xuất bản.
Sao lưu dữ liệu trong kho dữ liệu.
Lưu trữ dữ liệu đã hết thời gian lưu trữ.
Note - Người quản lý kho phân tích hồ sơ truy vấn để xác định xem chỉ mục và các tổng hợp có phù hợp hay không.
Trình quản lý truy vấn
Trình quản lý truy vấn chịu trách nhiệm hướng các truy vấn đến các bảng phù hợp. Bằng cách hướng các truy vấn đến các bảng thích hợp, nó tăng tốc quá trình phản hồi và yêu cầu truy vấn. Ngoài ra, trình quản lý truy vấn chịu trách nhiệm lên lịch thực hiện các truy vấn do người dùng đăng.
Kiến trúc trình quản lý truy vấn
Trình quản lý truy vấn bao gồm các thành phần sau:
- Chuyển hướng truy vấn thông qua công cụ C hoặc RDBMS
- Thủ tục lưu trữ
- Công cụ quản lý truy vấn
- Lập lịch truy vấn thông qua công cụ C hoặc RDBMS
- Lập lịch truy vấn thông qua phần mềm của bên thứ ba
Chức năng của Trình quản lý truy vấn
Nó trình bày dữ liệu cho người dùng dưới dạng họ hiểu.
Nó lên lịch thực hiện các truy vấn được đăng bởi người dùng cuối.
Nó lưu trữ các hồ sơ truy vấn để cho phép người quản lý kho xác định chỉ mục và tổng hợp nào là phù hợp.