DW - Обзор
Хранилище данных известно как центральный репозиторий для хранения данных из одного или нескольких разнородных источников данных. Хранилище данных используется для составления отчетов и анализа информации и хранит как исторические, так и текущие данные. Данные в системе DW используются для аналитической отчетности, которая позже используется бизнес-аналитиками, менеджерами по продажам или специалистами по информационным технологиям для принятия решений.
Данные в систему DW загружаются из операционной системы транзакций, такой как продажи, маркетинг, HR, SCM и т. Д. Они могут проходить через хранилище операционных данных или другие преобразования, прежде чем они будут загружены в систему DW для обработки информации.
Хранилище данных - основные характеристики
Ключевые особенности системы DW:
Это центральное хранилище данных, в котором данные хранятся из одного или нескольких разнородных источников данных.
Система DW хранит как текущие, так и исторические данные. Обычно система DW хранит исторические данные за 5-10 лет.
Система DW всегда хранится отдельно от операционной системы транзакций.
Данные в системе DW используются для различных типов аналитической отчетности от квартального до годового сравнения.
Необходимость системы DW
Предположим, у вас есть агентство жилищного кредитования, в которое данные поступают из различных приложений, таких как маркетинг, продажи, ERP, HRM, MM и т. Д. Эти данные извлекаются, преобразуются и загружаются в хранилище данных.
Например, если вам нужно сравнить квартальные / годовые продажи продукта, вы не можете использовать оперативную базу данных транзакций, поскольку это приведет к зависанию системы транзакций. Поэтому для этой цели используется хранилище данных.
Разница между DW и ODB
Различия между хранилищем данных и оперативной базой данных (транзакционной базой данных) заключаются в следующем:
Транзакционная система предназначена для известных рабочих нагрузок и транзакций, таких как обновление записи пользователя, поиск записи и т. Д. Однако транзакции хранилища данных более сложны и представляют собой общую форму данных.
Транзакционная система содержит текущие данные организации, а хранилище данных обычно содержит исторические данные.
Транзакционная система поддерживает параллельную обработку нескольких транзакций. Механизмы управления параллелизмом и восстановления необходимы для поддержания согласованности базы данных.
Операционный запрос к базе данных позволяет читать и изменять операции (удаление и обновление), в то время как для запроса OLAP требуется только доступ только для чтения к сохраненным данным (оператор Select).
Архитектура DW
Хранилище данных включает в себя очистку данных, интеграцию данных и консолидацию данных.
Хранилище данных имеет трехуровневую архитектуру - Data Source Layer, Integration Layer, и Presentation Layer. На приведенной выше иллюстрации показана общая архитектура системы хранилища данных.