데이터 웨어하우징의 몇 가지 기본 개념에 대한 심층 분석,

데이터웨어 하우스

우선, 데이터 웨어하우스란 무엇입니까?

정보의 중앙 저장소.

데이터 웨어하우스는 정교한 분석 및 보고를 지원하기 위해 여러 이기종 소스의 데이터를 중앙 데이터 저장소로 통합하고 집계합니다.

데이터 및 분석은 모든 비즈니스의 핵심을 형성합니다. 기업은 분석 도구, 대시보드 및 보고서에 의존하여 데이터에서 통찰력을 얻고, 비즈니스 성과를 모니터링 및 예측하고, 의사 결정을 지원합니다. 데이터 웨어하우스를 사용하면 막대한 양의 데이터에 대해 이러한 강력한 분석을 효율적으로 실행할 수 있습니다 .

데이터 웨어하우스 아키텍처

일반적인 데이터 웨어하우스는 일반적으로 세 개의 계층으로 구성됩니다.

하위 계층: 다양한 소스에서 수집된 데이터를 수집, 정리 및 변환하는 데이터 웨어하우스 서버. 이는 ETL (추출, 변환 및 로드)이라는 프로세스 또는 ELT 프로세스(추출, 로드 및 변환)를 통해 수행됩니다.

중간 계층: OLAP 서버 는 데이터베이스의 추상화된 보기를 제공하여 빠른 쿼리 속도를 가능하게 합니다.

최상위 계층: 사용자가 데이터에 대한 분석을 수행할 수 있도록 하는 프런트 엔드 사용자 인터페이스 또는 보고 도구입니다.

데이터 웨어하우스의 스키마

스키마는 본질적으로 데이터가 데이터베이스 또는 데이터 웨어하우스 내에서 구성되는 형식입니다.

데이터 웨어하우스의 스키마를 살펴보기 전에 먼저 한 가지를 이해해야 합니다.

팩트 및 차원 테이블

팩트 테이블 은 특정 형태의 계산을 수행할 수 있는 일부 양적 메트릭 (측정값) 과 함께 참조된 차원 테이블 의 기본 키 를 보유하는 테이블입니다. 팩트 테이블의 몇 가지 예는 주문 로그, 시계열 금융 데이터 등 입니다.

차원 테이블 은 팩트 테이블 레코드에 있는 관련 필드에 대한 설명 정보 를 보유 합니다. 차원 테이블의 가장 일반적인 예는 일반적인 Customer 및 Product 테이블입니다.

실제 매장에서 제품을 구매하는 고객의 예를 고려해 보겠습니다.

차원 테이블(파란색)에는 제품 , 날짜 , 고객 및 상점 에 대한 정보가 포함되어 있습니다 .

팩트 테이블(노란색)에는 팩트 테이블( customer_id, product_id, store_id 및 date_id )의 외래 키인 차원 테이블의 모든 기본 키가 포함 됩니다. 또한 수량 및 양과 같은 정량적 측정값도 포함 합니다.

데이터 웨어하우스 스키마로 돌아가서

DW 스키마에는 두 가지 유형이 있습니다.

스타 스키마

가장 일반적인 유형의 스키마인 스타 스키마는 여러 개의 비정규화 된 차원 테이블에 연결된 하나의 팩트 테이블로 구성됩니다. 이것은 가장 단순한 스키마이며 사용자는 더 빠른 쿼리 속도의 이점을 누릴 수 있습니다.

아래의 예를 살펴보겠습니다.

여기에서 팩트 테이블인 Orders 테이블은 Customer, Employee, Items, Warehouse 및 Date 라는 5개의 차원 테이블에 추가로 연결됩니다 .

눈송이 스키마

스키마의 두 번째 유형인 눈송이 스키마는 여러 정규화된 차원 테이블에 연결된 하나의 팩트 테이블로 구성되며 차원 테이블에는 하위 테이블 이 더 있습니다 . 널리 채택되지는 않았지만 눈송이 스키마는 낮은 수준의 중복성에 매우 유용하지만 쿼리 성능이 저하됩니다.

위와 동일한 예를 살펴보겠습니다. 그러나 눈송이 스키마의 경우 다음과 같이 표시됩니다.

여기에서 팩트 테이블인 Orders 테이블은 Customer, Employee, Items, Warehouse 및 Date 라는 5개의 차원 테이블에 추가로 연결됩니다 . 일부 차원 테이블은 더 정규화되고 하위 테이블이 있습니다. Employee 테이블에는 Gender 및 Office 라는 두 개의 하위 테이블 이 있고 Items에는 Color 등 의 하위 테이블이 있습니다.

데이터 웨어하우스의 이점

데이터 웨어하우스의 주요 이점은 다음과 같습니다.

• 현명한 의사 결정 가능 : 데이터 웨어하우스는 데이터 마이닝(데이터에서 보이지 않는 패턴 또는 관계 찾기), 기계 학습(다음 분기 매출 예측 등) 및 기타 데이터 분석과 같은 대규모 BI 기능을 지원합니다. 전문가는 재무 예측 및 비즈니스 처리에서 재고 관리에 이르기까지 비즈니스의 모든 측면에서 의사 결정을 지원하기 위해 확실한 증거를 수집합니다.
• 더 나은 데이터 품질: 트랜잭션 시스템, 관계형 데이터베이스 및 플랫 파일과 같은 여러 이기종 소스의 데이터가 수집, 정리 및 표준화되어 중복을 제거하고 신뢰할 수 있는 단일 소스를 형성합니다.
• 트랜잭션 데이터베이스에서 분석 처리 분리 : 트랜잭션 시스템을 사용하면 일상적인 트랜잭션을 대규모로 신속하게 처리할 수 있으며 데이터 웨어하우스는 대용량 데이터에 대한 강력한 분석을 실행하는 데 도움이 됩니다. 둘은 서로 다른 목적을 가지고 있으므로 둘을 분리하면 둘 다의 성능을 향상시키는 데 도움이 됩니다. 더 잘 이해하려면 이것을 확인 하십시오 .

프라치 싱

Morgan Stanley의 기술 어소시에이트

링크드인 | 트위터