SAP BODS - Hướng dẫn nhanh
Kho dữ liệu được biết đến như một kho lưu trữ trung tâm để lưu trữ dữ liệu từ một hoặc nhiều nguồn dữ liệu không đồng nhất. Kho dữ liệu được sử dụng để báo cáo và phân tích thông tin và lưu trữ cả dữ liệu lịch sử và hiện tại. Dữ liệu trong hệ thống DW được sử dụng cho báo cáo Phân tích, sau này được các Nhà phân tích kinh doanh, Giám đốc bán hàng hoặc Nhân viên tri thức sử dụng để ra quyết định.
Dữ liệu trong hệ thống DW được tải từ một hệ thống giao dịch hoạt động như Bán hàng, Tiếp thị, Nhân sự, SCM, v.v. Nó có thể chuyển qua kho dữ liệu hoạt động hoặc các chuyển đổi khác trước khi được tải vào hệ thống DW để xử lý thông tin.
Kho dữ liệu - Tính năng chính
Các tính năng chính của Hệ thống DW là:
Nó là kho dữ liệu trung tâm, nơi dữ liệu được lưu trữ từ một hoặc nhiều nguồn dữ liệu không đồng nhất.
Hệ thống DW lưu trữ cả dữ liệu hiện tại và dữ liệu lịch sử. Thông thường một hệ thống DW lưu trữ dữ liệu lịch sử từ 5-10 năm.
Một hệ thống DW luôn được giữ riêng biệt với một hệ thống giao dịch hoạt động.
Dữ liệu trong hệ thống DW được sử dụng cho các loại báo cáo phân tích khác nhau, từ so sánh hàng quý đến hàng năm.
Cần một hệ thống DW
Giả sử bạn có một đại lý cho vay mua nhà nơi dữ liệu đến từ nhiều ứng dụng như tiếp thị, bán hàng, ERP, HRM, MM, v.v. Dữ liệu này được trích xuất, chuyển đổi và tải trong Data Warehouse.
Ví dụ: nếu bạn phải so sánh doanh số hàng quý / hàng năm của một sản phẩm, bạn không thể sử dụng cơ sở dữ liệu giao dịch hoạt động, vì điều này sẽ làm treo hệ thống giao dịch. Do đó, một Kho dữ liệu được sử dụng cho mục đích này.
Sự khác biệt giữa DW và ODB
Sự khác biệt giữa Kho dữ liệu và Cơ sở dữ liệu hoạt động (Cơ sở dữ liệu giao dịch) như sau:
Hệ thống Giao dịch được thiết kế cho các khối lượng công việc và giao dịch đã biết như cập nhật hồ sơ người dùng, tìm kiếm hồ sơ, v.v. Tuy nhiên, các giao dịch Kho dữ liệu phức tạp hơn và trình bày dạng dữ liệu chung.
Hệ thống Giao dịch chứa dữ liệu hiện tại của một tổ chức và Kho dữ liệu thường chứa dữ liệu lịch sử.
Hệ thống giao dịch hỗ trợ xử lý song song nhiều giao dịch. Cần có cơ chế kiểm soát và phục hồi đồng thời để duy trì tính nhất quán của cơ sở dữ liệu.
Truy vấn cơ sở dữ liệu Hoạt động cho phép đọc và sửa đổi các hoạt động (xóa và Cập nhật) trong khi truy vấn OLAP chỉ cần quyền truy cập chỉ đọc đối với dữ liệu được lưu trữ (Câu lệnh Chọn).
Kiến trúc DW
Kho dữ liệu liên quan đến việc làm sạch dữ liệu, tích hợp dữ liệu và hợp nhất dữ liệu.
Kho dữ liệu có kiến trúc 3 lớp - Data Source Layer, Integration Layer, và Presentation Layer. Hình minh họa ở trên cho thấy kiến trúc chung của một hệ thống Kho dữ liệu.
Có bốn loại hệ thống Kho dữ liệu.
- Dữ liệu Mart
- Xử lý phân tích trực tuyến (OLAP)
- Xử lý giao dịch trực tuyến (OLTP)
- Phân tích dự đoán (PA)
Dữ liệu Mart
Data Mart được biết đến là hình thức đơn giản nhất của hệ thống Data Warehouse và thường bao gồm một khu vực chức năng duy nhất trong một tổ chức như bán hàng, tài chính hoặc tiếp thị, v.v.
Data Mart trong một tổ chức và được tạo ra và quản lý bởi một bộ phận duy nhất. Vì nó thuộc về một bộ phận duy nhất nên bộ phận này thường chỉ lấy dữ liệu từ một vài hoặc một loại nguồn / ứng dụng. Nguồn này có thể là một hệ thống hoạt động nội bộ, một kho dữ liệu hoặc một hệ thống bên ngoài.
Xử lý phân tích trực tuyến
Trong hệ thống OLAP, số lượng giao dịch ít hơn so với hệ thống giao dịch. Các truy vấn được thực hiện có bản chất phức tạp và liên quan đến việc tổng hợp dữ liệu.
Một tập hợp là gì?
Chúng tôi lưu các bảng với dữ liệu tổng hợp như hàng năm (1 hàng), hàng quý (4 hàng), hàng tháng (12 hàng) hoặc lâu hơn, nếu ai đó phải thực hiện so sánh hàng năm, thì chỉ một hàng sẽ được xử lý. Tuy nhiên, trong một bảng chưa tổng hợp, nó sẽ so sánh tất cả các hàng.
SELECT SUM(salary)
FROM employee
WHERE title = 'Programmer';
Các biện pháp hiệu quả trong hệ thống OLAP
Thời gian phản hồi được coi là một trong những thước đo hiệu quả nhất và quan trọng nhất trong OLAPhệ thống. Dữ liệu được lưu trữ tổng hợp được duy trì trong các lược đồ đa chiều như lược đồ hình sao (Khi dữ liệu được sắp xếp thành các nhóm phân cấp, thường được gọi là thứ nguyên và thành các dữ kiện và sự kiện tổng hợp, nó được gọi là Lược đồ).
Độ trễ của hệ thống OLAP là vài giờ so với các siêu thị dữ liệu trong đó độ trễ dự kiến gần một ngày.
Xử lý giao dịch trực tuyến
Trong hệ thống OLTP, có một số lượng lớn các giao dịch trực tuyến ngắn như CHÈN, CẬP NHẬT và XÓA.
Trong hệ thống OLTP, một thước đo hiệu quả là thời gian xử lý các giao dịch ngắn và rất ít. Nó kiểm soát tính toàn vẹn của dữ liệu trong môi trường đa truy cập. Đối với hệ thống OLTP, số lượng giao dịch mỗi giây đo lườngeffectiveness. Hệ thống kho dữ liệu OLTP chứa dữ liệu hiện tại và chi tiết và được duy trì trong các lược đồ trong mô hình thực thể (3NF).
Thí dụ
Hệ thống giao dịch hàng ngày trong một cửa hàng bán lẻ, nơi hồ sơ khách hàng được chèn, cập nhật và xóa hàng ngày. Nó cung cấp xử lý truy vấn rất nhanh. Cơ sở dữ liệu OLTP chứa dữ liệu chi tiết và hiện tại. Lược đồ được sử dụng để lưu trữ cơ sở dữ liệu OLTP là mô hình Thực thể.
Sự khác biệt giữa OLTP và OLAP
Các minh họa sau đây cho thấy sự khác biệt chính giữa OLTP và OLAP hệ thống.
Indexes - Hệ thống OLTP chỉ có một số chỉ mục trong khi trong hệ thống OLAP có nhiều chỉ mục để tối ưu hóa hiệu suất.
Joins- Trong hệ thống OLTP, số lượng lớn các phép nối và dữ liệu được chuẩn hóa. Tuy nhiên, trong một hệ thống OLAP có ít kết nối hơn và được khử chuẩn hóa.
Aggregation - Trong hệ thống OLTP, dữ liệu không được tổng hợp trong khi trong cơ sở dữ liệu OLAP, nhiều tập hợp hơn được sử dụng.
Phân tích tiên đoán
Phân tích dự đoán được biết đến như việc tìm ra các mẫu ẩn trong dữ liệu được lưu trữ trong hệ thống DW bằng cách sử dụng các hàm toán học khác nhau để dự đoán kết quả trong tương lai.
Hệ thống Phân tích Dự đoán khác với hệ thống OLAP về cách sử dụng. Nó được sử dụng để tập trung vào các kết quả trong tương lai. Hệ thống OALP tập trung vào xử lý dữ liệu hiện tại và lịch sử để báo cáo phân tích.
Có nhiều Kho dữ liệu / hệ thống cơ sở dữ liệu khác nhau có sẵn trên thị trường đáp ứng các khả năng của hệ thống DW. Các nhà cung cấp phổ biến nhất cho hệ thống kho dữ liệu là:
- Microsoft SQL Server
- Oracle Exadata
- IBM Netezza
- Teradata
- Sybase IQ
- Kho kinh doanh SAP (SAP BW)
Kho kinh doanh SAP
SAP Business Warehouselà một phần của nền tảng phát hành SAP NetWeaver. Trước NetWeaver 7.4, nó được gọi là SAP NetWeaver Business Warehouse.
Lưu trữ dữ liệu trong SAP BW có nghĩa là tích hợp, chuyển đổi dữ liệu, làm sạch dữ liệu, lưu trữ và dàn dựng dữ liệu. Quy trình DW bao gồm mô hình hóa dữ liệu trong hệ thống BW, phân đoạn và quản trị. Công cụ chính, được sử dụng để quản lý các tác vụ DW trong hệ thống BW, là bàn làm việc quản trị.
Các tính năng chính
SAP BW cung cấp các khả năng như Business Intelligence, bao gồm Dịch vụ phân tích và lập kế hoạch kinh doanh, báo cáo phân tích, xử lý truy vấn và thông tin cũng như kho dữ liệu doanh nghiệp.
Nó cung cấp sự kết hợp của cơ sở dữ liệu và các công cụ quản lý cơ sở dữ liệu giúp đưa ra quyết định.
Các tính năng chính khác của hệ thống BW bao gồm Giao diện lập trình ứng dụng kinh doanh (BAPI) hỗ trợ kết nối với các ứng dụng không phải SAP R / 3, trích xuất và tải dữ liệu tự động, bộ xử lý OLAP tích hợp, kho siêu dữ liệu, công cụ quản trị, hỗ trợ đa ngôn ngữ và giao diện kích hoạt web.
SAP BW được giới thiệu lần đầu tiên vào năm 1998 bởi SAP, một công ty của Đức. Hệ thống SAP BW dựa trên phương pháp tiếp cận theo hướng mô hình để làm cho Kho dữ liệu doanh nghiệp dễ dàng, đơn giản và hiệu quả hơn cho dữ liệu SAP R3.
Từ 16 năm qua, SAP BW đã phát triển như một trong những hệ thống quan trọng cho nhiều công ty để quản lý nhu cầu lưu trữ dữ liệu doanh nghiệp của họ.
Trình khám phá doanh nghiệp (BEx) cung cấp một tùy chọn để báo cáo linh hoạt, phân tích chiến lược và báo cáo hoạt động trong công ty.
Nó được sử dụng để thực hiện báo cáo, thực thi truy vấn và chức năng phân tích trong hệ thống BI. Bạn cũng có thể xử lý dữ liệu lịch sử và hiện tại với nhiều mức độ chi tiết khác nhau qua Web và ở định dạng Excel.
Sử dụng BEx phát thông tin, nội dung BI có thể được chia sẻ qua email dưới dạng tài liệu hoặc dưới dạng liên kết dưới dạng dữ liệu trực tiếp hoặc bạn cũng có thể xuất bản bằng các chức năng của SAP EP.
Đối tượng & Sản phẩm Kinh doanh
SAP Business Objects được biết đến là công cụ Business Intelligence phổ biến nhất và được sử dụng để thao tác dữ liệu, truy cập người dùng, phân tích, định dạng và xuất bản thông tin trên các nền tảng khác nhau. Nó là một bộ công cụ dựa trên giao diện người dùng, cho phép người dùng doanh nghiệp và những người ra quyết định hiển thị, sắp xếp và phân tích dữ liệu lịch sử và hiện tại của doanh nghiệp.
Nó bao gồm các công cụ sau:
Web Intelligence
Web Intelligence (WebI) được gọi là công cụ báo cáo chi tiết Đối tượng kinh doanh phổ biến nhất hỗ trợ các tính năng khác nhau của phân tích dữ liệu như chi tiết, phân cấp, biểu đồ, các biện pháp được tính toán, v.v. Nó cho phép người dùng cuối tạo các truy vấn đặc biệt trong bảng truy vấn và để thực hiện phân tích dữ liệu cả trực tuyến và ngoại tuyến.
Đối tượng kinh doanh SAP Xc / Trang tổng quan
Trang tổng quan cung cấp khả năng hiển thị dữ liệu và hiển thị bảng điều khiển cho người dùng cuối và bạn có thể tạo trang tổng quan tương tác bằng công cụ này.
Bạn cũng có thể thêm nhiều loại biểu đồ và đồ thị khác nhau và tạo trang tổng quan động để trực quan hóa dữ liệu và chúng chủ yếu được sử dụng trong các cuộc họp tài chính trong một tổ chức.
Báo cáo tinh thể
Báo cáo Pha lê được sử dụng để báo cáo pixel hoàn hảo. Điều này cho phép người dùng tạo và thiết kế các báo cáo và sau đó sử dụng nó cho mục đích in ấn.
nhà thám hiểm
Explorer cho phép người dùng tìm kiếm nội dung trong kho BI và các kết quả phù hợp nhất được hiển thị dưới dạng biểu đồ. Không cần phải viết ra các truy vấn để thực hiện tìm kiếm.
Nhiều thành phần và công cụ khác được giới thiệu cho mục đích báo cáo chi tiết, trực quan hóa dữ liệu và bảng điều khiển là Design Studio, Phiên bản phân tích cho Microsoft Office, BI Repository và nền tảng Business Objects Mobile.
ETL là viết tắt của Extract, Transform and Load. Một công cụ ETL trích xuất dữ liệu từ các hệ thống nguồn RDBMS khác nhau, chuyển đổi dữ liệu như áp dụng tính toán, ghép nối, v.v. và sau đó tải dữ liệu vào hệ thống Data Warehouse. Dữ liệu được tải trong hệ thống DW dưới dạng bảng thứ nguyên và dữ liệu.
Khai thác
Cần có một khu vực dàn trong khi tải ETL. Có nhiều lý do tại sao cần phải có khu vực dàn dựng.
Hệ thống nguồn chỉ có sẵn trong một khoảng thời gian cụ thể để trích xuất dữ liệu. Khoảng thời gian này nhỏ hơn tổng thời gian tải dữ liệu. Do đó, khu vực dàn dựng cho phép bạn trích xuất dữ liệu từ hệ thống nguồn và giữ nó trong khu vực dàn dựng trước khi khoảng thời gian kết thúc.
Khu vực dàn là bắt buộc khi bạn muốn lấy dữ liệu từ nhiều nguồn dữ liệu với nhau hoặc nếu bạn muốn kết hợp hai hoặc nhiều hệ thống với nhau. Ví dụ: bạn sẽ không thể thực hiện truy vấn SQL nối hai bảng từ hai cơ sở dữ liệu vật lý khác nhau.
Khoảng thời gian trích xuất dữ liệu cho các hệ thống khác nhau thay đổi theo múi giờ và giờ hoạt động.
Dữ liệu trích xuất từ hệ thống nguồn có thể được sử dụng trong nhiều hệ thống kho dữ liệu, kho dữ liệu hoạt động, v.v.
ETL cho phép bạn thực hiện các phép biến đổi phức tạp và cần thêm diện tích để lưu trữ dữ liệu.
Biến đổi
Trong chuyển đổi dữ liệu, bạn áp dụng một tập hợp các chức năng trên dữ liệu được trích xuất để tải nó vào hệ thống đích. Dữ liệu, không yêu cầu bất kỳ chuyển đổi nào được gọi là di chuyển trực tiếp hoặc truyền qua dữ liệu.
Bạn có thể áp dụng các phép biến đổi khác nhau trên dữ liệu được trích xuất từ hệ thống nguồn. Ví dụ, bạn có thể thực hiện các phép tính tùy chỉnh. Nếu bạn muốn tổng doanh thu bán hàng và doanh thu này không có trong cơ sở dữ liệu, bạn có thể áp dụngSUM công thức trong quá trình chuyển đổi và tải dữ liệu.
Ví dụ: nếu bạn có tên và họ trong bảng ở các cột khác nhau, bạn có thể sử dụng nối trước khi tải.
Tải
Trong giai đoạn Tải, dữ liệu được tải vào hệ thống đích và nó có thể là một tệp phẳng hoặc hệ thống Kho dữ liệu.
Dịch vụ dữ liệu SAP BO là một công cụ ETL được sử dụng để tích hợp dữ liệu, chất lượng dữ liệu, cấu hình dữ liệu và xử lý dữ liệu. Nó cho phép bạn tích hợp, chuyển đổi hệ thống kho dữ liệu thành dữ liệu đáng tin cậy để báo cáo phân tích.
Dịch vụ dữ liệu BO bao gồm giao diện phát triển giao diện người dùng, kho siêu dữ liệu, kết nối dữ liệu với hệ thống nguồn và đích và bảng điều khiển quản lý để lên lịch công việc.
Tích hợp dữ liệu & Quản lý dữ liệu
Dịch vụ dữ liệu SAP BO là một công cụ quản lý và tích hợp dữ liệu và bao gồm Máy chủ công việc tích hợp dữ liệu và Trình thiết kế tích hợp dữ liệu.
Các tính năng chính
Bạn có thể áp dụng các phép biến đổi dữ liệu khác nhau bằng cách sử dụng ngôn ngữ Trình tích hợp dữ liệu để áp dụng các phép biến đổi dữ liệu phức tạp và xây dựng các chức năng tùy chỉnh.
Trình thiết kế tích hợp dữ liệu được sử dụng để lưu trữ thời gian thực và hàng loạt công việc và các dự án mới trong kho lưu trữ.
DI Designer cũng cung cấp một tùy chọn để phát triển ETL dựa trên nhóm bằng cách cung cấp một kho lưu trữ trung tâm với tất cả các chức năng cơ bản.
Máy chủ công việc Data Integrator chịu trách nhiệm xử lý các công việc được tạo bằng DI Designer.
Quản trị viên Web
Quản trị viên web Data Integrator được quản trị viên hệ thống và quản trị cơ sở dữ liệu sử dụng để duy trì kho lưu trữ trong dịch vụ Dữ liệu. Dịch vụ dữ liệu bao gồm Kho lưu trữ siêu dữ liệu, Kho lưu trữ trung tâm để phát triển dựa trên nhóm, Máy chủ công việc và Dịch vụ web.
Các chức năng chính của DI Web Administrator
- Nó được sử dụng để lập lịch, giám sát và thực hiện các công việc hàng loạt.
- Nó được sử dụng để cấu hình và khởi động và dừng các máy chủ thời gian thực.
- Nó được sử dụng để định cấu hình Máy chủ công việc, Máy chủ truy cập và sử dụng kho lưu trữ.
- Nó được sử dụng để cấu hình bộ điều hợp.
- Nó được sử dụng để cấu hình và kiểm soát tất cả các công cụ trong Dịch vụ Dữ liệu BO.
Chức năng Quản lý dữ liệu nhấn mạnh vào chất lượng dữ liệu. Nó liên quan đến việc làm sạch dữ liệu, nâng cao và hợp nhất dữ liệu để có được dữ liệu chính xác trong hệ thống DW.
Trong chương này, chúng ta sẽ tìm hiểu về kiến trúc SAP BODS. Hình minh họa cho thấy kiến trúc của hệ thống BODS với khu vực Staging.
Lớp nguồn
Lớp nguồn bao gồm các nguồn dữ liệu khác nhau như các ứng dụng SAP và hệ thống RDBMS không thuộc SAP và việc tích hợp dữ liệu diễn ra trong khu vực dàn dựng.
Dịch vụ dữ liệu đối tượng kinh doanh của SAP bao gồm các thành phần khác nhau như Data Service Designer, Data Services Management Console, Repository Manager, Data Services Server Manager, Work bench, v.v. Hệ thống đích có thể là hệ thống DW như SAP HANA, SAP BW hoặc không phải SAP Hệ thống kho dữ liệu.
Ảnh chụp màn hình sau đây cho thấy các thành phần khác nhau của SAP BODS.
Bạn cũng có thể phân chia kiến trúc BODS theo các lớp sau:
- Lớp ứng dụng web
- Lớp máy chủ cơ sở dữ liệu
- Lớp dịch vụ dịch vụ dữ liệu
Hình minh họa sau đây cho thấy kiến trúc BODS.
Sự phát triển của sản phẩm - ATL, DI & DQ
Acta Technology Inc. đã phát triển Dịch vụ Dữ liệu Đối tượng Doanh nghiệp SAP và sau đó Công ty Đối tượng Doanh nghiệp đã mua lại. Acta Technology Inc. là một công ty có trụ sở tại Hoa Kỳ và chịu trách nhiệm phát triển nền tảng tích hợp dữ liệu thứ nhất. Hai sản phẩm phần mềm ETL được phát triển bởi Acta Inc. làData Integration (DI) công cụ và Data Management hoặc là Data Quality (DQ) dụng cụ.
Business Objects, một công ty của Pháp đã mua lại Acta Technology Inc. vào năm 2002 và sau đó, cả hai sản phẩm đều được đổi tên thành Business Objects Data Integration (BODI) công cụ và Business Objects Data Quality (BODQ) dụng cụ.
SAP mua lại Business Objects vào năm 2007 và cả hai sản phẩm được đổi tên thành SAP BODI và SAP BODQ. Năm 2008, SAP đã tích hợp cả hai sản phẩm này vào một sản phẩm phần mềm duy nhất có tên là Dịch vụ Dữ liệu Đối tượng Doanh nghiệp SAP (BODS).
SAP BODS cung cấp giải pháp tích hợp dữ liệu và quản lý dữ liệu và trong phiên bản trước của BODS, giải pháp xử lý dữ liệu văn bản đã được đưa vào.
BODS - Đối tượng
Tất cả các thực thể được sử dụng trong BO Data Services Designer được gọi là Objects. Tất cả các đối tượng như dự án, công việc, siêu dữ liệu và chức năng hệ thống được lưu trữ trong thư viện đối tượng cục bộ. Tất cả các đối tượng đều có thứ bậc về bản chất.
Các đối tượng chủ yếu chứa những thứ sau:
Properties- Chúng được sử dụng để mô tả một đối tượng và không ảnh hưởng đến hoạt động của nó. Ví dụ - Tên của một đối tượng, Ngày khi nó được tạo, v.v.
Options - Điều khiển hoạt động của các đối tượng.
Các loại đối tượng
Có hai loại đối tượng trong hệ thống - Đối tượng có thể tái sử dụng và đối tượng Sử dụng một lần. Loại đối tượng xác định cách đối tượng đó được sử dụng và truy xuất.
Đối tượng có thể tái sử dụng
Hầu hết các đối tượng được lưu trữ trong kho có thể được sử dụng lại. Khi một đối tượng có thể sử dụng lại được xác định và lưu trong kho lưu trữ cục bộ, bạn có thể sử dụng lại đối tượng đó bằng cách tạo Lời gọi định nghĩa. Mỗi đối tượng có thể sử dụng lại chỉ có một định nghĩa và tất cả các lệnh gọi đến đối tượng đó đều tham chiếu đến định nghĩa đó. Bây giờ, nếu định nghĩa của một đối tượng được thay đổi tại một nơi, bạn sẽ thay đổi định nghĩa đối tượng ở tất cả những nơi mà đối tượng đó xuất hiện.
Thư viện đối tượng được sử dụng để chứa định nghĩa đối tượng và khi một đối tượng được kéo và thả khỏi thư viện, một tham chiếu mới đến đối tượng hiện có sẽ được tạo.
Đối tượng sử dụng một lần
Tất cả các đối tượng được xác định cụ thể cho một công việc hoặc luồng dữ liệu được gọi là các đối tượng sử dụng một lần. Ví dụ, chuyển đổi cụ thể được sử dụng trong bất kỳ tải dữ liệu nào.
BODS - Hệ thống phân cấp đối tượng
Tất cả các đối tượng đều có thứ bậc về bản chất. Sơ đồ sau cho thấy phân cấp đối tượng trong hệ thống SAP BODS:
BODS - Công cụ và Chức năng
Dựa trên kiến trúc được minh họa bên dưới, chúng tôi có nhiều công cụ được định nghĩa trong Dịch vụ Dữ liệu Đối tượng Doanh nghiệp SAP. Mỗi công cụ có chức năng riêng theo bối cảnh hệ thống.
Ở trên cùng, bạn đã cài đặt Dịch vụ nền tảng thông tin cho người dùng và quản lý bảo mật quyền. BODS phụ thuộc vào bảng điều khiển quản lý trung tâm (CMC) để truy cập người dùng và tính năng bảo mật. Điều này có thể áp dụng cho phiên bản 4.x. Trong phiên bản trước, nó đã được thực hiện trong Bảng điều khiển quản lý.
Data Services Designer là một công cụ dành cho nhà phát triển, được sử dụng để tạo các đối tượng bao gồm ánh xạ dữ liệu, chuyển đổi và logic. Nó dựa trên GUI và hoạt động như một nhà thiết kế cho Dịch vụ Dữ liệu.
Kho
Kho lưu trữ được sử dụng để lưu trữ siêu dữ liệu của các đối tượng được sử dụng trong Dịch vụ Dữ liệu BO. Mỗi Kho lưu trữ phải được đăng ký trong Bảng điều khiển Quản lý Trung tâm và được liên kết với một hoặc nhiều máy chủ công việc, chịu trách nhiệm thực thi các công việc do bạn tạo.
Các loại kho lưu trữ
Có ba loại Kho lưu trữ.
Local Repository - Nó được sử dụng để lưu trữ siêu dữ liệu của tất cả các đối tượng được tạo trong Data Services Designer như dự án, công việc, luồng dữ liệu, luồng công việc, v.v.
Central Repository- Nó được sử dụng để kiểm soát việc quản lý phiên bản của các đối tượng và được sử dụng để phát triển đa mục đích. Kho lưu trữ Trung tâm lưu trữ tất cả các phiên bản của một đối tượng ứng dụng. Do đó, nó cho phép bạn chuyển sang các phiên bản trước.
Profiler Repository- Điều này được sử dụng để quản lý tất cả các siêu dữ liệu liên quan đến các tác vụ hồ sơ được thực hiện trong trình thiết kế SAP BODS. CMS Repository lưu trữ siêu dữ liệu của tất cả các tác vụ được thực hiện trong CMC trên nền tảng BI. Kho lưu trữ tiếp nhận thông tin lưu trữ tất cả siêu dữ liệu của các tác vụ và đối tượng lập hồ sơ được tạo trong trình quản lý thông tin.
Máy chủ công việc
Máy chủ công việc được sử dụng để thực thi thời gian thực và hàng loạt công việc do bạn tạo. Nó lấy thông tin công việc từ các kho tương ứng và khởi động công cụ dữ liệu để thực hiện công việc. Máy chủ công việc có thể thực thi thời gian thực hoặc các công việc đã lên lịch và sử dụng đa luồng trong bộ nhớ đệm và xử lý song song để tối ưu hóa hiệu suất.
Truy cập Máy chủ
Access Server trong Dịch vụ Dữ liệu được gọi là hệ thống môi giới thông báo thời gian thực, nhận các yêu cầu thông báo, chuyển sang dịch vụ thời gian thực và hiển thị thông báo trong khung thời gian cụ thể.
Bảng điều khiển quản lý dịch vụ dữ liệu
Bảng điều khiển quản lý dịch vụ dữ liệu được sử dụng để thực hiện các hoạt động quản trị như lập lịch công việc, tạo báo cáo chất lượng trong hệ thống DS, xác thực dữ liệu, tài liệu, v.v.
BODS - Tiêu chuẩn đặt tên
Nên sử dụng các quy ước đặt tên tiêu chuẩn cho tất cả các đối tượng trong tất cả các hệ thống vì điều này cho phép bạn xác định các đối tượng trong Kho lưu trữ một cách dễ dàng.
Bảng hiển thị danh sách các quy ước đặt tên được đề xuất nên được sử dụng cho tất cả các công việc và các đối tượng khác.
Tiếp đầu ngữ | Hậu tố | Vật |
---|---|---|
DF_ | n / a | Dòng dữ liệu |
EDF_ | _Đầu vào | Luồng dữ liệu được nhúng |
EDF_ | _Đầu ra | Luồng dữ liệu được nhúng |
RTJob_ | n / a | Công việc thời gian thực |
WF_ | n / a | Quy trình làm việc |
VIỆC LÀM_ | n / a | Việc làm |
n / a | _DS | Kho dữ liệu |
DC_ | n / a | Cấu hình dữ liệu |
SC_ | n / a | Cấu hình hệ thông |
n / a | _Memory_DS | Kho dữ liệu bộ nhớ |
PROC_ | n / a | Thủ tục lưu trữ |
Cơ bản về Dịch vụ Dữ liệu BO bao gồm các đối tượng chính trong thiết kế Luồng công việc như Dự án, Công việc, Luồng công việc, luồng dữ liệu, Kho lưu trữ.
BODS - Kho & Loại
Kho lưu trữ được sử dụng để lưu trữ siêu dữ liệu của các đối tượng được sử dụng trong Dịch vụ Dữ liệu BO. Mỗi Kho lưu trữ phải được đăng ký trong Bảng điều khiển Quản lý Trung tâm, CMC và được liên kết với một hoặc nhiều máy chủ công việc, chịu trách nhiệm thực thi các công việc do bạn tạo.
Các loại kho lưu trữ
Có ba loại Kho lưu trữ.
Local Repository - Nó được sử dụng để lưu trữ siêu dữ liệu của tất cả các đối tượng được tạo trong Data Services Designer như dự án, công việc, luồng dữ liệu, luồng công việc, v.v.
Central Repository- Nó được sử dụng để kiểm soát việc quản lý phiên bản của các đối tượng và được sử dụng để phát triển đa mục đích. Kho lưu trữ Trung tâm lưu trữ tất cả các phiên bản của một đối tượng ứng dụng. Do đó, nó cho phép bạn chuyển sang các phiên bản trước.
Profiler Repository- Điều này được sử dụng để quản lý tất cả các siêu dữ liệu liên quan đến các tác vụ hồ sơ được thực hiện trong trình thiết kế SAP BODS. CMS Repository lưu trữ siêu dữ liệu của tất cả các tác vụ được thực hiện trong CMC trên nền tảng BI. Kho lưu trữ tiếp nhận thông tin lưu trữ tất cả siêu dữ liệu của các tác vụ và đối tượng lập hồ sơ được tạo trong trình quản lý thông tin.
Để tạo Kho lưu trữ BODS, bạn cần phải cài đặt cơ sở dữ liệu. Bạn có thể sử dụng SQL Server, cơ sở dữ liệu Oracle, My SQL, SAP HANA, Sybase, v.v.
Tạo kho lưu trữ
Bạn phải tạo những người dùng sau trong cơ sở dữ liệu trong khi cài đặt BODS và để tạo Kho lưu trữ. Những người dùng này được yêu cầu đăng nhập vào các máy chủ khác nhau như Máy chủ CMS, Máy chủ kiểm toán, v.v.
Tạo BODS người dùng được xác định bởi Bodsserver1
- Cấp Kết nối với BODS;
- Cấp quyền Tạo Phiên cho BODS;
- Cấp DBA cho BODS;
- Cấp quyền Tạo Bảng Bất kỳ cho BODS;
- Cấp quyền Tạo bất kỳ Chế độ xem nào cho BODS;
- Cấp Drop Any Table cho BODS;
- Cấp quyền thả bất kỳ chế độ xem nào cho BODS;
- Cấp quyền Chèn bất kỳ bảng nào vào BODS;
- Cấp Cập nhật Bảng bất kỳ cho BODS;
- Cấp Xóa bất kỳ bảng nào cho BODS;
- CÁC CƠ QUAN NGƯỜI DÙNG thay đổi QUOTA KHÔNG GIỚI HẠN VỀ NGƯỜI DÙNG;
Tạo CMS của người dùng được CMSserver1 xác định
- Cấp Kết nối với CMS;
- Cấp tạo phiên cho CMS;
- Cấp DBA cho CMS;
- Cấp quyền Tạo Bảng Bất kỳ cho CMS;
- Cấp quyền Tạo bất kỳ Chế độ xem nào cho CMS;
- Cấp phép thả bất kỳ bảng nào vào CMS;
- Cấp phép thả bất kỳ chế độ xem nào vào CMS;
- Cấp Chèn bảng bất kỳ vào CMS;
- Cấp Cập nhật Bất kỳ bảng nào cho CMS;
- Cấp phép Xóa bất kỳ bảng nào cho CMS;
- Thay đổi CMS NGƯỜI DÙNG QUOTA KHÔNG GIỚI HẠN TRÊN NGƯỜI DÙNG;
Tạo CMSAUDIT của người dùng được CMSAUDITserver1 xác định
- Cấp Kết nối với CMSAUDIT;
- Cấp quyền Tạo phiên cho CMSAUDIT;
- Cấp DBA cho CMSAUDIT;
- Cấp quyền Tạo Bảng Bất kỳ cho CMSAUDIT;
- Cấp quyền Tạo bất kỳ Chế độ xem nào cho CMSAUDIT;
- Cấp Drop Any Table cho CMSAUDIT;
- Cấp phép thả bất kỳ lượt xem nào cho CMSAUDIT;
- Cấp Chèn bất kỳ bảng nào vào CMSAUDIT;
- Cấp Cập nhật Bảng bất kỳ cho CMSAUDIT;
- Cấp Xóa bất kỳ bảng nào cho CMSAUDIT;
- Thay thế NGƯỜI DÙNG CMSAUDIT QUOTA KHÔNG GIỚI HẠN TRÊN NGƯỜI DÙNG;
Để tạo một Kho lưu trữ mới sau khi cài đặt
Step 1 - Tạo cơ sở dữ liệu Local_Repovà đi tới Trình quản lý kho lưu trữ dịch vụ dữ liệu. Định cấu hình cơ sở dữ liệu làm kho lưu trữ cục bộ.
Một cửa sổ mới sẽ mở ra.
Step 2 - Nhập chi tiết vào các trường sau -
Loại kho lưu trữ, Loại cơ sở dữ liệu, Tên máy chủ cơ sở dữ liệu, Cổng, Tên người dùng và mật khẩu.
Step 3 - Nhấp vào Createcái nút. Bạn sẽ nhận được thông báo sau -
Step 4 - Bây giờ đăng nhập vào Bảng điều khiển quản lý trung tâm CMC trong SAP BI Platform với Tên người dùng và Mật khẩu.
Step 5 - Trên Trang chủ CMC, nhấp vào Data Services.
Step 6 - Từ Data Services menu, Nhấp vào Configure a new Data Services Kho.
Step 7 - Nhập các chi tiết như đã cho trong cửa sổ mới.
- Tên kho lưu trữ: Local_Repo
- Loại cơ sở dữ liệu: SAP HANA
- Tên máy chủ cơ sở dữ liệu: tốt nhất
- Tên cơ sở dữ liệu: LOCAL_REPO
- Tên tài khoản:
- Password:*****
Step 8 - Nhấp vào nút Test Connection và nếu nó thành công, hãy nhấp vào Save. Sau khi bạn lưu, nó sẽ nằm trong tab Kho lưu trữ trong CMC.
Step 9 - Áp dụng quyền truy cập và bảo mật trên kho lưu trữ cục bộ trong CMC → User and Groups.
Step 10 - Sau khi được cấp quyền truy cập, đi tới Trình thiết kế dịch vụ dữ liệu → Chọn Kho lưu trữ → Nhập Tên người dùng và mật khẩu để đăng nhập.
Cập nhật Kho lưu trữ
Để cập nhật kho lưu trữ, hãy làm theo các bước đã cho.
Step 1 - Để cập nhật Kho lưu trữ sau khi cài đặt, hãy tạo cơ sở dữ liệu Local_Repo và đi tới Trình quản lý kho lưu trữ dịch vụ dữ liệu.
Step 2 - Cấu hình cơ sở dữ liệu như kho lưu trữ cục bộ.
Một cửa sổ mới sẽ mở ra.
Step 3 - Nhập thông tin chi tiết cho các trường sau.
Loại kho lưu trữ, Loại cơ sở dữ liệu, Tên máy chủ cơ sở dữ liệu, Cổng, Tên người dùng và mật khẩu.
Bạn sẽ thấy đầu ra như thể hiện trong ảnh chụp màn hình bên dưới.
Bảng điều khiển quản lý dịch vụ dữ liệu (DSMC) được sử dụng để thực hiện các hoạt động quản trị như lập lịch công việc, tạo báo cáo chất lượng trong hệ thống DS, xác thực dữ liệu, tài liệu, v.v.
Bạn có thể truy cập Bảng điều khiển quản lý dịch vụ dữ liệu theo các cách sau:
Bạn có thể truy cập Bảng điều khiển quản lý dịch vụ dữ liệu bằng cách đi tới Start → All Programs → Data Services → Data Service Management Console.
Bạn cũng có thể truy cập bảng điều khiển quản lý dịch vụ dữ liệu qua Designer nếu bạn đã đăng nhập.
Để truy cập bảng điều khiển quản lý dịch vụ dữ liệu qua Designer Home Page làm theo các bước dưới đây.
Để truy cập bảng điều khiển quản lý dịch vụ dữ liệu qua Công cụ, hãy làm theo các bước đã cho -
Step 1 - Đi tới Tools → Data Services Management Console như thể hiện trong hình ảnh sau đây.
Step 2 - Sau khi bạn đăng nhập vào Data Services Management Console, màn hình chính sẽ mở ra như trong hình bên dưới. Ở trên cùng, bạn có thể thấy tên người dùng mà bạn đã đăng nhập.
Trên trang chủ, bạn sẽ thấy các tùy chọn sau:
- Administrator
- Tài liệu tự động
- Xác nhận dữ liệu
- Phân tích tác động và dòng dõi
- Bảng điều khiển hoạt động
- Báo cáo chất lượng dữ liệu
Các chức năng chính của mỗi mô-đun của Bảng điều khiển Quản lý Dịch vụ Dữ liệu được giải thích trong chương này.
Mô-đun quản trị viên
Tùy chọn Quản trị viên được sử dụng để quản lý -
- Người dùng và vai trò
- Để thêm kết nối vào máy chủ và kho lưu trữ truy cập
- Để truy cập dữ liệu công việc được xuất bản cho các dịch vụ web
- Để lập lịch và giám sát các công việc hàng loạt
- Để kiểm tra trạng thái máy chủ truy cập và các dịch vụ thời gian thực.
Khi bạn nhấp vào Administrator, bạn có thể thấy nhiều liên kết trong ngăn bên trái. Đó là - Trạng thái, Hàng loạt, Dịch vụ web, Kết nối SAP, Nhóm máy chủ, Quản lý kho hồ sơ và Lịch sử thực thi công việc.
Điểm giao
Các nút khác nhau nằm trong mô-đun Quản trị viên được thảo luận bên dưới.
Trạng thái
Nút Trạng thái được sử dụng để kiểm tra trạng thái của công việc hàng loạt và thời gian thực, trạng thái máy chủ truy cập, bộ điều hợp và kho lưu trữ hồ sơ và trạng thái hệ thống khác.
Nhấp vào Trạng thái → Chọn một kho lưu trữ
Trên ngăn bên phải, bạn sẽ thấy các tab của các tùy chọn sau:
Batch Job Status- Nó được sử dụng để kiểm tra trạng thái của công việc hàng loạt. Bạn có thể kiểm tra thông tin công việc như Theo dõi, Giám sát, Lỗi và Giám sát Hiệu suất, Thời gian Bắt đầu, Thời gian Kết thúc, Thời lượng, v.v.
Batch Job Configuration - Cấu hình công việc hàng loạt được sử dụng để kiểm tra lịch trình của các công việc riêng lẻ hoặc bạn có thể thêm một hành động như Thực thi, Thêm lịch biểu, Xuất lệnh thực thi.
Repositories Schedules - Nó được sử dụng để xem và cấu hình lịch trình cho tất cả các công việc trong kho lưu trữ.
Nút hàng loạt
Trong nút Batch Job, bạn sẽ thấy các tùy chọn tương tự như trên.
Sr không. | Tùy chọn & Mô tả |
---|---|
1 | Batch Job Status Xem trạng thái của lần thực hiện cuối cùng và thông tin chuyên sâu về từng công việc. |
2 | Batch Job Configuration Định cấu hình các tùy chọn thực thi và lập lịch cho các công việc riêng lẻ. |
3 | Repository Schedules Xem và cấu hình lịch biểu cho tất cả các công việc trong kho lưu trữ. |
Nút dịch vụ web
Dịch vụ web được sử dụng để xuất bản công việc thời gian thực và công việc hàng loạt như hoạt động dịch vụ web và để kiểm tra trạng thái của các hoạt động này. Điều này cũng được sử dụng để duy trì bảo mật cho các công việc được xuất bản dưới dạng dịch vụ web và để xemWSDL tập tin.
Kết nối SAP
Kết nối SAP được sử dụng để kiểm tra trạng thái hoặc để cấu hình RFC server interface trong Bảng điều khiển Quản lý Dịch vụ Dữ liệu.
Để kiểm tra trạng thái của giao diện máy chủ RFC, hãy chuyển đến tab Trạng thái giao diện máy chủ RFC. Để thêm Giao diện máy chủ RFC mới, trên tab cấu hình, bấmAdd.
Khi một cửa sổ mới mở ra, hãy nhập chi tiết cấu hình máy chủ RFC, nhấp vào Apply.
Nhóm máy chủ
Điều này được sử dụng để nhóm tất cả các máy chủ công việc được liên kết với cùng một kho lưu trữ thành một nhóm máy chủ. Tab này được sử dụng để cân bằng tải trong khi thực hiện các công việc trong dịch vụ dữ liệu.
Khi một công việc được thực thi, nó sẽ kiểm tra máy chủ công việc tương ứng và nếu nó bị lỗi, nó sẽ chuyển công việc sang máy chủ công việc khác trong cùng một nhóm. Nó chủ yếu được sử dụng trong sản xuất để cân bằng tải.
Kho lưu trữ hồ sơ
Khi bạn kết nối kho lưu trữ hồ sơ với quản trị viên, nó cho phép bạn mở rộng nút kho lưu trữ hồ sơ. Bạn có thể truy cập trang trạng thái Nhiệm vụ Hồ sơ.
Nút quản lý
Để sử dụng tính năng của tab Quản trị viên, bạn cần thêm kết nối vào các Dịch vụ dữ liệu bằng cách sử dụng nút quản lý. Nút quản lý bao gồm các tùy chọn cấu hình khác nhau cho ứng dụng quản trị.
Lịch sử thực thi công việc
Điều này được sử dụng để kiểm tra lịch sử thực hiện của một công việc hoặc một luồng dữ liệu. Sử dụng tùy chọn này, bạn có thể kiểm tra lịch sử thực hiện của một công việc hàng loạt hoặc tất cả các công việc hàng loạt do bạn tạo.
Khi bạn chọn một công việc, thông tin được hiển thị dưới dạng bảng, bao gồm tên Kho, Tên công việc, thời gian bắt đầu, thời gian kết thúc, thời gian thực hiện, trạng thái, v.v.
Data Service Designer là một công cụ dành cho nhà phát triển, được sử dụng để tạo các đối tượng bao gồm ánh xạ dữ liệu, chuyển đổi và logic. Nó dựa trên GUI và hoạt động như một nhà thiết kế cho Dịch vụ Dữ liệu.
Bạn có thể tạo các đối tượng khác nhau bằng Trình thiết kế dịch vụ dữ liệu như Dự án, Công việc, Luồng công việc, Luồng dữ liệu, ánh xạ, chuyển đổi, v.v.
Để khởi động Trình thiết kế dịch vụ dữ liệu, hãy làm theo các bước dưới đây.
Step 1 - Point to Start → All Programs → SAP Data Services 4.2 → Data Services Designer.
Step 2 - Chọn Kho lưu trữ và nhập mật khẩu để đăng nhập.
Sau khi bạn chọn Kho lưu trữ và đăng nhập vào Trình thiết kế dịch vụ dữ liệu, màn hình chính sẽ xuất hiện như trong hình dưới đây.
Trong ngăn bên trái, bạn có vùng dự án, nơi bạn có thể tạo một dự án mới, Công việc, luồng dữ liệu, luồng công việc, v.v. Trong vùng Dự án, bạn có thư viện Đối tượng cục bộ, bao gồm tất cả các đối tượng được tạo trong Dịch vụ dữ liệu.
Trong ngăn dưới cùng, bạn có thể mở các đối tượng hiện có bằng cách đi tới các tùy chọn cụ thể như Dự án, Công việc, Luồng dữ liệu, Luồng công việc, v.v. Khi bạn chọn bất kỳ đối tượng nào từ ngăn dưới cùng, nó sẽ hiển thị cho bạn tất cả các đối tượng tương tự. được tạo trong Kho lưu trữ dưới thư viện đối tượng cục bộ.
Ở phía bên phải, bạn có một màn hình chính, có thể được sử dụng để -
- Tạo dự án
- Chủ đề mở
- Tạo kho dữ liệu
- Tạo kho lưu trữ
- Nhập từ tệp phẳng
- Bảng điều khiển quản lý dịch vụ dữ liệu
Để phát triển luồng ETL, trước tiên bạn cần tạo kho dữ liệu cho nguồn và hệ thống đích. Thực hiện theo các bước được đưa ra để phát triển luồng ETL -
Step 1 - Bấm Create Data Stores.
Một cửa sổ mới sẽ mở ra.
Step 2 - Nhập Datastore Tên, Datastoreloại và loại cơ sở dữ liệu như hình dưới đây. Bạn có thể chọn cơ sở dữ liệu khác nhau làm hệ thống nguồn như thể hiện trong ảnh chụp màn hình bên dưới.
Step 3- Để sử dụng hệ thống ECC làm nguồn dữ liệu, chọn Ứng dụng SAP làm loại Kho dữ liệu. Nhập tên người dùng và mật khẩu và trênAdvance , nhập số hệ thống và số khách hàng.
Step 4- Nhấn OK và Datastore sẽ được thêm vào danh sách Thư viện đối tượng cục bộ. Nếu bạn mở rộng Kho dữ liệu, nó sẽ không hiển thị bất kỳ bảng nào.
Step 5 - Để trích xuất bất kỳ bảng nào từ hệ thống ECC để tải lên hệ thống đích, nhấp chuột phải vào Bảng → Nhập theo tên.
Step 6 - Nhập tên bảng và nhấp Import. Ở đây, Table – Mara được sử dụng, là một bảng mặc định trong hệ thống ECC.
Step 7 - Theo cách tương tự, hãy tạo Datastorecho hệ thống đích. Trong ví dụ này, HANA được sử dụng như một hệ thống đích.
Sau khi bạn nhấp vào OK, điều này Datastore sẽ được thêm vào thư viện đối tượng cục bộ và sẽ không có bảng bên trong nó.
Tạo luồng ETL
Để tạo luồng ETL, hãy tạo một dự án mới.
Step 1 - Nhấp vào tùy chọn, Create Project. Nhập Tên dự án và nhấp vàoCreate. Nó sẽ được thêm vào Vùng dự án.
Step 2 - Nhấp chuột phải vào tên Dự án và tạo một công việc hàng loạt / công việc thời gian thực mới.
Step 3- Nhập tên công việc và nhấn Enter. Bạn phải thêm Dòng công việc và Dòng dữ liệu vào cái này. Chọn một dòng công việc và nhấp vào khu vực làm việc để thêm vào công việc. Nhập tên của dòng công việc và bấm đúp vào nó để thêm vào vùng Dự án.
Step 4- Một cách tương tự, chọn Luồng dữ liệu và đưa nó đến vùng Dự án. Nhập tên của luồng dữ liệu và nhấp đúp để thêm nó vào trong dự án mới.
Step 5- Bây giờ hãy kéo bảng nguồn dưới kho dữ liệu vào vùng Công việc. Bây giờ bạn có thể kéo bảng mục tiêu có kiểu dữ liệu tương tự vào vùng làm việc hoặc bạn có thể tạo một bảng mẫu mới.
Để tạo bảng mẫu mới, hãy nhấp chuột phải vào bảng nguồn, Thêm Mới → Bảng Mẫu.
Step 6- Nhập tên bảng và chọn Kho dữ liệu từ danh sách làm Kho dữ liệu đích. Tên chủ sở hữu đại diện cho tên lược đồ nơi bảng phải được tạo.
Bảng sẽ được thêm vào vùng làm việc với tên bảng này.
Step 7- Kéo dòng từ bảng nguồn sang bảng đích. Nhấn vàoSave All ở trên cùng.
Giờ đây, bạn có thể lên lịch công việc bằng Bảng điều khiển quản lý dịch vụ dữ liệu hoặc bạn có thể thực hiện thủ công bằng cách nhấp chuột phải vào Tên công việc và Thực hiện.
Kho dữ liệu được sử dụng để thiết lập kết nối giữa ứng dụng và cơ sở dữ liệu. Bạn có thể trực tiếp tạo Kho dữ liệu hoặc có thể được tạo với sự trợ giúp của bộ điều hợp. Kho dữ liệu cho phép một ứng dụng / phần mềm đọc hoặc ghi siêu dữ liệu từ một ứng dụng hoặc cơ sở dữ liệu và ghi vào cơ sở dữ liệu hoặc ứng dụng đó.
Trong Dịch vụ Dữ liệu Đối tượng Doanh nghiệp, bạn có thể kết nối với các hệ thống sau bằng Kho dữ liệu:
- Hệ thống máy tính lớn và Cơ sở dữ liệu
- Ứng dụng và phần mềm có bộ điều hợp do người dùng viết
- Ứng dụng SAP, SAP BW, Ứng dụng Oracle, Siebel, v.v.
Dịch vụ Dữ liệu Đối tượng Doanh nghiệp SAP cung cấp một tùy chọn để kết nối với các giao diện Máy tính lớn sử dụng AttunityKết nối. Sử dụngAttunity, kết nối Kho dữ liệu với danh sách các nguồn được cung cấp bên dưới -
- DB2 UDB cho OS / 390
- DB2 UDB cho OS / 400
- IMS/DB
- VSAM
- Adabas
- Tệp phẳng trên OS / 390 và OS / 400
Sử dụng trình kết nối Attunity, bạn có thể kết nối với dữ liệu máy tính lớn với sự trợ giúp của phần mềm. Phần mềm này cần được cài đặt thủ công trên máy chủ máy tính lớn và máy chủ công việc máy khách cục bộ sử dụng giao diện ODBC.
Nhập các chi tiết như Vị trí máy chủ, Cổng, không gian làm việc Attunity, v.v.
Tạo kho dữ liệu cho cơ sở dữ liệu
Để tạo Kho dữ liệu cho cơ sở dữ liệu, hãy làm theo các bước dưới đây.
Step 1- Nhập tên Kho dữ liệu, kiểu Kho dữ liệu và kiểu cơ sở dữ liệu như trong hình dưới đây. Bạn có thể chọn cơ sở dữ liệu khác nhau làm hệ thống nguồn được đưa ra trong danh sách.
Step 2- Để sử dụng hệ thống ECC làm nguồn dữ liệu, hãy chọn Ứng dụng SAP làm loại Kho dữ liệu. Nhập tên người dùng và mật khẩu. Nhấn vàoAdvance và nhập số hệ thống và số khách hàng.
Step 3- Nhấn OK và Datastore sẽ được thêm vào danh sách Thư viện đối tượng cục bộ. Nếu bạn mở rộng Kho dữ liệu, sẽ không có bảng nào để hiển thị.
Trong chương này, chúng ta sẽ học cách chỉnh sửa hoặc thay đổi Kho dữ liệu. Để thay đổi hoặc chỉnh sửa Kho dữ liệu, hãy làm theo các bước dưới đây.
Step 1- Để chỉnh sửa Kho dữ liệu, nhấp chuột phải vào tên Kho dữ liệu và nhấp vào Chỉnh sửa. Nó sẽ mở trình soạn thảo Kho dữ liệu.
Bạn có thể chỉnh sửa thông tin kết nối cho cấu hình Kho dữ liệu hiện tại.
Step 2 - Nhấp vào Advance và bạn có thể chỉnh sửa số máy khách, id hệ thống và các thuộc tính khác.
Step 3 - Nhấp vào Edit tùy chọn thêm, chỉnh sửa và xóa cấu hình.
Step 4 - Nhấn OK và các thay đổi sẽ được áp dụng.
Bạn có thể tạo một Kho dữ liệu bằng cách sử dụng bộ nhớ làm kiểu cơ sở dữ liệu. Kho dữ liệu bộ nhớ được sử dụng để cải thiện hiệu suất của luồng dữ liệu trong các công việc thời gian thực vì nó lưu trữ dữ liệu trong bộ nhớ để tạo điều kiện truy cập nhanh chóng và không yêu cầu chuyển đến nguồn dữ liệu gốc.
Kho dữ liệu bộ nhớ được sử dụng để lưu các lược đồ bảng bộ nhớ trong kho lưu trữ. Các bảng bộ nhớ này lấy dữ liệu từ các bảng trong cơ sở dữ liệu Quan hệ hoặc sử dụng các tệp dữ liệu phân cấp như thông báo XML và IDocs. Các bảng bộ nhớ vẫn tồn tại cho đến khi công việc được thực thi và dữ liệu trong bảng bộ nhớ không thể được chia sẻ giữa các công việc thời gian thực khác nhau.
Tạo kho dữ liệu bộ nhớ
Để tạo Kho dữ liệu bộ nhớ, hãy làm theo các bước dưới đây.
Step 1 - Nhấp vào Create Datastore và nhập tên của Datastore “Memory_DS_TEST”. Bảng bộ nhớ được trình bày bằng bảng RDBMS bình thường và có thể được xác định bằng các quy ước đặt tên.
Step 2 - Trong Loại kho dữ liệu, chọn Cơ sở dữ liệu và trong loại cơ sở dữ liệu, hãy chọn Memory. Bấm OK.
Step 3 - Bây giờ đi tới Dự án → Mới → Dự án như thể hiện trong ảnh chụp màn hình bên dưới.
Step 4- Tạo công việc mới bằng cách nhấp chuột phải. Thêm Luồng công việc và Luồng dữ liệu như hình bên dưới.
Step 5- Chọn một bảng Mẫu và kéo thả vào vùng làm việc. Cửa sổ Tạo bảng sẽ mở ra.
Step 6- Nhập tên của bảng và Trong Datastore, chọn Memory Datastore. Nếu bạn muốn một id hàng do hệ thống tạo, hãy chọncreate row idhộp kiểm. Bấm OK.
Step 7 - Kết nối bảng Bộ nhớ này với luồng dữ liệu và nhấp vào Save All ở trên cùng.
Bảng bộ nhớ dưới dạng nguồn và đích
Để sử dụng Bảng bộ nhớ làm Mục tiêu -
Step 1- Vào thư viện đối tượng cục bộ, nhấp vào tab Kho dữ liệu. Mở rộng Kho dữ liệu bộ nhớ → Mở rộng bảng.
Step 2- Chọn bảng Bộ nhớ bạn muốn sử dụng làm nguồn hoặc bảng đích và kéo nó vào quy trình làm việc. Kết nối bảng bộ nhớ này với làm nguồn hoặc đích trong luồng dữ liệu.
Step 3 - Nhấp vào save để lưu công việc.
Có nhiều nhà cung cấp cơ sở dữ liệu khác nhau, chỉ cung cấp đường dẫn truyền thông một chiều từ cơ sở dữ liệu này sang cơ sở dữ liệu khác. Các đường dẫn này được gọi là liên kết cơ sở dữ liệu. Trong SQL Server, máy chủ được liên kết cho phép đường dẫn truyền thông một chiều từ cơ sở dữ liệu này sang cơ sở dữ liệu khác.
Thí dụ
Hãy xem xét một Máy chủ cơ sở dữ liệu cục bộ có tên “Product” lưu trữ liên kết cơ sở dữ liệu để truy cập thông tin trên máy chủ cơ sở dữ liệu từ xa được gọi là Customer. Giờ đây, người dùng được kết nối với máy chủ cơ sở dữ liệu từ xa Khách hàng không thể sử dụng cùng một liên kết để truy cập dữ liệu trong Máy chủ cơ sở dữ liệu Sản phẩm. Người dùng được kết nối với“Customer” nên có một liên kết riêng trong từ điển dữ liệu của máy chủ để truy cập dữ liệu trong máy chủ cơ sở dữ liệu Sản phẩm.
Đường liên lạc này giữa hai cơ sở dữ liệu được gọi là liên kết cơ sở dữ liệu. Kho dữ liệu, được tạo ra giữa các mối quan hệ cơ sở dữ liệu được liên kết này được gọi là Kho dữ liệu được liên kết.
Có khả năng kết nối một Kho dữ liệu này với một Kho dữ liệu khác và nhập một liên kết cơ sở dữ liệu bên ngoài như tùy chọn của Kho dữ liệu.
Adapter Datastore cho phép bạn nhập siêu dữ liệu ứng dụng vào kho lưu trữ. Bạn có thể truy cập siêu dữ liệu ứng dụng và di chuyển dữ liệu hàng loạt và thời gian thực giữa các ứng dụng và phần mềm khác nhau.
Có Bộ phát triển phần mềm bộ điều hợp - SDK do SAP cung cấp có thể được sử dụng để phát triển bộ điều hợp tùy chỉnh. Các bộ điều hợp này được hiển thị trong Trình thiết kế dịch vụ dữ liệu bởi Kho dữ liệu bộ điều hợp.
Để trích xuất hoặc tải dữ liệu bằng bộ điều hợp, bạn nên xác định ít nhất một Kho dữ liệu cho mục đích này.
Kho dữ liệu bộ điều hợp - Định nghĩa
Để xác định Kho dữ liệu thích ứng, hãy làm theo các bước đã cho:
Step 1 - Bấm Create Datastore→ Nhập tên cho Kho dữ liệu. Chọn Loại kho dữ liệu làm Bộ điều hợp. ChọnJob Server từ danh sách và Tên phiên bản bộ điều hợp và nhấp vào OK.
Để duyệt siêu dữ liệu ứng dụng
Nhấp chuột phải vào tên Kho dữ liệu và nhấp vào Open. Nó sẽ mở ra một cửa sổ mới hiển thị siêu dữ liệu nguồn. Bấm vào dấu + để kiểm tra đối tượng và bấm chuột phải vào đối tượng cần nhập.
Định dạng tệp được định nghĩa là một tập hợp các thuộc tính để trình bày cấu trúc của tệp phẳng. Nó xác định cấu trúc siêu dữ liệu. Định dạng tệp được sử dụng để kết nối với cơ sở dữ liệu nguồn và đích khi dữ liệu được lưu trữ trong tệp chứ không phải trong cơ sở dữ liệu.
Định dạng tệp được sử dụng cho các chức năng sau:
- Tạo mẫu định dạng tệp để xác định cấu trúc của tệp.
- Tạo nguồn cụ thể và định dạng tệp đích trong luồng dữ liệu.
Loại tệp sau đây có thể được sử dụng làm nguồn hoặc tệp đích bằng cách sử dụng định dạng tệp:
- Delimited
- Vận tải SAP
- Văn bản không có cấu trúc
- Nhị phân không có cấu trúc
- Chiều rộng cố định
Trình chỉnh sửa định dạng tệp
File Format Editor được sử dụng để đặt các thuộc tính cho các mẫu định dạng tệp và định dạng tệp nguồn và đích.
Các chế độ sau có sẵn trong trình chỉnh sửa định dạng tệp -
New mode - Nó cho phép bạn tạo một mẫu định dạng tệp mới.
Edit mode - Nó cho phép bạn chỉnh sửa một mẫu định dạng tệp hiện có.
Source mode - Nó cho phép bạn chỉnh sửa định dạng tệp của một tệp nguồn cụ thể.
Target mode - Nó cho phép bạn chỉnh sửa định dạng tệp của một tệp đích cụ thể.
Có ba lĩnh vực làm việc cho Trình chỉnh sửa định dạng tệp -
Properties Values - Nó được sử dụng để chỉnh sửa các giá trị cho các thuộc tính định dạng tệp.
Column Attributes - Nó được sử dụng để chỉnh sửa và xác định các cột hoặc trường trong tệp.
Data Preview - Nó được sử dụng để xem các cài đặt ảnh hưởng đến dữ liệu mẫu như thế nào.
Tạo định dạng tệp
Để tạo Định dạng tệp, hãy làm theo các bước dưới đây.
Step 1 - Vào Thư viện đối tượng cục bộ → Tệp phẳng.
Step 2 - Nhấp chuột phải vào tùy chọn Flat Files → New.
Một cửa sổ mới của Trình chỉnh sửa định dạng tệp sẽ mở ra.
Step 3- Chọn kiểu Định dạng tệp. Nhập tên mô tả mẫu định dạng tệp. Đối với các tệp có chiều rộng được phân cách và cố định, bạn có thể đọc và tải bằng Chương trình truyền tùy chỉnh. Nhập các thuộc tính khác để mô tả các tệp mà mẫu này đại diện.
Bạn cũng có thể chỉ định cấu trúc của các cột trong vùng làm việc thuộc tính cột cho một số định dạng tệp cụ thể. Khi tất cả các thuộc tính được xác định, hãy nhấp vàoSave cái nút.
Chỉnh sửa định dạng tệp
Để chỉnh sửa Định dạng Tệp, hãy làm theo các bước dưới đây.
Step 1 - Trong Thư viện Đối tượng Cục bộ, đi tới Format chuyển hướng.
Step 2- Chọn định dạng tệp bạn muốn chỉnh sửa. Nhấp chuột phải vàoEdit Lựa chọn.
Thực hiện các thay đổi trong trình chỉnh sửa định dạng tệp và nhấp vào Save cái nút.
Bạn có thể tạo một định dạng tệp copybook COBOL làm chậm quá trình tạo định dạng. Bạn có thể định cấu hình nguồn sau khi thêm định dạng vào luồng dữ liệu.
Bạn có thể tạo định dạng tệp và kết nối nó với tệp dữ liệu cùng một lúc. Làm theo các bước dưới đây.
Step 1 - Đi tới Thư viện đối tượng cục bộ → Định dạng tệp → COBOL Copybooks.
Step 2 - Nhấp chuột phải vào New Lựa chọn.
Step 3- Nhập tên Định dạng. Chuyển đến tab Định dạng → Chọn COBOL copybook để nhập. Phần mở rộng của tệp là.cpy.
Step 4 - Bấm OK. Định dạng tệp này được thêm vào thư viện Đối tượng cục bộ. Hộp thoại COBOL Copybook Schema name sẽ mở ra. Nếu được yêu cầu, hãy đổi tên lược đồ và nhấp vàoOK.
Bằng cách sử dụng kho dữ liệu cơ sở dữ liệu, bạn có thể trích xuất dữ liệu từ các bảng và hàm trong cơ sở dữ liệu. Khi bạn thực hiện nhập dữ liệu cho siêu dữ liệu,Tool cho phép bạn chỉnh sửa tên cột, kiểu dữ liệu, mô tả, v.v.
Bạn có thể chỉnh sửa các đối tượng sau:
- Tên bảng
- Tên cột dọc
- Mô tả bảng
- Mô tả cột
- Kiểu dữ liệu cột
- Loại nội dung cột
- Thuộc tính bảng
- Khóa chính
- Tên chủ sở hữu
Nhập siêu dữ liệu
Để nhập Siêu dữ liệu, hãy làm theo các bước dưới đây:
Step 1 - Vào Thư viện đối tượng cục bộ → đến Kho dữ liệu mà bạn muốn sử dụng.
Step 2 - Nhấp chuột phải vào Kho dữ liệu → Mở.
Trong không gian làm việc, tất cả các mục có sẵn để nhập sẽ được hiển thị. Chọn các mục mà bạn muốn nhập siêu dữ liệu.
Trong thư viện Đối tượng, hãy chuyển đến kho dữ liệu để xem danh sách các đối tượng đã nhập.
Bạn có thể sử dụng sổ làm việc Microsoft Excel làm nguồn dữ liệu bằng các định dạng tệp trong Dịch vụ Dữ liệu. Sổ làm việc Excel phải có sẵn trên hệ thống tệp Windows hoặc hệ thống Tệp Unix.
Sr.No. | Truy cập & Mô tả |
---|---|
1 | In the object library, click the Formats tab. Sổ làm việc Excel chính thức mô tả cấu trúc được xác định trong sổ làm việc Excel (được biểu thị bằng phần mở rộng .xls). Bạn lưu trữ các mẫu định dạng cho phạm vi dữ liệu Excel trong thư viện đối tượng. Bạn sử dụng mẫu để xác định định dạng của một nguồn cụ thể trong luồng dữ liệu. Dịch vụ dữ liệu SAP chỉ sử dụng sổ làm việc Excel là nguồn (không phải là mục tiêu). |
Nhấp chuột phải vào New tùy chọn và chọn Excel Workbook như thể hiện trong ảnh chụp màn hình bên dưới.
Trích xuất dữ liệu từ XML FILE DTD, XSD
Bạn cũng có thể nhập định dạng tệp lược đồ XML hoặc DTD.
Step 1 - Vào Thư viện đối tượng cục bộ → tab Định dạng → Lược đồ lồng nhau.
Step 2 - Chỉ vào New(Bạn có thể chọn tệp DTD hoặc Lược đồ XML hoặc định dạng tệp JSON). Nhập tên của định dạng tệp và chọn tệp bạn muốn nhập. Bấm OK.
Trích xuất dữ liệu từ COBOL Copybooks
Bạn cũng có thể nhập định dạng tệp trong các sách copy COBOL. Đi tới Thư viện đối tượng cục bộ → Định dạng → COBOL Copybooks.
Luồng dữ liệu được sử dụng để trích xuất, biến đổi và tải dữ liệu từ nguồn đến hệ thống đích. Tất cả các chuyển đổi, tải và định dạng xảy ra trong luồng dữ liệu.
Khi bạn xác định luồng dữ liệu trong một dự án, luồng này có thể được thêm vào luồng công việc hoặc công việc ETL. Luồng dữ liệu có thể gửi hoặc nhận các đối tượng / thông tin bằng cách sử dụng các tham số. Luồng dữ liệu được đặt tên theo định dạngDF_Name.
Ví dụ về Luồng dữ liệu
Giả sử rằng bạn muốn tải một bảng dữ kiện trong hệ thống DW với dữ liệu từ hai bảng trong hệ thống nguồn.
Luồng dữ liệu chứa các đối tượng sau:
- Bảng hai nguồn
- Nối giữa hai bảng và được xác định trong biến đổi Truy vấn
- Bảng mục tiêu
Có ba loại đối tượng có thể được thêm vào Luồng dữ liệu. Họ là -
- Source
- Target
- Transforms
Step 1 - Vào Thư viện đối tượng cục bộ và kéo cả hai bảng vào vùng làm việc.
Step 2 - Để thêm một Chuyển đổi Truy vấn, hãy kéo từ thanh công cụ bên phải.
Step 3 - Nối cả hai bảng và tạo bảng mục tiêu mẫu bằng cách nhấp chuột phải vào hộp Truy vấn → Thêm mới → bảng Mẫu mới.
Step 4 - Nhập tên của bảng đích, tên kho dữ liệu và chủ sở hữu (tên lược đồ) mà bảng sẽ được tạo.
Step 5 - Kéo bảng mục tiêu ở phía trước và kết hợp nó với chuyển đổi Truy vấn.
Các thông số vượt qua
Bạn cũng có thể chuyển các tham số khác nhau vào và ra khỏi luồng dữ liệu. Trong khi truyền một tham số cho một luồng dữ liệu, các đối tượng trong luồng dữ liệu sẽ tham chiếu các tham số đó. Sử dụng các tham số, bạn có thể chuyển các thao tác khác nhau vào một luồng dữ liệu.
Ví dụ - Giả sử bạn đã nhập một tham số vào bảng được cập nhật lần cuối. Nó cho phép bạn chỉ trích xuất các hàng được sửa đổi kể từ lần cập nhật cuối cùng.
Bạn có thể thay đổi các thuộc tính của luồng dữ liệu như Thực thi một lần, loại bộ đệm, liên kết cơ sở dữ liệu, song song, v.v.
Step 1 - Để thay đổi các thuộc tính của luồng dữ liệu, nhấp chuột phải vào Luồng dữ liệu → Thuộc tính
Bạn có thể đặt các thuộc tính khác nhau cho một luồng dữ liệu. Các thuộc tính được đưa ra dưới đây.
Sr không. | Thuộc tính & Mô tả |
---|---|
1 | Execute only once Khi bạn chỉ định rằng một luồng dữ liệu chỉ nên thực thi một lần, một công việc hàng loạt sẽ không bao giờ thực thi lại luồng dữ liệu đó sau khi luồng dữ liệu hoàn thành thành công, ngoại trừ nếu luồng dữ liệu được chứa trong luồng công việc là đơn vị khôi phục thực thi lại và chưa hoàn tất thành công ở nơi khác bên ngoài đơn vị khôi phục. Bạn không nên đánh dấu luồng dữ liệu là Thực thi một lần nếu luồng công việc chính là đơn vị khôi phục. |
2 | Use database links Liên kết cơ sở dữ liệu là các đường dẫn giao tiếp giữa máy chủ cơ sở dữ liệu này và máy chủ cơ sở dữ liệu khác. Liên kết cơ sở dữ liệu cho phép người dùng cục bộ truy cập dữ liệu trên cơ sở dữ liệu từ xa, có thể trên máy tính cục bộ hoặc máy tính từ xa cùng loại hoặc khác loại cơ sở dữ liệu. |
3 | Degree of parallelism Mức độ song song (DOP) là một thuộc tính của luồng dữ liệu xác định số lần mỗi chuyển đổi trong luồng dữ liệu sao chép để xử lý một tập con dữ liệu song song. |
4 | Cache type Bạn có thể lưu dữ liệu vào bộ nhớ cache để cải thiện hiệu suất của các hoạt động như nối, nhóm, sắp xếp, lọc, tra cứu và so sánh bảng. Bạn có thể chọn một trong các giá trị sau cho tùy chọn Loại bộ nhớ cache trên cửa sổ Thuộc tính luồng dữ liệu của mình -
|
Step 2 - Thay đổi các thuộc tính như Chỉ thực thi một lần, Mức độ song song và các loại bộ nhớ cache.
Đối tượng nguồn và mục tiêu
Luồng dữ liệu có thể trích xuất hoặc tải dữ liệu trực tiếp bằng các đối tượng sau:
Source objects - Đối tượng nguồn xác định nguồn từ đó dữ liệu được trích xuất hoặc bạn đọc dữ liệu.
Target objects - Đối tượng Mục tiêu xác định mục tiêu mà bạn tải hoặc ghi dữ liệu.
Loại đối tượng nguồn sau đây có thể được sử dụng và các phương pháp truy cập khác nhau được sử dụng cho các đối tượng nguồn.
Bàn | Tệp được định dạng với các cột và hàng như được sử dụng trong cơ sở dữ liệu quan hệ | Trực tiếp hoặc thông qua bộ điều hợp |
Bảng mẫu | Một bảng mẫu đã được tạo và lưu trong một luồng dữ liệu khác (được sử dụng trong phát triển) | Thẳng thắn |
Tập tin | Tệp phẳng được phân cách hoặc có chiều rộng cố định | Thẳng thắn |
Tài liệu | Tệp có định dạng dành riêng cho ứng dụng (trình phân tích cú pháp SQL hoặc XML không đọc được) | Thông qua bộ chuyển đổi |
Tệp XML | Một tệp được định dạng bằng các thẻ XML | Thẳng thắn |
Tin nhắn XML | Được sử dụng làm nguồn trong các công việc thời gian thực | Thẳng thắn |
Các đối tượng Target sau đây có thể được sử dụng và có thể áp dụng các phương pháp truy cập khác nhau.
Bàn | Tệp được định dạng với các cột và hàng như được sử dụng trong cơ sở dữ liệu quan hệ | Trực tiếp hoặc thông qua bộ điều hợp |
Bảng mẫu | Một bảng có định dạng dựa trên kết quả của biến đổi trước đó (được sử dụng trong phát triển) | Thẳng thắn |
Tập tin | Tệp phẳng được phân cách hoặc có chiều rộng cố định | Thẳng thắn |
Tài liệu | Tệp có định dạng dành riêng cho ứng dụng (trình phân tích cú pháp SQL hoặc XML không đọc được) | Thông qua bộ chuyển đổi |
Tệp XML | Một tệp được định dạng bằng các thẻ XML | Thẳng thắn |
Tệp mẫu XML | Tệp XML có định dạng dựa trên đầu ra biến đổi trước đó (được sử dụng trong phát triển, chủ yếu để gỡ lỗi luồng dữ liệu) | Thẳng thắn |
Dòng công việc được sử dụng để xác định quá trình thực thi. Mục đích chính của luồng công việc là chuẩn bị cho việc thực thi các luồng dữ liệu và thiết lập trạng thái của hệ thống, sau khi việc thực thi luồng dữ liệu hoàn tất.
Các công việc Batch trong các dự án ETL tương tự như các Quy trình làm việc với điểm khác biệt duy nhất là công việc không có tham số.
Nhiều đối tượng khác nhau có thể được thêm vào luồng công việc. Họ là -
- Quy trình làm việc
- Dòng dữ liệu
- Scripts
- Loops
- Conditions
- Thử hoặc bắt khối
Bạn cũng có thể thực hiện một luồng công việc gọi luồng công việc khác hoặc một luồng công việc có thể gọi chính nó.
Note - Trong quy trình làm việc, các bước được thực hiện theo trình tự từ trái sang phải.
Ví dụ về Luồng công việc
Giả sử có một bảng dữ kiện mà bạn muốn cập nhật và bạn đã tạo một luồng dữ liệu với phép biến đổi. Bây giờ, nếu bạn muốn di chuyển dữ liệu từ hệ thống nguồn, bạn phải kiểm tra sửa đổi cuối cùng cho bảng dữ kiện để bạn chỉ trích xuất các hàng được thêm vào sau lần cập nhật cuối cùng.
Để đạt được điều này, bạn phải tạo một tập lệnh, xác định ngày cập nhật cuối cùng và sau đó chuyển điều này làm tham số đầu vào cho luồng dữ liệu.
Bạn cũng phải kiểm tra xem kết nối dữ liệu với một bảng dữ kiện cụ thể có đang hoạt động hay không. Nếu nó không hoạt động, bạn cần thiết lập một khối bắt, khối này sẽ tự động gửi email đến quản trị viên để thông báo về sự cố này.
Quy trình công việc có thể được tạo bằng các phương pháp sau:
- Thư viện đối tượng
- Bảng công cụ
Tạo Dòng công việc bằng Thư viện Đối tượng
Để tạo luồng công việc bằng Thư viện đối tượng, hãy làm theo các bước dưới đây.
Step 1 - Vào tab Thư viện đối tượng → Dòng công việc.
Step 2 - Nhấp chuột phải vào New Lựa chọn.
Step 3 - Nhập tên Dòng công việc.
Tạo quy trình làm việc bằng bảng công cụ
Để tạo dòng công việc bằng cách sử dụng bảng công cụ, hãy nhấp vào biểu tượng ở bên phải và kéo dòng công việc trong không gian làm việc.
Bạn cũng có thể đặt để thực thi dòng công việc chỉ một lần bằng cách đi tới các thuộc tính của dòng công việc.
Điều kiện
Bạn cũng có thể thêm Điều kiện vào quy trình làm việc. Điều này cho phép bạn triển khai logic If / Else / Then trên quy trình làm việc.
Sr.No. | Điều kiện & Mô tả |
---|---|
1 | If Biểu thức Boolean đánh giá là TRUE hoặc FALSE. Bạn có thể sử dụng các hàm, biến và toán tử chuẩn để xây dựng biểu thức. |
2 | Then Các phần tử luồng công việc để thực thi nếu If biểu thức đánh giá là TRUE. |
3 | Else (Tùy chọn) Các phần tử luồng công việc để thực thi nếu If biểu thức đánh giá là FALSE. |
Để xác định một Điều kiện
Step 1 - Vào Workflow → Nhấp vào biểu tượng Điều kiện trên bảng công cụ phía bên phải.
Step 2 - Nhấp đúp vào tên của Conditional để mở If-Then–Else trình soạn thảo có điều kiện.
Step 3- Nhập Biểu thức Boolean điều khiển Điều kiện. Bấm OK.
Step 4 - Kéo Luồng dữ liệu bạn muốn thực hiện Then and Else cửa sổ theo biểu thức trong điều kiện IF.
Khi bạn hoàn thành điều kiện, bạn có thể gỡ lỗi và xác thực điều kiện.
Biến đổi được sử dụng để thao tác các tập dữ liệu làm đầu vào và tạo một hoặc nhiều đầu ra. Có nhiều phép biến đổi khác nhau, có thể được sử dụng trong Dịch vụ dữ liệu. Loại biến hình phụ thuộc vào phiên bản và sản phẩm được mua.
Các loại Biến đổi sau có sẵn:
Tích hợp dữ liệu
Các phép biến đổi Tích hợp dữ liệu được sử dụng để trích xuất, biến đổi và tải dữ liệu vào hệ thống DW. Nó đảm bảo tính toàn vẹn của dữ liệu và cải thiện năng suất của nhà phát triển.
- Data_Generator
- Data_Transfer
- Effective_Date
- Hierarchy_flattening
- Table_Comparision, v.v.
Chất lượng dữ liệu
Các biến đổi Chất lượng dữ liệu được sử dụng để cải thiện chất lượng dữ liệu. Bạn có thể áp dụng phân tích cú pháp, chỉnh sửa, chuẩn hóa, làm phong phú tập dữ liệu từ hệ thống nguồn.
- Associate
- Làm sạch dữ liệu
- DSF2 Walk Sequencer, v.v.
Nền tảng
Nền tảng được sử dụng để di chuyển tập dữ liệu. Sử dụng điều này, bạn có thể tạo, ánh xạ và hợp nhất các hàng từ hai hoặc nhiều nguồn dữ liệu.
- Case
- Merge
- Truy vấn, v.v.
Xử lý dữ liệu văn bản
Xử lý dữ liệu văn bản cho phép bạn xử lý khối lượng lớn dữ liệu văn bản.
Trong chương này, bạn sẽ thấy cách thêm Transform vào Luồng dữ liệu.
Step 1 - Chuyển đến Thư viện đối tượng → tab Chuyển đổi.
Step 2- Chọn Biến đổi mà bạn muốn thêm vào luồng dữ liệu. Nếu bạn thêm một chuyển đổi có tùy chọn để chọn cấu hình, một lời nhắc sẽ mở ra.
Step 3 - Vẽ kết nối luồng dữ liệu để kết nối nguồn với một biến đổi.
Step 4 - Nhấp đúp vào tên Chuyển đổi để mở trình chỉnh sửa chuyển đổi.
Khi định nghĩa hoàn tất, hãy nhấp vào OK để đóng trình chỉnh sửa.
Đây là biến đổi phổ biến nhất được sử dụng trong Dịch vụ dữ liệu và bạn có thể thực hiện các chức năng sau:
- Lọc dữ liệu từ các nguồn
- Kết hợp dữ liệu từ nhiều nguồn
- Thực hiện các chức năng và phép biến đổi trên dữ liệu
- Ánh xạ cột từ lược đồ đầu vào đến đầu ra
- Gán khóa chính
- Thêm các cột, lược đồ và hàm mới dẫn đến các lược đồ đầu ra
Vì chuyển đổi truy vấn là biến đổi được sử dụng phổ biến nhất, một phím tắt được cung cấp cho truy vấn này trong bảng công cụ.
Để thêm chuyển đổi Truy vấn, hãy làm theo các bước dưới đây:
Step 1- Nhấp vào bảng công cụ chuyển đổi truy vấn. Nhấp vào bất kỳ đâu trên không gian làm việc Luồng dữ liệu. Kết nối cái này với đầu vào và đầu ra.
Khi bạn nhấp đúp vào biểu tượng biến đổi Truy vấn, nó sẽ mở ra một trình soạn thảo Truy vấn được sử dụng để thực hiện các thao tác truy vấn.
Các khu vực sau đây có trong chuyển đổi Truy vấn:
- Lược đồ đầu vào
- Lược đồ đầu ra
- Parameters
Các lược đồ Đầu vào và Đầu ra chứa các Cột, Lược đồ lồng nhau và Hàm. Schema In và Schema Out hiển thị lược đồ hiện được chọn trong quá trình chuyển đổi.
Để thay đổi lược đồ đầu ra, hãy chọn lược đồ trong danh sách, nhấp chuột phải và chọn Tạo hiện tại.
Chuyển đổi chất lượng dữ liệu
Chuyển đổi chất lượng dữ liệu không thể được kết nối trực tiếp với chuyển đổi ngược dòng, chứa các bảng lồng nhau. Để kết nối các chuyển đổi này, bạn nên thêm một chuyển đổi truy vấn hoặc chuyển đổi đường ống XML giữa chuyển đổi từ bảng lồng nhau và chuyển đổi chất lượng dữ liệu.
Làm thế nào để sử dụng Chuyển đổi chất lượng dữ liệu?
Step 1 - Chuyển đến Thư viện đối tượng → tab Chuyển đổi
Step 2 - Mở rộng biến đổi Chất lượng dữ liệu và thêm cấu hình biến đổi hoặc chuyển đổi bạn muốn thêm vào luồng dữ liệu.
Step 3- Vẽ các kết nối luồng dữ liệu. Nhấp đúp vào tên của biến đổi, nó sẽ mở trình chỉnh sửa biến đổi. Trong lược đồ đầu vào, hãy chọn các trường đầu vào mà bạn muốn ánh xạ.
Note - Để sử dụng Chuyển đổi liên kết, bạn có thể thêm các trường do người dùng xác định vào tab đầu vào.
Chuyển đổi xử lý dữ liệu văn bản
Chuyển đổi xử lý dữ liệu văn bản cho phép bạn trích xuất thông tin cụ thể từ khối lượng lớn văn bản. Bạn có thể tìm kiếm các dữ kiện và thực thể như thông tin khách hàng, sản phẩm và tài chính, cụ thể cho một tổ chức.
Biến đổi này cũng kiểm tra mối quan hệ giữa các thực thể và cho phép trích xuất. Dữ liệu được trích xuất, sử dụng xử lý dữ liệu văn bản, có thể được sử dụng trong Business Intelligence, Báo cáo, truy vấn và phân tích.
Chuyển đổi trích xuất thực thể
Trong Dịch vụ dữ liệu, xử lý dữ liệu văn bản được thực hiện với sự trợ giúp của Tính năng trích xuất thực thể, tính năng này trích xuất các thực thể và dữ kiện từ dữ liệu phi cấu trúc.
Điều này liên quan đến việc phân tích và xử lý khối lượng lớn dữ liệu văn bản, tìm kiếm các thực thể, gán chúng vào loại phù hợp và trình bày siêu dữ liệu ở định dạng chuẩn.
Phép biến đổi Trích xuất thực thể có thể trích xuất thông tin từ bất kỳ nội dung văn bản, HTML, XML hoặc định dạng nhị phân nào (chẳng hạn như PDF) và tạo đầu ra có cấu trúc. Bạn có thể sử dụng đầu ra theo một số cách dựa trên quy trình làm việc của mình. Bạn có thể sử dụng nó làm đầu vào cho một chuyển đổi khác hoặc ghi vào nhiều nguồn đầu ra như bảng cơ sở dữ liệu hoặc tệp phẳng. Đầu ra được tạo bằng mã hóa UTF-16.
Entity Extract Transform can be used in the following scenarios −
Tìm kiếm một thông tin cụ thể từ một lượng lớn khối lượng văn bản.
Tìm kiếm thông tin có cấu trúc từ văn bản không có cấu trúc với thông tin hiện có để tạo kết nối mới.
Báo cáo và phân tích chất lượng sản phẩm.
Sự khác biệt giữa TDP và Dọn dẹp dữ liệu
Xử lý dữ liệu văn bản được sử dụng để tìm kiếm thông tin có liên quan từ dữ liệu văn bản phi cấu trúc. Tuy nhiên, làm sạch dữ liệu được sử dụng để chuẩn hóa và làm sạch dữ liệu có cấu trúc.
Thông số | Xử lý dữ liệu văn bản | Dọn dẹp dữ liệu |
---|---|---|
Kiểu đầu vào | Dữ liệu phi cấu trúc | Dữ liệu có cấu trúc |
Kích thước đầu vào | Hơn 5KB | Dưới 5KB |
Phạm vi đầu vào | Miền rộng với nhiều biến thể | Các biến thể hạn chế |
Sử dụng tiềm năng | Thông tin có ý nghĩa tiềm năng từ dữ liệu phi cấu trúc | Chất lượng dữ liệu để lưu trữ vào Kho lưu trữ |
Đầu ra | Tạo chú thích ở dạng thực thể, kiểu, v.v. Đầu vào không bị thay đổi | Tạo các trường chuẩn hóa, Đầu vào được thay đổi |
Quản trị Dịch vụ dữ liệu bao gồm tạo công việc hàng loạt và thời gian thực, lập lịch công việc, luồng dữ liệu nhúng, biến và tham số, cơ chế khôi phục, cấu hình dữ liệu, điều chỉnh hiệu suất, v.v.
Công việc thời gian thực
Bạn có thể tạo công việc thời gian thực để xử lý thông báo thời gian thực trong trình thiết kế Dịch vụ dữ liệu. Giống như một công việc hàng loạt, công việc thời gian thực trích xuất dữ liệu, chuyển đổi và tải nó.
Mỗi công việc thời gian thực có thể trích xuất dữ liệu từ một tin nhắn. Bạn cũng có thể trích xuất dữ liệu từ các nguồn khác như bảng hoặc tệp.
Các công việc thời gian thực không được thực thi với sự trợ giúp của các trình kích hoạt không giống như các công việc hàng loạt. Chúng được thực thi như các dịch vụ thời gian thực bởi quản trị viên. Dịch vụ thời gian thực chờ tin nhắn từ máy chủ truy cập. Máy chủ Access nhận thông báo này và chuyển nó đến các dịch vụ thời gian thực, dịch vụ này được cấu hình để xử lý loại thông báo. Các dịch vụ thời gian thực thực hiện thông báo và trả về kết quả và tiếp tục xử lý thông báo cho đến khi chúng nhận được lệnh ngừng thực thi.
Thời gian thực so với Công việc hàng loạt
Các biến đổi như các nhánh và logic điều khiển được sử dụng thường xuyên hơn trong công việc thời gian thực, điều này không đúng với các công việc hàng loạt trong trình thiết kế.
Các công việc thời gian thực không được thực thi theo lịch trình hoặc trình kích hoạt nội bộ không giống như các công việc hàng loạt.
Tạo công việc thời gian thực
Các công việc thời gian thực có thể được tạo bằng cách sử dụng các đối tượng giống nhau như luồng dữ liệu, luồng công việc, vòng lặp, điều kiện, tập lệnh, v.v.
Bạn có thể sử dụng các mô hình dữ liệu sau để tạo công việc thời gian thực:
- Mô hình luồng dữ liệu đơn lẻ
- Nhiều mô hình luồng dữ liệu
Mô hình luồng dữ liệu đơn lẻ
Bạn có thể tạo một công việc thời gian thực với một luồng dữ liệu trong vòng lặp xử lý thời gian thực của nó và nó bao gồm một nguồn thông báo duy nhất và mục tiêu thông báo duy nhất.
Creating Real Time job using single data model −
Để tạo công việc Thời gian thực bằng mô hình dữ liệu đơn lẻ, hãy làm theo các bước đã cho.
Step 1 - Đi tới Trình thiết kế dịch vụ dữ liệu → Dự án mới → Dự án → Nhập tên dự án
Step 2 - Nhấp chuột phải vào khoảng trắng trong vùng Dự án → Công việc Thời gian thực mới.
Không gian làm việc hiển thị hai thành phần của công việc Thời gian thực -
- RT_Process_begins
- Step_ends
Nó hiển thị thời gian bắt đầu và kết thúc công việc thực tế.
Step 3 - Để tạo một công việc thời gian thực với một luồng dữ liệu, hãy chọn luồng dữ liệu từ bảng công cụ ở khung bên phải và kéo nó vào vùng làm việc.
Nhấp vào bên trong vòng lặp, bạn có thể sử dụng một nguồn thông báo và một mục tiêu thông báo trong vòng lặp xử lý thời gian thực. Kết nối điểm bắt đầu và dấu kết thúc vào luồng dữ liệu.
Step 4 - Thêm các đối tượng cấu hình trong luồng dữ liệu theo yêu cầu và lưu công việc.
Nhiều mô hình luồng dữ liệu
Điều này cho phép bạn tạo một công việc thời gian thực với nhiều luồng dữ liệu trong vòng xử lý thời gian thực của nó. Bạn cũng cần đảm bảo rằng dữ liệu trong mỗi mô hình dữ liệu được xử lý đầy đủ trước khi chuyển sang thông báo tiếp theo.
Kiểm tra công việc thời gian thực
Bạn có thể kiểm tra công việc thời gian thực bằng cách chuyển thông báo mẫu dưới dạng thông báo nguồn từ tệp. Bạn có thể kiểm tra xem Dịch vụ dữ liệu có tạo ra thông báo đích mong đợi hay không.
Để đảm bảo rằng công việc của bạn mang lại cho bạn kết quả như mong đợi, bạn có thể thực hiện công việc ở chế độ xem dữ liệu. Sử dụng chế độ này, bạn có thể thu thập dữ liệu đầu ra để đảm bảo rằng công việc thời gian thực của bạn đang hoạt động tốt.
Luồng dữ liệu được nhúng
Luồng dữ liệu nhúng được gọi là luồng dữ liệu, được gọi từ luồng dữ liệu khác trong thiết kế. Luồng dữ liệu nhúng có thể chứa nhiều nguồn và mục tiêu nhưng chỉ có một đầu vào hoặc đầu ra truyền dữ liệu đến luồng dữ liệu chính.
Có thể sử dụng các loại luồng dữ liệu nhúng sau:
One Input - Luồng dữ liệu nhúng được thêm vào cuối luồng dữ liệu.
One Output - Luồng dữ liệu nhúng được thêm vào đầu luồng dữ liệu.
No input or output - Nhân rộng một luồng dữ liệu hiện có.
Luồng dữ liệu nhúng có thể được sử dụng cho mục đích sau:
Để đơn giản hóa việc hiển thị luồng dữ liệu.
Nếu bạn muốn lưu logic luồng và sử dụng lại nó trong các luồng dữ liệu khác.
Để gỡ lỗi, trong đó bạn tạo các phần của luồng dữ liệu dưới dạng luồng dữ liệu được nhúng và thực thi chúng một cách riêng biệt.
Bạn có thể chọn một đối tượng trong luồng dữ liệu hiện có. Có hai cách để tạo Luồng dữ liệu được nhúng.
lựa chọn 1
Nhấp chuột phải vào đối tượng và chọn để tạo luồng Dữ liệu được nhúng.
Lựa chọn 2
Kéo luồng dữ liệu hoàn chỉnh và xác thực từ thư viện đối tượng vào luồng dữ liệu mở trong không gian làm việc. Tiếp theo, mở luồng dữ liệu đã được tạo. Chọn đối tượng bạn muốn sử dụng làm cổng đầu vào và đầu ra và nhấp vàomake port cho đối tượng đó.
Dịch vụ dữ liệu thêm đối tượng đó làm điểm kết nối cho luồng dữ liệu nhúng.
Biến và tham số
Bạn có thể sử dụng các biến cục bộ và toàn cục với luồng dữ liệu và luồng công việc, giúp linh hoạt hơn trong việc thiết kế các công việc.
Các tính năng chính là -
Kiểu dữ liệu của một biến có thể là một số, số nguyên, số thập phân, ngày tháng hoặc một chuỗi văn bản như ký tự.
Các biến có thể được sử dụng trong các luồng dữ liệu và luồng công việc như một hàm trong Where mệnh đề.
Các biến cục bộ trong các dịch vụ dữ liệu bị hạn chế đối với đối tượng mà chúng được tạo.
Các biến toàn cục bị hạn chế đối với các công việc mà chúng được tạo ra. Sử dụng biến toàn cục, bạn có thể thay đổi giá trị cho các biến toàn cầu mặc định tại thời điểm chạy.
Các biểu thức được sử dụng trong luồng công việc và luồng dữ liệu được gọi là parameters.
Tất cả các biến và tham số trong luồng công việc và luồng dữ liệu được hiển thị trong cửa sổ biến và tham số.
Để xem các biến và tham số, hãy làm theo các bước dưới đây:
Đi tới Công cụ → Biến.
Một cửa sổ mới Variables and parametersđược hiển thị. Nó có hai tab - Định nghĩa và Cuộc gọi.
Các Definitionscho phép bạn tạo và xem các biến và tham số. Bạn có thể sử dụng các biến và tham số cục bộ ở mức luồng công việc và luồng dữ liệu. Các biến toàn cục có thể được sử dụng ở cấp độ công việc.
Việc làm |
Biến cục bộ Biến toàn cục |
Một kịch bản hoặc điều kiện trong công việc Bất kỳ đối tượng nào trong công việc |
Quy trình làm việc |
Biến cục bộ Thông số |
Luồng công việc này hoặc được truyền lại cho các luồng công việc hoặc luồng dữ liệu khác bằng cách sử dụng một tham số. Đối tượng cha để chuyển các biến cục bộ. Luồng công việc cũng có thể trả về các biến hoặc tham số cho các đối tượng mẹ. |
Dòng dữ liệu |
Thông số |
Mệnh đề WHERE, ánh xạ cột hoặc một hàm trong luồng dữ liệu. Dòng dữ liệu. Luồng dữ liệu không thể trả về giá trị đầu ra. |
Trong tab cuộc gọi, bạn có thể thấy tên của tham số được xác định cho tất cả các đối tượng trong định nghĩa của đối tượng mẹ.
Xác định biến cục bộ
Để xác định Biến cục bộ, hãy mở công việc Thời gian thực.
Step 1- Vào Công cụ → Biến. Một mớiVariables and Parameters cửa sổ sẽ mở ra.
Step 2 - Đi tới Biến → Nhấp chuột phải → Chèn
Nó sẽ tạo một tham số mới $NewVariable0.
Step 3- Nhập tên của biến mới. Chọn kiểu dữ liệu từ danh sách.
Sau khi nó được xác định, hãy đóng cửa sổ. Theo cách tương tự, bạn có thể xác định các tham số cho luồng dữ liệu và luồng công việc.
Trong trường hợp công việc của bạn không chạy thành công, bạn nên sửa lỗi và chạy lại công việc. Trong trường hợp công việc không thành công, có khả năng một số bảng đã được tải, thay đổi hoặc tải một phần. Bạn cần chạy lại công việc để lấy tất cả dữ liệu và loại bỏ mọi dữ liệu trùng lặp hoặc bị thiếu.
Hai kỹ thuật có thể được sử dụng để phục hồi như sau:
Automatic Recovery - Điều này cho phép bạn chạy các công việc không thành công trong chế độ khôi phục.
Manually Recovery - Điều này cho phép bạn chạy lại các công việc mà không cần xem xét việc chạy lại một phần thời gian trước đó.
To run a job with Recovery option enabled in Designer
Step 1 - Nhấp chuột phải vào tên công việc → Thực hiện.
Step 2 - Lưu tất cả các thay đổi và Thực hiện → Có.
Step 3- Chuyển đến tab Thực thi → hộp kiểm Bật Khôi phục. Nếu hộp này không được chọn, Dịch vụ dữ liệu sẽ không khôi phục công việc, nếu nó không thành công.
To run a job in Recovery mode from Designer
Step 1- Nhấp chuột phải và thực hiện công việc như trên. Lưu thay đổi.
Step 2- Chuyển đến Tùy chọn thực thi. Bạn phải đảm bảo rằng tùy chọnRecover from last failed execution hộp được chọn.
Note- Tùy chọn này không được bật nếu công việc chưa được thực hiện. Điều này được gọi là Tự động khôi phục công việc bị lỗi.
Data Services Designer cung cấp một tính năng của Data Profiling để đảm bảo và cải thiện chất lượng và cấu trúc của dữ liệu nguồn.
Data Profiler cho phép bạn -
Tìm các điểm bất thường trong dữ liệu nguồn, xác thực và hành động sửa chữa và chất lượng của dữ liệu nguồn.
Xác định cấu trúc và mối quan hệ của dữ liệu nguồn để thực hiện công việc, luồng công việc và luồng dữ liệu tốt hơn.
Tìm nội dung của hệ thống nguồn và đích để xác định rằng công việc của bạn mang lại kết quả như mong đợi.
Data Profiler cung cấp thông tin sau về việc thực thi máy chủ Profiler:
Phân tích cột
Basic Profiling - Bao gồm thông tin như tối thiểu, tối đa, trung bình, v.v.
Detailed Profiling - Bao gồm thông tin như số lượng riêng biệt, phần trăm riêng biệt, trung vị, v.v.
Phân tích mối quan hệ
Dữ liệu bất thường giữa hai cột mà bạn xác định mối quan hệ.
Tính năng cấu hình dữ liệu có thể được sử dụng trên dữ liệu từ các nguồn dữ liệu sau:
- Máy chủ SQL
- Oracle
- DB2
- Kết nối Attunity
- Sybase IQ
- Teradata
Kết nối với máy chủ hồ sơ
Để kết nối với Máy chủ hồ sơ -
Step 1 - Đi tới Công cụ → Đăng nhập máy chủ hồ sơ
Step 2 - Nhập các chi tiết như Hệ thống, Tên người dùng, Mật khẩu và Xác thực.
Step 3 - Nhấp vào Log on cái nút.
Khi bạn được kết nối, một danh sách các kho lưu trữ hồ sơ sẽ được hiển thị. Lựa chọnRepository và bấm vào Connect.
Hiệu suất của công việc ETL phụ thuộc vào hệ thống mà bạn đang sử dụng phần mềm Dịch vụ dữ liệu, số lần di chuyển, v.v.
Có nhiều yếu tố khác góp phần vào hiệu suất trong nhiệm vụ ETL. Họ là -
Source Data Base - Cơ sở dữ liệu nguồn nên được thiết lập để thực hiện Selectmột cách nhanh chóng. Điều này có thể được thực hiện bằng cách tăng kích thước của I / O cơ sở dữ liệu, tăng kích thước của bộ đệm được chia sẻ để lưu trữ nhiều dữ liệu hơn và không cho phép song song cho các bảng nhỏ, v.v.
Source Operating System- Hệ điều hành nguồn nên được cấu hình để đọc dữ liệu nhanh chóng từ đĩa. Đặt giao thức đọc trước thành 64KB.
Target Database - Cơ sở dữ liệu đích phải được cấu hình để thực hiện INSERT và UPDATEMau. Điều này có thể được thực hiện bởi -
- Tắt ghi nhật ký Lưu trữ.
- Tắt ghi nhật ký Làm lại cho tất cả các bảng.
- Tối đa hóa kích thước của bộ đệm được chia sẻ.
Target Operating System- Hệ điều hành đích phải được cấu hình để ghi dữ liệu vào đĩa một cách nhanh chóng. Bạn có thể bật I / O không đồng bộ để thực hiện các hoạt động Đầu vào / đầu ra nhanh nhất có thể.
Network - Băng thông mạng phải đủ để truyền dữ liệu từ nguồn đến hệ thống đích.
BODS Repository Database - Để cải thiện hiệu suất các công việc của HĐQT, có thể thực hiện những điều sau:
Monitor Sample Rate - Trong trường hợp bạn đang xử lý một lượng lớn tập dữ liệu trong một công việc ETL, hãy theo dõi Tốc độ Mẫu đến một giá trị cao hơn để giảm số lượng lệnh gọi I / O đến tệp nhật ký, do đó cải thiện hiệu suất.
Bạn cũng có thể loại trừ nhật ký Dịch vụ dữ liệu khỏi quá trình quét vi-rút nếu quá trình quét vi-rút được định cấu hình trên máy chủ công việc vì nó có thể làm giảm hiệu suất
Job Server OS - Trong Dịch vụ dữ liệu, một luồng dữ liệu trong một công việc sẽ bắt đầu một luồng dữ liệu ‘al_engine’quy trình, bắt đầu bốn chủ đề. Để có hiệu suất tối đa, hãy xem xét một thiết kế chạy một‘al_engine’xử lý trên mỗi CPU tại một thời điểm. Hệ điều hành Máy chủ công việc phải được điều chỉnh theo cách mà tất cả các luồng được truyền đến tất cả các CPU có sẵn.
Dịch vụ dữ liệu SAP BO hỗ trợ phát triển đa người dùng trong đó mỗi người dùng có thể làm việc trên một ứng dụng trong kho lưu trữ cục bộ của riêng họ. Mỗi nhóm sử dụng kho lưu trữ trung tâm để lưu bản sao chính của ứng dụng và tất cả các phiên bản của các đối tượng trong ứng dụng.
Các tính năng chính là -
Trong Dịch vụ Dữ liệu SAP, bạn có thể tạo một kho lưu trữ trung tâm để lưu trữ bản sao nhóm của một ứng dụng. Nó chứa tất cả thông tin cũng có sẵn trong kho lưu trữ cục bộ. Tuy nhiên, nó chỉ cung cấp vị trí lưu trữ thông tin đối tượng. Để thực hiện bất kỳ thay đổi nào, bạn cần phải làm việc trong kho lưu trữ cục bộ.
Bạn có thể sao chép các đối tượng từ kho lưu trữ trung tâm sang kho lưu trữ cục bộ. Tuy nhiên, nếu bạn phải thực hiện bất kỳ thay đổi nào, bạn cần kiểm tra đối tượng đó trong kho lưu trữ trung tâm. Do đó, những người dùng khác không thể kiểm tra đối tượng đó trong kho lưu trữ trung tâm và do đó, họ không thể thực hiện thay đổi đối với cùng một đối tượng.
Khi bạn thực hiện các thay đổi đối với đối tượng, bạn cần phải kiểm tra đối tượng. Nó cho phép Dịch vụ dữ liệu lưu đối tượng sửa đổi mới trong kho lưu trữ trung tâm.
Dịch vụ dữ liệu cho phép nhiều người dùng có kho lưu trữ cục bộ kết nối với kho lưu trữ trung tâm cùng một lúc nhưng chỉ một người dùng có thể kiểm tra và thực hiện thay đổi đối với một đối tượng cụ thể.
Kho lưu trữ trung tâm cũng lưu giữ lịch sử của từng đối tượng. Nó cho phép bạn hoàn nguyên về phiên bản trước của một đối tượng, nếu các thay đổi không đạt được yêu cầu.
Nhiều người dùng
Dịch vụ dữ liệu SAP BO cho phép nhiều người dùng làm việc trên cùng một ứng dụng cùng một lúc. Các điều khoản sau đây nên được xem xét trong môi trường nhiều người dùng:
Sr.No. | Nhiều người dùng & Mô tả |
---|---|
1 | Highest level object Đối tượng cấp cao nhất là đối tượng không phải là đối tượng phụ thuộc của bất kỳ đối tượng nào trong hệ thống phân cấp đối tượng. Ví dụ: nếu Công việc 1 bao gồm Luồng công việc 1 và Luồng dữ liệu 1, thì Công việc 1 là đối tượng cấp cao nhất. |
2 | Object dependents Đối tượng phụ thuộc là các đối tượng được liên kết bên dưới đối tượng cấp cao nhất trong hệ thống phân cấp. Ví dụ: nếu Công việc 1 bao gồm Luồng công việc 1 chứa Luồng dữ liệu 1, thì cả Luồng công việc 1 và Luồng dữ liệu 1 đều là phụ thuộc của Công việc 1. Ngoài ra, Luồng dữ liệu 1 là phụ thuộc của Luồng công việc 1. |
3 | Object version Phiên bản đối tượng là một thể hiện của một đối tượng. Mỗi khi bạn thêm hoặc kiểm tra một đối tượng vào kho lưu trữ trung tâm, phần mềm sẽ tạo một phiên bản mới của đối tượng. Phiên bản mới nhất của một đối tượng là phiên bản mới nhất hoặc gần đây nhất được tạo. |
Để cập nhật kho lưu trữ cục bộ trong môi trường đa người dùng, bạn có thể lấy bản sao mới nhất của từng đối tượng từ kho lưu trữ trung tâm. Để chỉnh sửa một đối tượng, bạn có thể sử dụng tùy chọn kiểm tra và đăng ký.
Có nhiều tham số bảo mật khác nhau có thể được áp dụng trên kho lưu trữ trung tâm để đảm bảo an toàn.
Các thông số bảo mật khác nhau là -
Authentication - Điều này cho phép chỉ những người dùng đích thực đăng nhập vào kho lưu trữ trung tâm.
Authorization - Điều này cho phép người dùng gán các mức quyền khác nhau cho từng đối tượng.
Auditing- Điều này được sử dụng để duy trì lịch sử của tất cả các thay đổi được thực hiện đối với một đối tượng. Bạn có thể kiểm tra tất cả các phiên bản trước đó và hoàn nguyên về các phiên bản cũ hơn.
Tạo kho lưu trữ trung tâm không an toàn
Trong môi trường phát triển đa người dùng, bạn nên làm việc theo phương pháp kho lưu trữ trung tâm.
Để tạo một kho lưu trữ trung tâm không an toàn, hãy làm theo các bước đã cho:
Step 1 - Tạo cơ sở dữ liệu, sử dụng hệ quản trị cơ sở dữ liệu, sẽ hoạt động như một kho lưu trữ trung tâm.
Step 2 - Chuyển đến Trình quản lý kho lưu trữ.
Step 3- Chọn loại Kho lưu trữ là Trung tâm. Nhập các chi tiết cơ sở dữ liệu như Tên người dùng và Mật khẩu và nhấp vàoCreate.
Step 4 - Để xác định kết nối đến Kho lưu trữ Trung tâm, Tools → Central Repository.
Step 5 - Chọn Kho lưu trữ trong kết nối Kho lưu trữ Trung tâm và nhấp vào Add biểu tượng.
Step 6 - Nhập mật khẩu cho kho lưu trữ trung tâm và nhấp vào Activate cái nút.
Tạo một kho lưu trữ trung tâm bảo mật
Để tạo một Kho lưu trữ Trung tâm an toàn, hãy chuyển đến Trình quản lý Kho lưu trữ. Chọn Loại Kho lưu trữ là Trung tâm. Nhấn vàoEnable Security Hộp kiểm tra.
Để phát triển thành công trong môi trường đa người dùng, bạn nên thực hiện một số quy trình như đăng ký và trả phòng.
Bạn có thể sử dụng các quy trình sau trong môi trường đa người dùng -
- Filtering
- Kiểm tra các đối tượng
- Đang hoàn tác thanh toán
- Kiểm tra đối tượng
- Dán nhãn đối tượng
Lọc có thể áp dụng khi bạn thêm bất kỳ đối tượng nào, đăng ký, kiểm tra và gắn nhãn các đối tượng vào kho lưu trữ trung tâm.
Di chuyển công việc nhiều người dùng
Trong Dịch vụ Dữ liệu SAP, việc di chuyển công việc có thể được áp dụng ở các cấp độ khác nhau như Cấp độ ứng dụng, Cấp độ kho lưu trữ, Cấp độ nâng cấp.
Bạn không thể sao chép trực tiếp nội dung của một kho lưu trữ trung tâm này sang kho lưu trữ trung tâm khác; bạn cần sử dụng kho lưu trữ cục bộ.
Bước đầu tiên là lấy phiên bản mới nhất của tất cả các đối tượng từ kho lưu trữ trung tâm đến kho lưu trữ cục bộ. Kích hoạt kho lưu trữ trung tâm mà bạn muốn sao chép nội dung. Thêm tất cả các đối tượng bạn muốn sao chép từ kho lưu trữ cục bộ vào kho lưu trữ trung tâm.
Di chuyển kho lưu trữ trung tâm
Nếu bạn cập nhật phiên bản của Dịch vụ dữ liệu SAP, bạn cũng cần cập nhật phiên bản của Kho lưu trữ.
Các điểm sau cần được xem xét khi di chuyển kho lưu trữ trung tâm để nâng cấp phiên bản:
Sao lưu kho lưu trữ trung tâm của tất cả các bảng và đối tượng.
Để duy trì phiên bản của các đối tượng trong dịch vụ dữ liệu, hãy duy trì một kho lưu trữ trung tâm cho mỗi phiên bản. Tạo lịch sử trung tâm mới với phiên bản mới của phần mềm Dịch vụ Dữ liệu và sao chép tất cả các đối tượng vào kho lưu trữ này.
Nếu bạn cài đặt phiên bản mới của Dịch vụ dữ liệu, bạn nên nâng cấp kho lưu trữ trung tâm của mình lên phiên bản mới của các đối tượng.
Nâng cấp kho lưu trữ cục bộ của bạn lên cùng một phiên bản, vì các phiên bản khác nhau của kho lưu trữ trung tâm và kho lưu trữ cục bộ có thể không hoạt động cùng một lúc.
Trước khi di chuyển kho lưu trữ trung tâm, hãy kiểm tra tất cả các đối tượng. Vì bạn không nâng cấp kho lưu trữ trung tâm và cục bộ đồng thời, vì vậy cần phải kiểm tra tất cả các đối tượng. Khi bạn đã nâng cấp kho lưu trữ trung tâm của mình lên phiên bản mới hơn, bạn sẽ không thể kiểm tra các đối tượng từ kho lưu trữ cục bộ có phiên bản Dịch vụ Dữ liệu cũ hơn.