Khai thác dữ liệu - Khai thác World Wide Web

World Wide Web chứa một lượng lớn thông tin cung cấp một nguồn phong phú cho việc khai thác dữ liệu.

Những thách thức trong khai thác web

Web đặt ra những thách thức lớn đối với việc khám phá tài nguyên và kiến thức dựa trên những quan sát sau:

The web is too huge- Kích thước của web rất lớn và ngày càng tăng nhanh. Điều này có vẻ như web quá lớn để lưu trữ dữ liệu và khai thác dữ liệu.
Complexity of Web pages- Các trang web không có cấu trúc thống nhất. Chúng rất phức tạp so với tài liệu văn bản truyền thống. Có rất nhiều tài liệu trong thư viện số của web. Các thư viện này không được sắp xếp theo bất kỳ thứ tự sắp xếp cụ thể nào.
Web is dynamic information source- Thông tin trên web được cập nhật nhanh chóng. Các dữ liệu như tin tức, thị trường chứng khoán, thời tiết, thể thao, mua sắm, ... được cập nhật thường xuyên.
Diversity of user communities- Cộng đồng người dùng trên web được mở rộng nhanh chóng. Những người dùng này có xuất thân, sở thích và mục đích sử dụng khác nhau. Hiện có hơn 100 triệu máy trạm được kết nối Internet và vẫn đang tăng lên nhanh chóng.
Relevancy of Information - Người ta coi rằng một người cụ thể nói chung chỉ quan tâm đến một phần nhỏ của trang web, trong khi phần còn lại của trang web chứa thông tin không liên quan đến người dùng và có thể chiếm kết quả mong muốn.

Khai thác cấu trúc bố cục trang web

Cấu trúc cơ bản của trang web dựa trên Mô hình Đối tượng Tài liệu (DOM). Cấu trúc DOM đề cập đến cấu trúc dạng cây trong đó thẻ HTML trong trang tương ứng với một nút trong cây DOM. Chúng ta có thể phân đoạn trang web bằng cách sử dụng các thẻ được xác định trước trong HTML. Do đó, cú pháp HTML rất linh hoạt, các trang web không tuân theo các thông số kỹ thuật của W3C. Không tuân theo các thông số kỹ thuật của W3C có thể gây ra lỗi trong cấu trúc cây DOM.

Cấu trúc DOM ban đầu được giới thiệu để trình bày trong trình duyệt chứ không phải để mô tả cấu trúc ngữ nghĩa của trang web. Cấu trúc DOM không thể xác định chính xác mối quan hệ ngữ nghĩa giữa các phần khác nhau của trang web.

Phân đoạn trang dựa trên tầm nhìn (VIPS)

Mục đích của VIPS là trích xuất cấu trúc ngữ nghĩa của một trang web dựa trên cách trình bày trực quan của nó.
Cấu trúc ngữ nghĩa như vậy tương ứng với cấu trúc cây. Trong cây này, mỗi nút tương ứng với một khối.
Một giá trị được gán cho mỗi nút. Giá trị này được gọi là Mức độ gắn kết. Giá trị này được gán để biểu thị nội dung mạch lạc trong khối dựa trên cảm nhận trực quan.
Thuật toán VIPS đầu tiên trích xuất tất cả các khối phù hợp từ cây DOM HTML. Sau đó, nó tìm thấy các dải phân cách giữa các khối này.
Các dấu phân cách đề cập đến các đường ngang hoặc dọc trong trang web giao nhau một cách trực quan mà không có khối.
Ngữ nghĩa của trang web được xây dựng trên cơ sở các khối này.

Hình sau cho thấy quy trình của thuật toán VIPS: