Data Mining - Майнинг в Интернете
Всемирная паутина содержит огромное количество информации, которая является богатым источником для интеллектуального анализа данных.
Проблемы веб-майнинга
Интернет создает большие проблемы для открытия ресурсов и знаний, основываясь на следующих наблюдениях:
The web is too huge- Размер сети очень велик и быстро увеличивается. Кажется, что Интернет слишком велик для хранилищ данных и интеллектуального анализа данных.
Complexity of Web pages- Веб-страницы не имеют единой структуры. Они очень сложны по сравнению с традиционным текстовым документом. В электронной библиотеке Интернета огромное количество документов. Эти библиотеки не расположены в каком-либо определенном порядке сортировки.
Web is dynamic information source- Информация в сети быстро обновляется. Такие данные, как новости, фондовые рынки, погода, спорт, покупки и т. Д., Регулярно обновляются.
Diversity of user communities- Сообщество пользователей в сети стремительно расширяется. У этих пользователей разный опыт, интересы и цели использования. Более 100 миллионов рабочих станций подключены к Интернету, и их количество продолжает расти.
Relevancy of Information - Считается, что конкретный человек обычно интересуется только небольшой частью сети, в то время как остальная часть сети содержит информацию, которая не имеет отношения к пользователю и может затмить желаемые результаты.
Анализ структуры макета веб-страницы
Базовая структура веб-страницы основана на объектной модели документа (DOM). Структура DOM относится к древовидной структуре, в которой тег HTML на странице соответствует узлу в дереве DOM. Мы можем сегментировать веб-страницу, используя предварительно определенные теги в HTML. Синтаксис HTML гибкий, поэтому веб-страницы не соответствуют спецификациям W3C. Несоблюдение спецификаций W3C может вызвать ошибку в древовидной структуре DOM.
Изначально структура DOM была введена для представления в браузере, а не для описания семантической структуры веб-страницы. Структура DOM не может правильно определить семантическую связь между различными частями веб-страницы.
Сегментация страниц на основе видения (VIPS)
Целью VIPS является извлечение семантической структуры веб-страницы на основе ее визуального представления.
Такая семантическая структура соответствует древовидной структуре. В этом дереве каждый узел соответствует блоку.
Каждому узлу присваивается значение. Это значение называется степенью согласованности. Это значение назначается для обозначения связного содержимого в блоке на основе визуального восприятия.
Алгоритм VIPS сначала извлекает все подходящие блоки из дерева HTML DOM. После этого он находит разделители между этими блоками.
Разделители относятся к горизонтальным или вертикальным линиям на веб-странице, которые визуально пересекаются без блоков.
Семантика веб-страницы строится на основе этих блоков.
На следующем рисунке показана процедура алгоритма VIPS -