Veri Madenciliği - Madencilik World Wide Web
World Wide Web, veri madenciliği için zengin bir kaynak sağlayan büyük miktarda bilgi içerir.
Web Madenciliğindeki Zorluklar
Web, aşağıdaki gözlemlere dayanarak kaynak ve bilgi keşfi için büyük zorluklar ortaya çıkarmaktadır -
The web is too huge- Web'in boyutu çok büyük ve hızla artıyor. Bu, web'in veri ambarlama ve veri madenciliği için çok büyük olduğu görülüyor.
Complexity of Web pages- Web sayfalarının birleştirici yapısı yoktur. Geleneksel metin belgesine kıyasla çok karmaşıklar. Dijital web kitaplığında çok miktarda belge vardır. Bu kitaplıklar herhangi bir belirli sıraya göre düzenlenmemiştir.
Web is dynamic information source- Web'deki bilgiler hızla güncellenir. Haberler, borsalar, hava durumu, spor, alışveriş vb. Veriler düzenli olarak güncellenir.
Diversity of user communities- Web'deki kullanıcı topluluğu hızla genişliyor. Bu kullanıcıların farklı geçmişleri, ilgi alanları ve kullanım amaçları vardır. İnternete bağlı ve hala hızla artan 100 milyondan fazla iş istasyonu var.
Relevancy of Information - Belirli bir kişinin genellikle ağın yalnızca küçük bir kısmıyla ilgilendiği, ağın geri kalan kısmının ise kullanıcıyla ilgili olmayan bilgileri içerdiği ve istenen sonuçları batırabileceği düşünülmektedir.
Madencilik Web sayfası düzen yapısı
Web sayfasının temel yapısı Belge Nesne Modeline (DOM) dayanmaktadır. DOM yapısı, sayfadaki HTML etiketinin DOM ağacındaki bir düğüme karşılık geldiği ağaç benzeri bir yapıya işaret eder. HTML'de önceden tanımlanmış etiketler kullanarak web sayfasını segmentlere ayırabiliriz. HTML sözdizimi esnektir, bu nedenle web sayfaları W3C spesifikasyonlarına uymaz. W3C spesifikasyonlarına uyulmaması, DOM ağaç yapısında hataya neden olabilir.
DOM yapısı başlangıçta web sayfasının anlamsal yapısının açıklaması için değil, tarayıcıda sunum için tanıtıldı. DOM yapısı, bir web sayfasının farklı bölümleri arasındaki anlamsal ilişkiyi doğru şekilde tanımlayamaz.
Görüntü tabanlı sayfa bölümleme (VIPS)
VIPS'nin amacı, bir web sayfasının anlamsal yapısını görsel sunumuna göre çıkarmaktır.
Böyle bir anlamsal yapı, bir ağaç yapısına karşılık gelir. Bu ağaçta her düğüm bir bloğa karşılık gelir.
Her düğüme bir değer atanır. Bu değer Tutarlılık Derecesi olarak adlandırılır. Bu değer, görsel algıya dayalı olarak bloktaki tutarlı içeriği belirtmek için atanır.
VIPS algoritması ilk önce tüm uygun blokları HTML DOM ağacından çıkarır. Daha sonra bu bloklar arasındaki ayırıcıları bulur.
Ayırıcılar, bir web sayfasındaki, blok olmadan görsel olarak kesişen yatay veya dikey çizgileri ifade eder.
Web sayfasının semantiği bu bloklar temelinde oluşturulmuştur.
Aşağıdaki şekil VIPS algoritmasının prosedürünü göstermektedir -
