Veri Madenciliği - Küme Analizi

Küme, aynı sınıfa ait bir nesne grubudur. Başka bir deyişle, benzer nesneler bir kümede gruplanır ve benzer olmayan nesneler başka bir kümede gruplanır.

Kümeleme nedir?

Kümeleme, bir grup soyut nesneyi benzer nesnelerin sınıflarına dönüştürme işlemidir.

Points to Remember

Bir veri nesneleri kümesi tek bir grup olarak ele alınabilir.
Kümeleme analizi yaparken önce veri setini veri benzerliğine göre gruplara ayırıyoruz ve ardından etiketleri gruplara atıyoruz.
Kümelemenin sınıflandırmaya göre temel avantajı, değişikliklere uyarlanabilir olması ve farklı grupları ayıran kullanışlı özellikleri seçmeye yardımcı olmasıdır.

Küme Analizi Uygulamaları

Kümeleme analizi, pazar araştırması, örüntü tanıma, veri analizi ve görüntü işleme gibi birçok uygulamada yaygın olarak kullanılmaktadır.
Kümeleme, pazarlamacıların müşteri tabanındaki farklı grupları keşfetmesine de yardımcı olabilir. Müşteri gruplarını satın alma modellerine göre karakterize edebilirler.
Biyoloji alanında, bitki ve hayvan taksonomilerini türetmek, benzer işlevlere sahip genleri kategorilere ayırmak ve popülasyonlara özgü yapılara ilişkin fikir edinmek için kullanılabilir.
Kümeleme ayrıca bir yer gözlem veri tabanında benzer arazi kullanımı olan alanların tanımlanmasına da yardımcı olur. Aynı zamanda bir şehirdeki ev gruplarının ev tipine, değerine ve coğrafi konuma göre belirlenmesine yardımcı olur.
Kümeleme, bilgi keşfi için web'deki belgelerin sınıflandırılmasına da yardımcı olur.
Kümeleme, kredi kartı dolandırıcılığının tespiti gibi aykırı değer tespit uygulamalarında da kullanılmaktadır.
Bir veri madenciliği işlevi olarak, küme analizi, her bir kümenin özelliklerini gözlemlemek için verilerin dağılımına ilişkin içgörü elde etmek için bir araç görevi görür.

Veri Madenciliğinde Kümeleme Gereksinimleri

Aşağıdaki noktalar, veri madenciliğinde kümelemenin neden gerekli olduğuna ışık tutmaktadır -

Scalability - Büyük veri tabanlarıyla başa çıkmak için oldukça ölçeklenebilir kümeleme algoritmalarına ihtiyacımız var.
Ability to deal with different kinds of attributes - Algoritmalar, aralık tabanlı (sayısal) veriler, kategorik ve ikili veriler gibi her türlü veriye uygulanabilmelidir.
Discovery of clusters with attribute shape- Kümeleme algoritması, rastgele şekle sahip kümeleri tespit edebilmelidir. Küçük boyutlarda küresel kümeler bulma eğiliminde olan yalnızca uzaklık ölçüleriyle sınırlandırılmamalıdırlar.
High dimensionality - Kümeleme algoritması yalnızca düşük boyutlu verileri değil, aynı zamanda yüksek boyutlu alanı da işleyebilmelidir.
Ability to deal with noisy data- Veritabanları gürültülü, eksik veya hatalı veriler içerir. Bazı algoritmalar bu tür verilere duyarlıdır ve düşük kaliteli kümelere yol açabilir.
Interpretability - Kümeleme sonuçları yorumlanabilir, anlaşılır ve kullanılabilir olmalıdır.

Kümeleme Yöntemleri

Kümeleme yöntemleri aşağıdaki kategorilere ayrılabilir -

Bölümleme Yöntemi
Hiyerarşik Yöntem
Yoğunluğa dayalı Yöntem
Izgara Tabanlı Yöntem
Modele Dayalı Yöntem
Kısıtlamaya Dayalı Yöntem

Bölümleme Yöntemi

Farz edelim ki 'n' nesneden oluşan bir veritabanı verildi ve bölümleme yöntemi verilerin 'k' bölümünü oluşturuyor. Her bölüm bir küme ve k ≤ n'yi temsil edecektir. Bu, verileri aşağıdaki gereksinimleri karşılayan k gruplarına sınıflandıracağı anlamına gelir -

Her grup en az bir nesne içerir.
Her nesne tam olarak bir gruba ait olmalıdır.

Points to remember −

Belirli sayıda bölüm için (k diyelim), bölümleme yöntemi bir ilk bölümlemeyi yaratacaktır.
Ardından, nesneleri bir gruptan diğerine taşıyarak bölümlemeyi iyileştirmek için yinelemeli yer değiştirme tekniğini kullanır.

Hiyerarşik Yöntemler

Bu yöntem, verilen veri nesneleri kümesinin hiyerarşik bir ayrışmasını yaratır. Hiyerarşik yöntemleri, hiyerarşik ayrıştırmanın nasıl oluştuğuna göre sınıflandırabiliriz. Burada iki yaklaşım var -

Aglomeratif Yaklaşım
Bölücü Yaklaşım

Aglomeratif Yaklaşım

Bu yaklaşım aynı zamanda aşağıdan yukarıya yaklaşım olarak da bilinir. Bunda, her nesnenin ayrı bir grup oluşturmasıyla başlıyoruz. Birbirine yakın olan nesneleri veya grupları birleştirmeye devam eder. Tüm gruplar tek bir grup halinde birleştirilene veya fesih koşulu geçerli olana kadar bunu yapmaya devam eder.

Bölücü Yaklaşım

Bu yaklaşım aynı zamanda yukarıdan aşağıya yaklaşım olarak da bilinir. Buna aynı kümedeki tüm nesnelerle başlarız. Sürekli yinelemede, bir küme daha küçük kümelere bölünür. Bir kümedeki her nesne veya sonlandırma koşulu geçerli olana kadar devre dışıdır. Bu yöntem katıdır, yani bir birleştirme veya bölme yapıldıktan sonra asla geri alınamaz.

Hiyerarşik Kümeleme Kalitesini Artırma Yaklaşımları

Hiyerarşik kümeleme kalitesini iyileştirmek için kullanılan iki yaklaşım şunlardır:

Her hiyerarşik bölümlemede nesne bağlantılarının dikkatli bir analizini yapın.
Nesneleri mikro kümeler halinde gruplandırmak için önce hiyerarşik bir kümelemeli algoritma kullanarak ve ardından mikro kümeler üzerinde makro kümeleme gerçekleştirerek hiyerarşik kümelemeyi entegre edin.

Yoğunluğa dayalı Yöntem

Bu yöntem yoğunluk kavramına dayanmaktadır. Temel fikir, komşuluktaki yoğunluk bazı eşikleri aştığı sürece, belirli bir kümeyi büyütmeye devam etmektir, yani, belirli bir küme içindeki her veri noktası için, belirli bir kümenin yarıçapı en az minimum sayıda nokta içermelidir.

Izgara Tabanlı Yöntem

Bunda, nesneler birlikte bir ızgara oluşturur. Nesne uzayı, bir ızgara yapısı oluşturan sınırlı sayıda hücreye nicelendirilir.

Advantages

Bu yöntemin en büyük avantajı hızlı işlem süresidir.
Yalnızca nicelenmiş uzaydaki her boyuttaki hücre sayısına bağlıdır.

Model tabanlı yöntemler

Bu yöntemde, belirli bir model için en uygun veriyi bulmak için her bir küme için bir model varsayılır. Bu yöntem, yoğunluk işlevini kümeleyerek kümeleri bulur. Veri noktalarının uzamsal dağılımını yansıtır.

Bu yöntem aynı zamanda standart istatistiklere dayalı olarak küme sayısını, aykırı değeri veya gürültüyü hesaba katarak otomatik olarak belirleme yolu sağlar. Bu nedenle, sağlam kümeleme yöntemleri sağlar.

Kısıtlamaya Dayalı Yöntem

Bu yöntemde, kümeleme, kullanıcı veya uygulamaya yönelik kısıtlamaların dahil edilmesiyle gerçekleştirilir. Bir kısıtlama, kullanıcı beklentisine veya istenen kümeleme sonuçlarının özelliklerine atıfta bulunur. Kısıtlamalar, bize kümeleme süreciyle etkileşimli bir iletişim yolu sağlar. Kısıtlamalar kullanıcı veya uygulama gereksinimi tarafından belirlenebilir.