Gensim - Konu Modelleme
Bu bölüm, Gensim ile ilgili konu modellemesini ele almaktadır.
Verilerimize açıklama eklemek ve cümle yapısını anlamak için en iyi yöntemlerden biri hesaplamalı dil algoritmaları kullanmaktır. Hiç şüphe yok ki, bu hesaplamalı dilbilimsel algoritmaların yardımıyla verilerimiz hakkında daha ince ayrıntıları anlayabiliriz, ancak
Külliyatımızda hangi tür kelimelerin diğerlerinden daha sık göründüğünü bilebilir miyiz?
Verilerimizi gruplayabilir miyiz?
Verilerimizin altında yatan temalar olabilir miyiz?
Bütün bunları konu modelleme yardımıyla başarabilirdik. Şimdi konu modelleri kavramına derinlemesine bakalım.
Konu Modelleri nedir?
Konu modeli, metnimizdeki konular hakkında bilgi içeren olasılıksal model olarak tanımlanabilir. Ancak burada, aşağıdaki gibi iki önemli soru ortaya çıkıyor:
İlk, what exactly a topic is?
Adından da anlaşılacağı gibi konu, metnimizde temsil edilen temel fikirler veya temalardır. Size bir örnek vermek gerekirse, içeren külliyatnewspaper articles ile ilgili konular olurdu finance, weather, politics, sports, various states news ve bunun gibi.
İkinci, what is the importance of topic models in text processing?
Bildiğimiz gibi, metindeki benzerliği tespit etmek için kelimeler kullanarak bilgi alma ve arama teknikleri yapabiliriz. Ancak konu modellerinin yardımıyla artık metin dosyalarımızı kelimeler yerine konuları kullanarak arayabilir ve düzenleyebiliriz.
Bu anlamda konuların kelimelerin olasılıksal dağılımı olduğunu söyleyebiliriz. Bu nedenle, konu modellerini kullanarak, belgelerimizi konuların olasılık dağılımları olarak tanımlayabiliriz.
Konu Modellerinin Hedefleri
Yukarıda tartışıldığı gibi, konu modellemenin odak noktası, temelde yatan fikirler ve temalarla ilgilidir. Ana hedefleri aşağıdaki gibidir -
Konu modelleri, metin özetlemesi için kullanılabilir.
Belgeleri düzenlemek için kullanılabilirler. Örneğin, haber makalelerini, ilgili tüm haber makalelerini organize etmek gibi organize / birbirine bağlı bir bölümde gruplamak için konu modellemeyi kullanabiliriz.cricket.
Arama sonuçlarını iyileştirebilirler. Nasıl? Bir arama sorgusu için, farklı anahtar kelimelerin karışımına sahip belgeyi ortaya çıkarmak için konu modellerini kullanabiliriz, ancak bunlar aynı fikirdir.
Öneriler kavramı pazarlama için çok kullanışlıdır. Çeşitli çevrimiçi alışveriş siteleri, haber siteleri ve çok daha fazlası tarafından kullanılmaktadır. Konu modelleri, ne satın alınacağı, daha sonra ne okunacağı vb. Konularda önerilerde bulunmaya yardımcı olur. Bunu, listede ortak bir konuya sahip materyalleri bularak yaparlar.
Gensim'de Konu Modelleme Algoritmaları
Kuşkusuz, Gensim en popüler konu modelleme araç setidir. Ücretsiz olması ve Python'da olması onu daha popüler hale getiriyor. Bu bölümde, en popüler konu modelleme algoritmalarından bazılarını tartışacağız. Burada 'nasıl' yerine 'neye' odaklanacağız çünkü Gensim bunları bizim için çok iyi soyutlıyor.
Gizli Dirichlet Tahsisi (LDA)
Latent Dirichlet tahsisi (LDA), konu modellemesi için şu anda kullanılan en yaygın ve popüler tekniktir. Facebook araştırmacılarının 2013'te yayımlanan araştırma makalelerinde kullandıkları budur. İlk olarak 2003 yılında David Blei, Andrew Ng ve Michael Jordan tarafından önerilmiştir. Basitçe başlıklı makalelerinde LDA'yı önerdiler.Latent Dirichlet allocation.
LDA'nın özellikleri
Özellikleri aracılığıyla bu harika teknik hakkında daha fazla bilgi edinelim -
Probabilistic topic modeling technique
LDA, olasılığa dayalı bir konu modelleme tekniğidir. Yukarıda tartıştığımız gibi, konu modellemesinde, birbiriyle ilişkili herhangi bir belge koleksiyonunda (akademik makaleler, gazete makaleleri, Facebook gönderileri, Tweetler, e-postalar vb. Olabilir), her belgede yer alan bazı konu kombinasyonları olduğunu varsayıyoruz. .
Olasılıklı konu modellemesinin temel amacı, birbiriyle ilişkili belgelerin toplanması için gizli konu yapısını keşfetmektir. Aşağıdaki üç şey genellikle bir konu yapısına dahil edilir -
Topics
Konuların belgeler arasında istatistiksel dağılımı
Konuyu içeren bir belgedeki kelimeler
Work in an unsupervised way
LDA, denetimsiz bir şekilde çalışır. Bunun nedeni, LDA'nın gizli konu yapısını keşfetmek için koşullu olasılıkları kullanmasıdır. Konuların birbiriyle ilişkili belgelerin koleksiyonunda eşit olmayan bir şekilde dağıldığını varsayar.
Very easy to create it in Gensim
Gensim'de LDA modeli oluşturmak çok kolaydır. sadece külliyat, sözlük eşlemesi ve modelimizde kullanmak istediğimiz konuların sayısını belirtmemiz gerekiyor.
Model=models.LdaModel(corpus, id2word=dictionary, num_topics=100)May face computationally intractable problem
Olası her konu yapısının olasılığını hesaplamak, LDA'nın karşı karşıya kaldığı sayısal bir zorluktur. Zorlayıcıdır çünkü olası her konu yapısı altında gözlemlenen her kelimenin olasılığını hesaplaması gerekir. Çok sayıda konu ve kelimemiz varsa, LDA hesaplama açısından çetin bir problemle karşılaşabilir.
Gizli Anlamsal İndeksleme (LSI)
İlk olarak Gensim'de uygulanan konu modelleme algoritmaları Latent Dirichlet Allocation (LDA) dır-dir Latent Semantic Indexing (LSI). Aynı zamandaLatent Semantic Analysis (LSA).
1988'de Scott Deerwester, Susan Dumais, George Furnas, Richard Harshman, Thomas Landaur, Karen Lochbaum ve Lynn Streeter tarafından patenti alındı. Bu bölümde LSI modelimizi kuracağız. LDA modelini kurmakla aynı şekilde yapılabilir. LSI modelini şuradan içe aktarmamız gerekiyor:gensim.models.
LSI'nin Rolü
Aslında, LSI, özellikle dağıtımsal anlambilimde bir teknik NLP'dir. Bir dizi belge ile bu belgelerin içerdiği terimler arasındaki ilişkiyi analiz eder. Çalışması hakkında konuşursak, büyük bir metin parçasından belge başına kelime sayısını içeren bir matris oluşturur.
LSI modeli, oluşturulduktan sonra satır sayısını azaltmak için tekil değer ayrıştırması (SVD) adı verilen matematiksel bir teknik kullanır. Sıra sayısını azaltmanın yanı sıra sütunlar arasındaki benzerlik yapısını da korur. Matriste, satırlar benzersiz kelimeleri ve sütunlar her belgeyi temsil eder. Dağılım hipotezine dayalı olarak çalışır, yani anlamı yakın olan kelimelerin aynı tür metinde yer alacağını varsayar.
Model=models.LsiModel(corpus, id2word=dictionary, num_topics=100)Hiyerarşik Dirichlet Süreci (HDP)
LDA ve LSI gibi konu modelleri, elle analiz edilmesi mümkün olmayan büyük metin arşivlerinin özetlenmesine ve düzenlenmesine yardımcı olur. LDA ve LSI dışında, Gensim'deki bir diğer güçlü konu modeli HDP'dir (Hiyerarşik Dirichlet Süreci). Temelde gruplanmış verilerin denetimsiz analizi için karma üyelik modelidir. LDA'nın (sonlu muadili) aksine, HDP verilerden konu sayısını çıkarıyor.
Model=models.HdpModel(corpus, id2word=dictionary