Gensim - Lập mô hình chủ đề

Chương này đề cập đến mô hình chủ đề liên quan đến Gensim.

Để chú thích dữ liệu của chúng tôi và hiểu cấu trúc câu, một trong những phương pháp tốt nhất là sử dụng các thuật toán ngôn ngữ tính toán. Không nghi ngờ gì nữa, với sự trợ giúp của các thuật toán ngôn ngữ tính toán này, chúng tôi có thể hiểu một số chi tiết tốt hơn về dữ liệu của mình nhưng,

• Chúng ta có thể biết loại từ nào xuất hiện thường xuyên hơn những từ khác trong kho ngữ liệu của chúng ta không?

• Chúng ta có thể nhóm dữ liệu của mình không?

• Chúng ta có thể là chủ đề cơ bản trong dữ liệu của mình không?

Chúng tôi có thể đạt được tất cả những điều này với sự trợ giúp của mô hình chủ đề. Vì vậy, chúng ta hãy đi sâu vào khái niệm về mô hình chủ đề.

Mô hình chủ đề là gì?

Mô hình Chủ đề có thể được định nghĩa là mô hình xác suất chứa thông tin về các chủ đề trong văn bản của chúng tôi. Nhưng ở đây, có hai câu hỏi quan trọng nảy sinh như sau:

Đầu tiên, what exactly a topic is?

Chủ đề, như tên của nó, là những ý tưởng cơ bản hoặc các chủ đề được thể hiện trong văn bản của chúng tôi. Để cung cấp cho bạn một ví dụ, tập tài liệu chứanewspaper articles sẽ có các chủ đề liên quan đến finance, weather, politics, sports, various states news và như thế.

Thứ hai, what is the importance of topic models in text processing?

Như chúng ta biết rằng, để xác định sự giống nhau trong văn bản, chúng ta có thể thực hiện các kỹ thuật truy xuất và tìm kiếm thông tin bằng cách sử dụng các từ. Tuy nhiên, với sự trợ giúp của các mô hình chủ đề, giờ đây chúng ta có thể tìm kiếm và sắp xếp các tệp văn bản của mình bằng cách sử dụng các chủ đề chứ không phải từ.

Theo nghĩa này, chúng ta có thể nói rằng các chủ đề là sự phân bố theo xác suất của các từ. Đó là lý do tại sao, bằng cách sử dụng các mô hình chủ đề, chúng tôi có thể mô tả tài liệu của mình dưới dạng phân phối xác suất của các chủ đề.

Mục tiêu của Mô hình Chủ đề

Như đã thảo luận ở trên, trọng tâm của mô hình chủ đề là về các ý tưởng và chủ đề cơ bản. Các mục tiêu chính của nó như sau:

• Các mô hình chủ đề có thể được sử dụng để tóm tắt văn bản.

• Chúng có thể được sử dụng để sắp xếp các tài liệu. Ví dụ: chúng ta có thể sử dụng mô hình chủ đề để nhóm các bài báo lại với nhau thành một phần có tổ chức / liên kết với nhau, chẳng hạn như sắp xếp tất cả các bài báo liên quan đếncricket.

• Chúng có thể cải thiện kết quả tìm kiếm. Làm sao? Đối với truy vấn tìm kiếm, chúng tôi có thể sử dụng các mô hình chủ đề để hiển thị tài liệu có kết hợp các từ khóa khác nhau, nhưng có cùng ý tưởng.

• Khái niệm khuyến nghị rất hữu ích cho tiếp thị. Nó được sử dụng bởi nhiều trang web mua sắm trực tuyến, trang web tin tức và nhiều trang web khác. Các mô hình chủ đề giúp đưa ra các đề xuất về những gì nên mua, những gì sẽ đọc tiếp theo, v.v. Họ thực hiện điều đó bằng cách tìm các tài liệu có chủ đề chung trong danh sách.

Các thuật toán lập mô hình chủ đề trong Gensim

Không nghi ngờ gì nữa, Gensim là bộ công cụ mô hình hóa chủ đề phổ biến nhất. Tính khả dụng miễn phí của nó và bằng Python khiến nó trở nên phổ biến hơn. Trong phần này, chúng ta sẽ thảo luận về một số thuật toán mô hình hóa chủ đề phổ biến nhất. Ở đây, chúng ta sẽ tập trung vào 'cái gì' hơn là 'như thế nào' vì Gensim đã tóm tắt chúng rất tốt cho chúng ta.

Phân bổ Dirichlet tiềm ẩn (LDA)

Phân bổ Dirichlet tiềm ẩn (LDA) là kỹ thuật phổ biến và thông dụng nhất hiện nay đang được sử dụng để lập mô hình chủ đề. Đây là công cụ mà các nhà nghiên cứu Facebook đã sử dụng trong bài báo nghiên cứu của họ được xuất bản vào năm 2013. Nó được đề xuất lần đầu tiên bởi David Blei, Andrew Ng và Michael Jordan vào năm 2003. Họ đề xuất LDA trong bài báo của họ có tên đơn giảnLatent Dirichlet allocation.

Đặc điểm của LDA

Hãy cùng biết thêm về kỹ thuật tuyệt vời này thông qua các đặc điểm của nó -

Probabilistic topic modeling technique

LDA là một kỹ thuật mô hình hóa chủ đề xác suất. Như chúng ta đã thảo luận ở trên, trong mô hình chủ đề, chúng tôi giả định rằng trong bất kỳ bộ sưu tập tài liệu nào có liên quan đến nhau (có thể là bài báo học thuật, bài báo, bài đăng trên Facebook, Tweet, e-mail, v.v.), có một số kết hợp chủ đề được bao gồm trong mỗi tài liệu .

Mục tiêu chính của mô hình chủ đề xác suất là khám phá cấu trúc chủ đề ẩn để thu thập các tài liệu có liên quan với nhau. Ba điều sau thường được bao gồm trong cấu trúc chủ đề:

• Topics

• Phân phối thống kê các chủ đề giữa các tài liệu

• Các từ trên một tài liệu bao gồm chủ đề

Work in an unsupervised way

LDA hoạt động theo cách không được giám sát. Đó là bởi vì, LDA sử dụng xác suất có điều kiện để khám phá cấu trúc chủ đề ẩn. Nó giả định rằng các chủ đề được phân bổ không đều trong bộ sưu tập các tài liệu có liên quan với nhau.

Very easy to create it in Gensim

Trong Gensim, rất dễ dàng tạo mô hình LDA. chúng ta chỉ cần xác định kho ngữ liệu, ánh xạ từ điển và số lượng chủ đề chúng ta muốn sử dụng trong mô hình của mình.

Model=models.LdaModel(corpus, id2word=dictionary, num_topics=100)

May face computationally intractable problem

Tính toán xác suất của mọi cấu trúc chủ đề có thể có là một thách thức tính toán mà LDA phải đối mặt. Nó là một thách thức bởi vì nó cần phải tính toán xác suất của mọi từ được quan sát trong mọi cấu trúc chủ đề có thể. Nếu chúng ta có số lượng lớn các chủ đề và từ, LDA có thể gặp phải vấn đề khó tính toán.

Lập chỉ mục ngữ nghĩa tiềm ẩn (LSI)

Các thuật toán mô hình hóa chủ đề lần đầu tiên được triển khai trong Gensim với Latent Dirichlet Allocation (LDA) Là Latent Semantic Indexing (LSI). Nó còn được gọi làLatent Semantic Analysis (LSA).

Nó được cấp bằng sáng chế vào năm 1988 bởi Scott Deerwester, Susan Dumais, George Furnas, Richard Harshman, Thomas Landaur, Karen Lochbaum và Lynn Streeter. Trong phần này, chúng tôi sẽ thiết lập mô hình LSI của chúng tôi. Nó có thể được thực hiện theo cùng một cách thiết lập mô hình LDA. chúng tôi cần nhập mô hình LSI từgensim.models.

Vai trò của LSI

Trên thực tế, LSI là một kỹ thuật NLP, đặc biệt là trong ngữ nghĩa phân phối. Nó phân tích mối quan hệ giữa một tập hợp các tài liệu và các điều khoản mà các tài liệu này chứa đựng. Nếu chúng ta nói về hoạt động của nó, thì nó xây dựng một ma trận chứa số lượng từ trên mỗi tài liệu từ một đoạn văn bản lớn.

Sau khi được xây dựng, để giảm số lượng hàng, mô hình LSI sử dụng một kỹ thuật toán học được gọi là phân rã giá trị số ít (SVD). Cùng với việc giảm số lượng hàng, nó cũng bảo tồn cấu trúc tương tự giữa các cột. Trong ma trận, các hàng đại diện cho các từ duy nhất và các cột đại diện cho mỗi tài liệu. Nó hoạt động dựa trên giả thuyết phân bố, tức là nó giả định rằng các từ gần nghĩa sẽ xuất hiện trong cùng một loại văn bản.

Model=models.LsiModel(corpus, id2word=dictionary, num_topics=100)

Quy trình Dirichlet phân cấp (HDP)

Các mô hình chủ đề như LDA và LSI giúp tóm tắt và sắp xếp các kho lưu trữ văn bản lớn mà không thể phân tích bằng tay. Ngoài LDA và LSI, một mô hình chủ đề mạnh mẽ khác trong Gensim là HDP (Quy trình Dirichlet phân cấp). Về cơ bản, nó là một mô hình thành viên hỗn hợp để phân tích dữ liệu được nhóm không giám sát. Không giống như LDA (đối tác hữu hạn của nó), HDP suy ra số lượng chủ đề từ dữ liệu.

Model=models.HdpModel(corpus, id2word=dictionary