Hồi quy logistic theo chiều sâu

Một kỹ thuật thống kê phổ biến để giải quyết các vấn đề phân loại trong học máy là hồi quy logistic. Hồi quy logistic là một phương pháp dự đoán các kết quả nhị phân, chẳng hạn như “có” hoặc “không” hoặc “đúng” hoặc “sai”, trái ngược với hồi quy tuyến tính, được sử dụng để dự đoán các kết quả liên tục. Hàm logistic chuyển đổi bất kỳ đầu vào nào có giá trị thực thành một số trong khoảng từ 0 đến 1, đóng vai trò là nền tảng cho mô hình hồi quy logistic. Chúng tôi sẽ đưa ra lời giải thích thấu đáo về hồi quy logistic trong bài đăng này, bao gồm nền tảng toán học và nguồn gốc của nó. Đầu tiên, chúng ta sẽ bắt đầu với hàm sigmoid và sau đó chúng ta sẽ nói về mô hình hồi quy logistic. Tuy nhiên, nếu bạn muốn tìm hiểu thêm về các chức năng kích hoạt, hãy xem bài viết này.

Hàm kích hoạt trong Machine Learning

Hàm sigma

Một biểu thức toán học được gọi là hàm sigmoid chuyển đổi bất kỳ đầu vào có giá trị thực nào thành một số trong khoảng từ 0 đến 1 và còn được gọi là hàm logistic. Hàm sigmoid có thể được định nghĩa như sau:

Ở đâu:

• z biểu thị một dòng phân loại giống như hồi quy tuyến tính,
• e là cơ số logarit tự nhiên.

Trong các mạng thần kinh nhân tạo, hàm sigmoid thường được sử dụng làm hàm kích hoạt. Dựa trên đầu vào và trọng số của nó, đầu ra của nơ-ron được xác định bởi hàm kích hoạt trong mạng nơ-ron. Mạng nơ-ron được sử dụng rộng rãi trong học máy nhưng chúng tôi sẽ không thảo luận về nó trong bài viết này. Nếu bạn muốn tìm hiểu thêm, vui lòng xem bài viết này ( sẽ được đăng ).

Mô hình hồi quy logistic

Mô hình hồi quy logistic đưa ra dự đoán về khả năng xảy ra kết quả nhị phân (đúng/sai hoặc có/không) dựa trên một hoặc nhiều tính năng đầu vào bằng hàm logistic. Xác suất dự đoán của lớp tích cực được biểu thị bằng đầu ra của hàm logistic, nằm trong khoảng từ 0 đến 1. Sau đó, quan sát được phân loại là tích cực nếu xác suất dự đoán vượt quá ngưỡng, thường được đặt ở mức 0,5, để xác định dự đoán lớp học. Bằng cách giảm khả năng xảy ra nhật ký âm của dữ liệu, phản ánh sự chênh lệch giữa xác suất dự đoán và nhãn lớp thực tế, các hệ số của mô hình hồi quy logistic được tối ưu hóa. Hàm chi phí cho hồi quy logistic thường được gọi là tổn thất entropy chéo nhị phân.

Hàm lỗi entropy chéo nhị phân

Một hàm mất mát phổ biến trong học máy, đặc biệt đối với các vấn đề phân loại nhị phân, là hàm lỗi nhị phân entropy chéo. Nó tính toán sự khác biệt giữa nhãn thực của biến mục tiêu nhị phân và xác suất dự đoán. Trong phân loại nhị phân, mục tiêu là dự đoán khả năng biến mục tiêu được cung cấp một tập hợp các tính năng. Biến mục tiêu chỉ có thể nhận hai giá trị, chẳng hạn như 0 và 1. Hàm lỗi entropy chéo nhị phân được định nghĩa như sau:

Ở đâu:

• y_n là xác suất dự đoán cho lớp tích cực,
• t_n là nhãn thực, 0 hoặc 1,
• và J là một hàm mục tiêu mà chúng ta cố gắng tối thiểu hóa hoặc tối đa hóa z e.

Tuy nhiên, chúng tôi sẽ sử dụng đạo hàm riêng của hàm lỗi nhị phân entropy chéo đối với các tham số để xác định các hệ số của mô hình hồi quy logistic cho các giá trị tối ưu. Hãy bắt đầu bằng cách lấy một phần hàm chi phí để tìm các giá trị tối ưu của trọng số hồi quy logistic. Chúng ta có thể bắt đầu bằng cách xác định đạo hàm của J đối với y_n. Sau đó, chúng ta có thể tìm đạo hàm của y_n đối với đầu vào của hàm sigmoid, đóng vai trò là hàm kích hoạt của hồi quy logistic, và sau đó chúng ta có thể lấy đạo hàm của a đối với các trọng số.

Theo đó, chúng ta có thể thu được biểu thức để xác định giá trị lý tưởng của thuật ngữ độ chệch, trong đó độ lệch thường được đặt thành 1. Ngoài ra, độ chệch có thể được đưa vào trọng số bằng cách đưa vào giá trị 1.

Sau khi có được các biểu thức của tham số tìm kiếm, chúng ta có thể chuyển sang phần thực hiện trong ngôn ngữ lập trình python.

import numpy as np

N = 100

def sigmoid_function(an):
    return 1/(1 + np.exp(-an))

def binary_cross_entropy(T, Y):
    E = 0
    for i in range(len(T)):
        if T[i] == 1:
            E -= np.log(Y[i])
        else:
            E -= np.log(1 - Y[i])
    return E

#short overwiev of updating process of w's
learning_rate = 0.01
for i in range(N):
    # gradient descent weight udpate
    w += learning_rate * Xb.T.dot(Y - T)

    # recalculate Y
    Y = sigmoid(Xb.dot(w))

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression(random_state=0).fit(X, y)
clf.predict_proba(X)
clf.score(X, y)

Việc thêm thời hạn phạt cũng cho phép sửa đổi hàm chi phí. Việc trang bị quá mức có thể được ngăn chặn trong hồi quy logistic và hồi quy tuyến tính thông qua quy chuẩn hóa. Thuật ngữ này khuyến khích các hệ số có độ lớn nhỏ, làm giảm tác động của chúng đối với các dự đoán của mô hình. Hình phạt đối với chính quy hóa L1, còn được gọi là Lasso, bằng giá trị tuyệt đối của các hệ số, nhưng hình phạt đối với chính quy hóa L2, còn được gọi là Ridge, bằng bình phương của các hệ số. Hai phương pháp chính quy này là điển hình và chúng tôi sẽ thảo luận về hai phương pháp chính quy này trong bài viết tiếp theo ( sẽ được đăng ).

Phân loại nhiều lớp

Các vấn đề phân loại nhiều lớp, trong đó kết quả có thể có nhiều hơn hai giá trị, có thể được xử lý bằng cách sử dụng phần mở rộng của hồi quy logistic. Thông thường, một số mô hình hồi quy logistic nhị phân được đào tạo, một mô hình cho mỗi lớp, sử dụng phương pháp một đối với tất cả hoặc một đối với phần còn lại. Dự báo sau đó được thực hiện cho lớp có xác suất dự đoán cao nhất.

giới hạn

Do hồi quy logistic sử dụng mô hình tuyến tính nên nó có thể không phù hợp với dữ liệu khi có mối tương quan phức tạp giữa các biến độc lập và kết quả nhị phân. Hơn nữa, hồi quy logistic không đưa ra ước tính về phương sai của các xác suất dự đoán, điều này rất quan trọng để hiểu và đánh giá mô hình.

Nếu bạn thích bài viết, hãy nhớ theo dõi tôi để đón những bài viết mới của tôi.