Hiểu giảm độ dốc gradient theo lô nhỏ

Sep 18 2020

Tôi muốn hiểu các bước của gradient descent theo lô nhỏ để đào tạo mạng nơ-ron.

Dữ liệu chuyến tàu của tôi $(X,y)$ có kích thước $(k \times n)$ và $(1 \times n)$, Ở đâu $k$ là số lượng các tính năng và $n$ là số lần quan sát.

Đối với mỗi lớp $l=1,...L$ các thông số của tôi là $W^{[l]}$ của chiều $(n^{[l]} \times n^{[l-1]})$, Ở đâu $n^{[0]}=k$

a) Đầu tiên tôi khởi tạo ngẫu nhiên các tham số $W^{[l]}$ cho $l=1,...L$.

b) Tôi lấy một mẫu chiều dài $p\in[1,n]$ dữ liệu đào tạo của tôi, được biểu thị bằng $(X^{(1)},y^{(1)})$ cho số mẫu $1$.

c) Tôi tính toán chi phí $J^{(1)}(W)$ với lần khởi tạo đầu tiên của các tham số và mẫu đầu tiên của dữ liệu tàu.

d) Trong quá trình truyền ngược, tôi cập nhật các tham số cho $l=L,...1$ theo tỷ lệ học tập $\alpha$: $$ W^{[l]} = W^{[l]} - \alpha \text{ } \frac{\partial J^{(1)}(W)}{\partial W^{[l]}}$$

Bây giờ tôi đã thực hiện một bước giảm độ dốc với một mẫu dữ liệu tàu. Thuật toán tiếp tục như thế nào?

Nó có lặp lại bước (c) và (d) với "mới" không $W^{[l]}$ trên mẫu dữ liệu chuyến tàu thứ hai $(X^{(2)},y^{(2)})$?

Trong trường hợp này, nó có tiếp tục cho đến khi hội tụ khi mọi cập nhật trong độ dốc gradient được thực hiện với các mẫu dữ liệu tàu khác nhau không?

Vui lòng cho tôi biết nếu có điều gì không rõ ràng.

Trả lời

1 Nikaido Sep 18 2020 at 18:11

TL; DR;

Ư, bạn đung.


CÂU TRẢ LỜI DÀI

Tôi sẽ cung cấp cho bạn một chút bối cảnh

Có ba "loại" Gradient Descent chính:

  • Batch Gradient Descent
  • Stochastic Gradient Descent
  • Đổ dốc màu theo lô nhỏ

Các thuật toán này khác nhau đối với kích thước lô tập dữ liệu.

Thuật ngữ

  • epochs: epochs là số lần tập dữ liệu hoàn chỉnh được chuyển tới và lùi lại bởi thuật toán học
  • số lần lặp: số lô cần thiết để hoàn thành một kỷ nguyên
  • kích thước lô: là kích thước của mẫu tập dữ liệu

Batch Gradient Descent

Nếu bạn đang làm việc với dữ liệu đào tạo có thể vừa với bộ nhớ (RAM / VRAM), lựa chọn là Batch Gradient Descent. Trong trường hợp này, kích thước lô bằng với toàn bộ tập dữ liệu. Điều này có nghĩa là mô hình chỉ được cập nhật khi tất cả các tập dữ liệu được chuyển qua.

for epoch in number of epochs:
    - for all the training instances in the dataset compute the derivative of the cost function
    - update the weights

Stochastic Gradient Descent

Nó là một ước tính của Batch Gradient Descent. Kích thước lô bằng 1. Điều này có nghĩa là mô hình được cập nhật chỉ với một phiên bản đào tạo tại thời điểm.

for epoch in number of epochs:
    for instance in total dataset:
        - for the current instance compute the derivative of the cost function 
        - update the weights

Đổ dốc màu theo lô nhỏ

Nó là một tổng quát của Stochastic Gradient Descent. Kích thước lô bằng giá trị> = 1. Điều này có nghĩa là mô hình được cập nhật theo lô.

for epoch in number of epochs:
    for batch in num of batches:
        - for all the training instances in the batch sample compute the derivative of the cost function
        - update the weights

Ví dụ: Để rõ ràng hơn, giả sử có một tập dữ liệu gồm 1000 trường hợp (n_of_instances) và giả sử rằng đối với mọi loại giảm độ dốc, chúng ta có một số kỷ nguyên cố định (n_of_epochs) bằng 100 và là kích thước lô cho gốc gradient lô nhỏ chúng ta có 100 (batch_size) và 10 lần lặp lại (n_of_iterations = n_of_instances / batch_size = 1000/100 = 10).

  • Batch Gradient Descent: mô hình sẽ được cập nhật 100 lần (n_of_epochs)
  • Stochastic Gradient Descent: mô hình sẽ được cập nhật 100.000 lần (n_of_epochs * n_of_instances = 100 * 1000)
  • Gradient Descent loạt nhỏ: modell sẽ được cập nhật 1000 lần (n_of_iterations * n_of_epochs = 10 * 100)

Quy tắc ngón tay cái là sử dụng giảm độ dốc hàng loạt nếu bạn có thể phù hợp với tất cả tập dữ liệu trong bộ nhớ. Ngược lại, tùy thuộc vào kích thước phiên bản, sự lựa chọn sẽ là gốc gradient theo lô nhỏ với lô kích thước cố định có thể vừa hoàn toàn trong bộ nhớ. Thông thường, khi bạn sử dụng giảm độ dốc theo lô nhỏ, sự hội tụ lỗi sẽ ồn ào hơn so với giảm độ dốc hàng loạt, vì sự thay đổi nội dung của các lô

Một số giới thiệu hữu ích:

  • kỷ nguyên so với hàng loạt và lặp lại
  • Batch, Mini Batch & Stochastic Gradient Descent
  • Batch nhỏ Gradient Descent
  • Hiểu rõ về ánh sáng Gradient Dexcent Mini-Batch