Khuyến nghị cho đào tạo mạng thần kinh

Trong chương này, chúng ta sẽ hiểu các khía cạnh khác nhau của đào tạo mạng nơron có thể được thực hiện bằng cách sử dụng khung TensorFlow.

Sau đây là mười khuyến nghị, có thể được đánh giá:

Lan truyền ngược

Truyền ngược là một phương pháp đơn giản để tính các đạo hàm riêng, bao gồm dạng cấu tạo cơ bản phù hợp nhất với mạng nơron.

Stochastic Gradient Descent

Trong dốc nghiêng ngẫu nhiên, a batchlà tổng số ví dụ mà người dùng sử dụng để tính toán gradient trong một lần lặp. Cho đến nay, người ta cho rằng lô là toàn bộ tập dữ liệu. Minh họa tốt nhất là hoạt động ở quy mô Google; tập dữ liệu thường chứa hàng tỷ hoặc thậm chí hàng trăm tỷ ví dụ.

Tỷ lệ học tập giảm sút

Điều chỉnh tốc độ học tập là một trong những tính năng quan trọng nhất của tối ưu hóa độ dốc. Điều này rất quan trọng đối với việc triển khai TensorFlow.

Rơi ra ngoài

Lưới thần kinh sâu với một số lượng lớn các tham số tạo thành hệ thống học máy mạnh mẽ. Tuy nhiên, quá phù hợp là một vấn đề nghiêm trọng trong các mạng như vậy.

Tổng hợp tối đa

Tổng hợp tối đa là một quá trình tùy biến dựa trên mẫu. Đối tượng là lấy mẫu xuống một biểu diễn đầu vào, điều này làm giảm kích thước với các giả định bắt buộc.

Bộ nhớ ngắn hạn dài hạn (LSTM)

LSTM kiểm soát quyết định về những đầu vào nào nên được thực hiện trong nơ-ron được chỉ định. Nó bao gồm việc kiểm soát việc quyết định những gì nên được tính toán và những gì đầu ra nên được tạo ra.