Рекомендации по обучению нейронной сети

В этой главе мы поймем различные аспекты обучения нейронной сети, которые могут быть реализованы с использованием фреймворка TensorFlow.

Ниже приведены десять рекомендаций, которые можно оценить:

Обратное распространение

Обратное распространение - это простой метод вычисления частных производных, который включает базовую форму композиции, наиболее подходящую для нейронных сетей.

Стохастический градиентный спуск

При стохастическом градиентном спуске a batch- общее количество примеров, которые пользователь использует для вычисления градиента за одну итерацию. Пока предполагается, что пакет представляет собой весь набор данных. Лучшая иллюстрация работает в масштабе Google; наборы данных часто содержат миллиарды или даже сотни миллиардов примеров.

Снижение скорости обучения

Адаптация скорости обучения - одна из наиболее важных функций оптимизации градиентного спуска. Это очень важно для реализации TensorFlow.

Выбывать

Глубокие нейронные сети с большим количеством параметров образуют мощные системы машинного обучения. Однако чрезмерная подгонка в таких сетях - серьезная проблема.

Максимальное объединение

Максимальное объединение - это процесс дискретизации на основе выборки. Цель состоит в том, чтобы уменьшить выборку входного представления, что снижает размерность с требуемыми допущениями.

Долговременная краткосрочная память (LSTM)

LSTM контролирует решение о том, какие входы должны быть приняты в указанном нейроне. Он включает в себя контроль над принятием решения о том, что следует вычислять и какие выходные данные следует генерировать.