ОРО и корректировка весов в нейросети

Обратное распостранение ошибки в нейроннонной сети и корректировка весовых коэффициентов по методу градиентного спуска

Ранее мы улучшали поведение простого линейного классификатора и рассмотрели, как по входу и матрицам весов нейросети вычислить её выход.

Теперь предположим, что имеется некий эталоный выход, к которому должен стремиться результат работы нейросети. Для достижения эталона нам потребуется что-то перенастраивать в сети. Это будут весовые коэффициенты.

Выясним, как мы будем обновлять матрицы весов.

Заготовка распределения ошибки. Изображение из (1)

Обратное распространение ошибки в нейронной сети

Воспользуемся методом ОРО, пропорционально распределяя ошибку между имеющимися узлами:

Простая сеть и ошибка на узлах. Изображение из (1)

Определим ошибку на выходном слое , как разность между эталонным значением и полученным на выходе нейросети :

Тогда, глядя на рисунок выше, заключим, что ошибка распределяется пропорционально весам и , а ошибка должна распределяться пропорционально весам и .

Запишем эти доли в явном виде:

Итак, на основе отклонения текущего выхода от эталонного, мы будем обновлять весовые коэффициенты во всей нейросети, двигаясь с конца к её началу.

Распределение ошибки по слоям. Изображение из (1)

Но если сначала мы использовали ошибку выходного слоя, то какую ошибку использовать для узлов скрытого слоя? Ведь мы не можем указать очевидную ошибку для узла в таком слое.
Разберёмся, как определить ошибку для скрытого узла.

Ошибка скрытого слоя

Мы можем воссоединить ошибки, распределенные по связям следующим образом: ошибка на первом скрытом узле представляет собой сумму ошибок, распределенных по всем связям, исходящим из этого узла в прямом направлении:

или как показано на иллюстрации ниже:

Метод ОРО. Изображение из (1)

Применять данную методику мы будем до тех пор, пока не доберёмся до входного слоя:

Расчет ошибки на внутренних узлах. Изображение из (1)

Векторизация метода ОРО в нейросети

Опять, так как Scilab - матричный язык, адаптируем поэлементный процесс обратного распространения ошибки в нейросети под удобный нам.

Зададим эталонный вектор , тогда ошибка на выходном слое считается самым простым способом:

Ошибка на скрытом слое будет считаться с учетом вклада каждого узла следующим образом:

Здесь - элементы матрицы , задающей веса для слоёв выходной-скрытый.

Это выражение можно переписать в более простом виде, отказавшись от знаменателей в первом множителе. Тогда получим связь с весовой матрицей на текущем шаге:

Итак, ошибка скрытого вычисляется с учётом ошибки выходного слоя и матрицы :

Аналогично, для входного слоя ошибка будет вычисляться с учётом ошибки предыдущего слоя в связи с матрицей , определяющей веса входной-скрытый слоёв:

Обновление весовых коэффициентов

Для обновления весовых коэффициентов мы воспользуемся методом градиентного спуска (подробнее в (1)).

При подсчёте ошибки на каждом из слоёв, будем немного корректировать весовые коэффициенты соответвующей весовой матрицы на величину , которая на векторно-матричном языке может быть представлена как:

где
скорость обучения нейронной сети ,
ошибка текущего слоя (вектор столбец),
текущий слой (вектор-столбец),
предыдущий слой (вектор-столбец).

А обновлённая матрица весов примет вид:

Осталось лишь собрать всё в программный код обучения нейросети 😁

Данная статья создана на основе чудесной книги (1) с реализацией автором приведённых примеров на Scilab.