Разработка алгоритма настройки параметров рекуррентных нейронных сетей с управляемыми элементами.

ВВЕДЕНИЕ 9
1 ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ 12
1.1 Основы рекуррентных нейронных сетей 12
1.1.1 Архитектуры рекуррентных нейронных сетей 12
1.1.2 Обучение рекуррентных нейронных сетей 18
1.2 Алгоритмы градиентного спуска для настройки параметров 20
1.2.1 Метод обратного распространения ошибки 20
1.2.2 Метод градиентного спуска с импульсом 22
1.2.3 Метод градиентного спуска с адаптивной нормой обучения 24
1.3 Управляемые элементы и их роль в настройке параметров 25
1.3.1 Понятие управляемых элементов 25
1.3.2 Использование управляемых элементов для управления скоростью обучения 26
1.3.3 Использование управляемых элементов для управления весами регуляризации 28
2 ПРЕДЛАГАЕМЫЙ АЛГОРИТМ НАСТРОЙКИ ПАРАМЕТРОВ RNN ДЛЯ АНАЛИЗА ФИНАНСОВОГО РЫНКА 29
2.1 Обзор предлагаемого алгоритма 29
2.1.1 Мотивация и цели алгоритма 29
2.1.2 Основные принципы алгоритма 31
2.2 Детали реализации алгоритма 32
2.2.1 Выбор управляемых элементов 32
2.2.2 Обновление управляемых элементов 34
2.2.3 Обновление весов сети 35
2.3 Гиперпараметры алгоритма и их влияние на производительность 37
2.3.1 Скорость обучения 37
2.3.2 Коэффициент импульса 38
2.3.3 Коэффициент регуляризации 39
3 ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА 40
3.1 Описание наборов данных и экспериментальной установки 40
3.1.1 Описание наборов данных 40
3.1.2 Экспериментальная установка 40
3.2 Оценка производительности предлагаемого алгоритма в сравнении с существующими методами 42
3.2.1 Разработка алгоритма 42
3.2.2 Оценка метрик модели 42
3.3 Анализ влияния управляемых элементов на производительность 50
3.3.1 Влияние управляемых элементов на скорость обучения 50
3.3.2 Влияние управляемых элементов на точность 52
4 ПРИЛОЖЕНИЯ И РАСШИРЕНИЯ 59
4.1 Использование других управляемых элементов 59
4.2 Применение алгоритма к другим типам нейронных сетей 63
4.3 Теоретический анализ алгоритма 64
5 ВЫВОДЫ 66
5.1 Краткое изложение основных результатов исследования 66
5.2 Обсуждение ограничений и перспектив предлагаемого алгоритма 68
6 СПЕЦИАЛЬНЫЕ ВОПРОСЫ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ 70
ЗАКЛЮЧЕНИЕ 75
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 76
ПРИЛОЖЕНИЕ А 78

Весь текст будет доступен после покупки

Рекуррентные нейронные сети (recurrent neural network, RNN) [1] считаются развитием однонаправленных персептронных сетей (или сетей прямого распространения, feed-forward neural networks) путем добавления обратных связей. В каждом контуре (петле) обратной связи присутствует элемент единичной задержки, благодаря которому поток сигналов может считаться однонаправленным (выходной сигнал предыдущего временного цикла рассматривается как априори заданный, который просто увеличивает размерность входного вектора). С помощью обратной связи можно накапливать информацию и использовать ее при обработке сигналов. Таким образом, в сети реализуется «память», что принципиально меняет характер ее работы и позволяет анализировать любые последовательности данных, в которых важно, в каком порядке идут значения (например, речь, текст, изображение и т.д.). В итоге, порядок следования сигналов играет существенную роль в задаче [2].
RNN состоит из двух слоев, связанных управляемыми синапсами, и блока управления нейронной сетью. Эти RNN за счет реализуемых пространственных сдвигов сигналов при передаче от слоя к слою наделяются прозрачными логическими структурами. Сигналы при обработке за счет этих сдвигов продвигаются вдоль слоев. Предусмотрена возможность управления направленностью и параметрами расходимости единичных сигналов при передаче от слоя к слою [3].

Весь текст будет доступен после покупки

1 ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ
1.1 Основы рекуррентных нейронных сетей
1.1.1 Архитектуры рекуррентных нейронных сетей
Рекуррентная нейронная сеть (RNN) – это модель глубокого обучения, которая обучена обрабатывать и преобразовывать последовательный набор входных данных в последовательный набор выходных данных. Последовательным набором данных называют такие данные, в которых компоненты имеют строгую упорядоченность и взаимосвязи на основе сложной семантики и синтаксических правил (например, слова, предложения или данные временных рядов). RNN – это программная система из множества взаимосвязанных компонентов, которая квазичеловеческим способом выполняет преобразование последовательных наборов данных, например перевод текста с одного языка на другой. RNN сейчас в значительной степени вытесняются искусственным интеллектом на основе трансформеров и большими языковыми моделями (LLM), которые намного эффективнее выполняю обработку последовательных наборов данных [7].

Рисунок 3 – Схема RNN
Простая рекуррентная нейронная сеть (сеть Элмана) (рис. 3) описывается следующими уравнениями (1, 2).
(h_t ) ?=f((h_(t-1) ) ?,(x_t ) ?), (1)
(y_t ) ?=W_hy (h_t ) ?, (2)
где: f – функция активации, ht – выход скрытого слоя на шаге t от начала последовательности, xt – вектор входных значений, Why – матрица весов между скрытым слоем и выходным слоем, yt – выход рекуррентного слоя на шаге t.
RNN состоят из нейронов, то есть узлов обработки данных, которые выполняют сложные задачи в ходе совместной работы. Нейроны распределяются по входному, выходному и нескольким скрытым слоям. Входной слой получает информацию для обработки, а выходной слой возвращает результат. Обработка, анализ и прогнозирование данных происходят в скрытых слоях.
Скрытый слой (рис. 4). В процессе работы RNN передают входные последовательности данных на скрытые слои. Также они имеют самозацикленный или повторяющийся рабочий процесс: скрытый слой может запоминать предыдущие входные данные в компоненте краткосрочной памяти и использовать их для будущих прогнозов. Модель использует текущее входное значение и сохраненное в памяти значение для прогнозирования следующей последовательности.

Весь текст будет доступен после покупки

1. Хайкин С. Нейронные сети: полный курс / пер. с англ. М.: Вильямс, 2006. 1102 с.
2. Что такое RNN? – https://aws.amazon.com/ru/what-is/recurrent-neural-network
3. В. Ю. Осипов - Рекуррентная нейронная сеть с двумя сигнальными системами
4. В. Ю. Осиповa, В. В. Никифоровa - Возможности рекуррентных нейронных сетей с управляемыми элементами по восстановлению потоков кадров
5. В.Ю. Осипов, С.В. Кулешов, Д.И. Милосердов, А.А. Зайцева, А.Ю. Аксенов - Рекуррентные нейронные сети с непрерывным обучением в задачах многофункциональной обработки новостных потоков
6. Graves A., Mohamed A. R., & Hinton G. (2013). Speech recognition with deep recurrent neural networks. In Acoustics, speech and signal processing (ICASSP), 2013 IEEE international conference on (pp. 6645-6649). IEEE.
7. Recurrent Neural Network Tutorial (2015), Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML. https://dennybritz.com/posts/wildml/recurrent-neural-networks-tutorial-part-4/.
8. Sepp Hochreiter, Jurgen Schmidhuber - Long short-term memory

Весь текст будет доступен после покупки