Оптимизация нейронных сетей для распознавания изображений с помощью вейвлет-преобразований

ВВЕДЕНИЕ 3
1 ТЕОРЕТИЧЕСКИЕ ПОДХОДЫ К ИСПОЛЬЗОВАНИЮ РАСПРЕДЕЛЕННЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И МЕТОДЫ ИХ ОПТИМИЗАЦИИ 8
1.1 Использование распределенных вычислений в многослойных искусственных нейронных сетях 8
1.2 Модульное обучение искусственных нейронных сетей 10
1.3 Оптимизация искусственных нейронных сетей с помощью ортогональных преобразований 12
1.4 Применение преобразования Фурье для дискретного цифрового сигнала 13
1.5 Анализ качества приближения сигнала с помощью равенства Парсеваля 16
1.6 Применение вейвлет-преобразований для создания распределенной нейронной сети 19
2 ПРОЕКТИРОВАНИЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ СОЗДАНИЯ РАСПРЕДЕЛЕННЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И ИХ ОПТИМИЗАЦИЯ ДЛЯ СУЩЕСТВУЮЩЕЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ 23
2.1 Оптимизация искусственных нейронных сетей с помощью преобразования Фурье и дискретного косинусного преобразования 23
2.2 Оптимизация искусственных нейронных сетей с помощью вейвлет-преобразования 30
2.3 Модульное построение нейронных сетей на основе вейвлет-преобразования 39
ЗАКЛЮЧЕНИЕ 43
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 44

Весь текст будет доступен после покупки

В настоящее время существует значительный спрос на применение нейронных сетей. Для их создания возникла необходимость в представлении функций n переменных в виде суперпозиции функций меньшего числа переменных. Теорема Колмогорова-Арнольда, доказавшая возможность существования нейронных сетей, гласит, что каждая многомерная непрерывная функция может быть представлена в виде суперпозиции непрерывных функций одной переменной. В работах А. Колмогорова и В. Арнольда [1] установлено, что если f – многомерная непрерывная функция, то ее можно записать в виде конечной композиции непрерывных функций одной переменной и бинарной операции сложения, как записано в формуле (1):

f(x)=f(x_1,…,x_n )=?_(q=0)^2n-??_q (?_(p=1)^n-??_(q,p) (x_p ) ?) ? (1)

Данная теорема является решением тринадцатой проблемы Гильберта. В ней задача состояла в решении общих уравнений седьмой степени. Для алгебраических уравнений степени 4, корни вычисляются по формулам, которые содержат радикалы и арифметические операции. Для более высоких порядков теория полей Галуа, которая является одним из разделов алгебры, позволяющей переформулировать определенные вопросы теории полей на языке теории групп показывает, что решения алгебраических уравнений нельзя выразить в терминах базовых алгебраических операций. Применим преобразование Чирнгауза и общее алгебраическое уравнение вида (2)

Весь текст будет доступен после покупки

1 ТЕОРЕТИЧЕСКИЕ ПОДХОДЫ К ИСПОЛЬЗОВАНИЮ РАСПРЕДЕЛЕННЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И МЕТОДЫ ИХ ОПТИМИЗАЦИИ
1.1 Использование распределенных вычислений в многослойных искусственных нейронных сетях
Благодаря развитию многослойных нейронных сетей и средств для разработки методов их обучения, появилась возможность решать задачи классификации, экстраполяции, выделения признаков в условиях высокой неопределенности. То есть, при наличии малого объема данных, можно было получить вполне достоверные результаты. В настоящее время генерируется большое количество информации и данных, которые необходимо обрабатывать. Соответственно, требуется увеличение мощности и объема самих нейронных сетей. Особенный интерес вызывает обработка естественного языка, которая требует большого вычислительного ресурса, например, популярные сети GPT3, GPT4, YandexGPT, GigaChat. Эти сети используют для обработки данных миллиарды параметров, что требует большого количества ресурсов, которые могут быть получены только в облачных дата-центрах.
Облачные вычисления пришли практически во все области нашей жизни, включая хранение данных, вычисления, сетевое взаимодействие. В настоящее время, в связи с развитием нейронных сетей и увеличения траффика данных, у пользователей облачных вычислений стали возникать проблемы [7]. Например, необходимость быть всегда соединенным с интернетом, однако есть места на планете, где Интернет-соединение отсутствует.

Весь текст будет доступен после покупки

1. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения, Докл. АН СССР, 1957, том 114, номер 5, с. 953–956
2. Арнольд В. И. О представлении функций нескольких переменных в виде суперпозиции функций меньшего числа переменных // Мат. просвещение.—1958.— Вып. 3. с. 41—61
3. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей, Сиб. журн. вычисл. матем., 1:1 (1998), 11–24
4. Мак-Каллок У., Питтс У. Логическое исчисление идей, относящихся к нервной активности // Автоматы.—М.: Изд. иностр. лит., 1956.
5. Hecht-Nielsen R. Neurocomputing. Addison-Wesley, 1989
6. Кирсанова А.А., Радченко Г.И., Черных А.Н. Обзор технологий организации туманных вычислений // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2020. Т. 9, № 3. С. 35–63. DOI: 10.14529/cmse200303.
7. J. Mao, X. Chen, K. W. Nixon, C. Krieger and Y. Chen, "MoDNN: Local distributed mobile computing system for Deep Neural Network," Design, Automation & Test in Europe Conference & Exhibition (DATE), 2017, Lausanne, Switzerland, 2017, pp. 1396-1401, doi: 10.23919/DATE.2017.7927211.
8. Куссуль М.Э. Модульное представление нейронных сетей // Математические машины и системы. 2006, №4
9. Бахтин В.В. Алгоритм разделения монолитной нейронной сети для реализации туманных вычислений в устройствах на программируемой логике // Вестник ПНИПУ. Серия: Электротехника, информационные технологии, системы управления. 2022. № 41. С. 123-145. DOI: 10.15593/2224-9397/2022.1.06
10. Ushakov Y.A., Polezhaev P.N., Shukhman A.E., Ushakova M.V. Distribution of the neural network between mobile device and cloud infrastructure services [In Russian]. Research and development in the field of new IT and their applications; 2018. doi: 10.25559/SITITO.14.201804.903-910.

Весь текст будет доступен после покупки