Численное исследование многошаговых субградиентных методов для решения негладких задач высокой размерности

ВВЕДЕНИЕ 4
ГЛАВА 1. ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ 6
1.1. Условия экстремума задачи безусловной минимизации 6
1.2. Выпуклые функции и их свойства. Сведения из выпуклого анализа 7
1.3. Базовые субградиентов схемы выработки релаксационных procedure методов разработана безусловной состоит оптимизации точки 14
1.4. Основные позволяют понятия катета теории отличительной обучения экстремума 18
ГЛАВА 2. ОБУЧАЮЩИЕСЯ РЕЛАКСАЦИОННЫЕ СУБГРАДИЕНТНЫЕ МЕТОДЫ 23
2.1. Подход функции построения рисунке алгоритмов вектор обучения значением в является методах алгоритма сопряженных являются субградиентов затратам 24
2.2. множество Итерационный согласно метод величины решения результате множества последовательность неравенств решения на основе принципах одношагового формирования алгоритма поиска обучения множества 30
2.3. Алгоритм функции минимизации экстремума на основе точке одношагового являются алгоритма выпуклой обучения итерационные для проекция решения минимума множества началу неравенств максимума 34
2.4. формулам Связь обучения с называется методом множество сопряженных векторов градиентов рисунке 37
2.5. изложен Реализация функциях алгоритма результате минимизации значений на основе векторов одношагового алгоритме алгоритмаисленные обучения справедливо для этого решения изложенные множества предложенные неравенств решения 38
2.6. Результаты параметры главы строго 42
ГЛАВА 3. МНОГОШАГОВЫЙ МЕТОД НЕГЛАДКОЙ ОПТИМИЗАЦИИ НАОСНОВЕ ДВУХШАГОВОГО АЛГОРИТМА КАЧМАЖА следующий 43
3.1. Постановка спуска задачи универсальных 43
3.2. функция Семейство неравенств Методов вектор решения производной систем степени неравенств минимизации 51
3.3. Семейство который Субградиентных принадлежит методов выхода минимизации совокупность 55
3.4. убывания Связь одномерного с построения методом такова сопряженных остановимся градиентов методов 59
3.5. Одномерная аппроксимации минимизации функции 60
3.6. Одномерный минимума поиск определения минимума. процесс Кубическая поверхности интерполяция 61
3.7. Одномерный обучения спуск новое с кубической субградиент интерполяцией текущего 67
3.8. Алгоритм минимизации 72
3.9. Численный эксперимент 74
ЗАКЛЮЧЕНИЕ 81
ЛИТЕРАТУРА 82

Весь текст будет доступен после покупки

Рассматривается задача минимизации выпуклой, но не обязательно дифференцируемой функции. Начало исследований в области субградиентных методов положено в работах [1, 2], итоги которых можно найти в [3]. Существует ряд направлений построения методов негладкой оптимизации. Одно из них основано на построении и использовании приближений функции [4-6]. Ряд эффективных подходов в области негладкой оптимизации связан с изменением метрики пространства в результате операций растяжения пространства [7, 8]. Релаксационные по расстоянию до экстремума методы минимизации предложены в [9] и получили развитие в [10]. Первые релаксационные по функции РСМ предложены в [11-13].
Потребность в методах решения негладких задач минимизации большой размерности постоянно растет. В этой работе мы остановимся на многошаговых РСМ, применимых по затратам ресурсов памяти ЭВМ для решения большеразмерных задач. В случае гладких функций МСГ [3] является одним из универсальных средством решения плохо обусловленных задач высокой размерности. МСГ является многошаговым методом, оптимальным по скорости сходимости на квадратичных функциях [3]. При определенной организации метода, существующие РСМ [11-13], как и МСГ позволяют найти минимум квадратичной функции за конечное число итераций. Представляется актуальным создание подобных многошаговых универсальных средств решения негладких задач, применимых по затратам ресурсов памяти ЭВМ для решения задач минимизации высокой размерности.

Весь текст будет доступен после покупки

Глава 1. Предварительные сведения
1.1. Условия экстремума задачи безусловной минимизации
Условия экстремума являются основой, на которой строят методы решения задач оптимизации [3]. Они определяют информацию о свойствах решения. В этом разделе будут рассмотрены условия экстремума задачи минимизации без ограничений:
min f(x), x ? Rn.
Точка x* ? X называется точкой локального минимума функции f(x) , если f(x*)?f(x) ?x?S? (x*), где S? ( x*)={x ? Rn | ||x* - x|| ? ?} - ? - окрестность точки x*, ? ? 0.
Точка х* называется точкой глобального минимума функции f(x), если f(x*)? f(x) ?x ? X.
Точка х называется стационарной, если в ней выполнено условие
?f(х) = 0. (1.3.1)
Теорема 1.3.1. (Необходимое условие 1 порядка). Пусть х*- точка минимума f(x), x?Rn , и f(x) дифференцируема в х*, тогда выполняется условие стационарности (1.3.1).
Не всякая из точек, удовлетворяющих (1.3.1), является точкой минимума.
Теорема 1.3.2. (Достаточное условие 1-го порядка). Пусть f(x) - выпуклая функция, дифференцируемая в точке х*, и выполнено условие (1.3.1). Тогда х* - точка глобального минимума f ( x ) на Rn.
Теорема 1.3.3. (Необходимое условие 2-го порядка). Пусть х* - точка минимума f(x), x?Rn и f(x) дважды дифференцируется в х*. Тогда ? 2f(x*) ? 0. ^

Весь текст будет доступен после покупки

1. Шор Н.З. Применение метода градиентного спуска для решения сетевой транспортной задачи // Матер.научн. семинара по теорет. и прикл. вопр. кибернетики и исследования операций. Киев: Науч. советпокибернетике АН УССР, 1962.Вып. 1. С. 9–17.
2. KrutikovV.N., SamoilenkoN.S., and MeshechkinV.V. On the Properties of the Method of Minimization for Convex Functions with Relaxation on the Distance to Extremum // Automation and Remote Control, 2019, Vol. 80, No. 1, pp. 102–111.
3. Wolfe Ph. Note on a method of conjugate subgradients for minimizing nondifferentiable functions // Math. Program. 1974. Vol. 7. No. 1. P. 380–383.
4. Lemarechal C. An extension of Davidon methods to non-differentiable problems // Math. Program. Study. 1975. V. 3. P. 95–109.
5. Демьянов В.Ф., Васильев Л.В. Недифференцируемая оптимизация. М.: Наука, 1981.
6. Крутиков, В.Н. Релаксационный метод минимизации с растяжением пространства в направлении субградиента / В.Н. Крутиков, Т.В. Петрова // Экономика и мат. методы. – 2003. – Т. 39, Вып. 1. – С 33-49.
7. Крутиков, В.Н. Семейство релаксационных субградиентных методов с двухранговой коррекцией матриц метрики / В.Н. Крутиков, Т.А. Горская // Экономика и мат. методы. – 2009. – Т. 45, – №4. – С 37-80.
8. Крутиков, В. Н. Новый релаксационный метод недифференцируемой минимизации / В. Н. Крутиков, Т. В. Петрова // Мат. заметки ЯГУ. 2001. Т.8. Вып. 1. С. 50-60
9. Крутиков, В.Н. Алгоритмы обучения на основе ортогонализации последовательных векторов / В.Н. Крутиков, Я.Н. Вершинин // Вестник КемГУ. – 2012 – Вып. 2 (50). – С. 37-42.
10. Цыпкин Я. З. Основы теории обучающихся систем. М.: Наука, 1970.
11. Kacmarz S. Angendherte Auflosung von Systemen Linearer Gleichungen // Bulletin Internat Academe Polon. Sci. Lett. Gl. Sci. Math. Nat A.1937.
12. Поляк Б.Т. Один общий метод решения экстремальных задач // Докл. АН СССР. 1967. Т. 174. Вып. 1. С. 33–36.

Весь текст будет доступен после покупки