Курс по численным методам оптимизации

Программа Лекций

1. Основные понятия, выпуклость, условия оптимальности
2. Методы первого порядка: градиентный спуск, ускорения и стохастическая версия
3. Методы второго порядка: метод Ньютона, квазиньютоновские методы
4. Негладкая оптимизация: проксимальные операторы, субградиентные методы, адаптивные методы
5. Методы оптимизации на множествах: методы зеркального спуска, проекции, Франк-Вульфа
6. Методы условной оптимизации: внутренней точки, внешних штрафов, ADMM
7. Координатная и безградиентная оптимизация
8. Распределенная оптимизация

Программа Семинаров

1. Матрично-векторное дифференцирование и autograd
2. Выпуклость: выпуклые множества, оболочки и функции
3. Субдифференциал
4. Задачи с ограничениями: сопряженность, двойственность, условия ККТ
5. Особые классы задач: от LP до SDP
6. Библиотеки для оптимизации: cvxpy, scipy, PyTorch, Jax
7. Сопряженные конусы
8. Дискретная оптимизация
9. Семинары на выбор

Система оценивания

Активность	Баллы
Тесты	3
ДЗ	3 + 3 доп
КР	3
Коллок	3

Необходимые условия:

1. Для уд: либо КР, либо Коллок на >= 1
2. Для хор: и то, и то на >= 1

Материалы

Неделя	Слайды семинаров	Слайды лекций
1	Повторение по линейной алгебре [Слайды]	Введение в оптимизацию [Слайды]
2	Матрично-векторное дифференцирование [Слайды, Конспект]	Условия минимума, выпуклость, гладкость [Слайды]
3	Матрично-векторное дифференцирование 2[Слайды, Конспект]	Градиентный спуск [Конспект]
4	Автоматическое дифференцирование [Слайды, Конспект]	Ускоренные методы [Конспект]
5	Выпуклые множества [Слайды, Конспект]	Стохастический град. спуск [Конспект]
6	Выпуклые функции [Слайды, Конспект]	Сопряженные градиенты [Конспект]
7	Субдифференциал [Слайды, Конспект]	Ньютоновские и квазиньютоновские методы [Конспект]
8	Сопряженные функции [Слайды, Конспект]	Негладкая оптимизация и адаптивные методы [Конспект]
9	Двойственные задачи [Слайды, Конспект]	Оптимизация на множествах [Конспект]
10	Условия оптимальности [Слайды, Конспект]	Зеркальный градиентный спуск [Конспект]
11	Стандартные виды задач [Слайды, Конспект]	Метод штрафных функций, ADMM [Конспект]
12	Конусы [Слайды, Конспект]	Метод внутренней точки [Конспект]
13	Cvxpy, Scipy [Notebook]	Седловая задача [Конспект]
14		Повтор лекций [Слайды]