Методы оптимизации 8. Негладкая оптимизация, Адаптивные методы
0:00:00 - Проблема градиента 0:03:21 - Липшецевость и выпуклость функции 0:06:23 - Субградиент и субдифференциал 0:09:31 - Условие оптимальности 0:12:36 - свойство M-Липшицевой функции 0:19:54 - Субградиентный метод 0:33:13 - Теорема сходимость субградиентного спуска 0:37:27 - Оптимизации над субградиентным спуском 0:37:40 - Оптимизация количества итераций 0:38:53 - Оптимизация нормы субградиента 0:41:03 - Оптимизация зависимости от расстояния до x* 0:41:49 - Метод AdaGradNorm 0:44:33 - Подбор шага для кажой из координат 0:45:24 - Метод AdaGrad 0:48:56 - Идея как в методе с моментумом 0:50:13 - Метод RMSProp 0:51:56 - Идея как в тяжелом шарике 0:53:40 - Метод Adam 0:55:13 - Обсуждение проблемы в Adam 0:58:49 - Подбор гиперпараметра D 1:07:04 - Добавляем оптимизации в Adam.
0:00:00 - Проблема градиента 0:03:21 - Липшецевость и выпуклость функции 0:06:23 - Субградиент и субдифференциал 0:09:31 - Условие оптимальности 0:12:36 - свойство M-Липшицевой функции 0:19:54 - Субградиентный метод 0:33:13 - Теорема сходимость субградиентного спуска 0:37:27 - Оптимизации над субградиентным спуском 0:37:40 - Оптимизация количества итераций 0:38:53 - Оптимизация нормы субградиента 0:41:03 - Оптимизация зависимости от расстояния до x* 0:41:49 - Метод AdaGradNorm 0:44:33 - Подбор шага для кажой из координат 0:45:24 - Метод AdaGrad 0:48:56 - Идея как в методе с моментумом 0:50:13 - Метод RMSProp 0:51:56 - Идея как в тяжелом шарике 0:53:40 - Метод Adam 0:55:13 - Обсуждение проблемы в Adam 0:58:49 - Подбор гиперпараметра D 1:07:04 - Добавляем оптимизации в Adam.