Методы оптимизации 15. Координатный спуск

0:00:00 - Мотивационый пример 0:06:26 - Идея выбора признака 0:15:10 - Сравнение 2-ух методов 0:15:59 - Определение координатного спуска 0:17:20 - Мотивация координатного спуска 0:18:43 - Методы нулевого порядка (апроксимация градиента) 0:21:16 - Выбор тау (параметр для апроксимации градиента) 0:22:13 - Выбор e (параметр для апроксимации градиента) 0:23:35 - Интересный факт про равномерное распределение на сфере 0:26:34 - Back propagation - мотивация координатного метода 0:27:11 - Алгоритм координатного метода 0:29:05 - Обсуждение несмещенности оценки стох. градиента 0:30:21 - Начало доказательства сходимости 0:32:25 - Расписывание математического ожидания разности X^k+1 и X^* 0:34:00 - Преобразование скалярного произведения 0:37:30 - Преобразование второго момента 0:39:08 - Соединяем все вычисления 0:40:28 - Проблема с дисперсией (расплата за несмещенность) 0:41:10 - Продолжение доказательства 0:43:48 - Оценка на шаг координатного спуска 0:46:30 - Оценка количества операций 0:46:53 - Теорема о сходимости координатного спуска 0:47:25 - Плюсы координатного спуска 0:47:35 - Минусы координатного спуска 0:48:41 - Пример, в котором видны все + и - метода