Методы оптимизации 14. Стохастическая оптимизация
0:00:00 - Проблема SGD 0:08:06 - Улучшение метода SGD. Идея нового метода 0:10:04 - 1-ое улучшение: Метод SAGA 0:12:53 - Описание Алгоритма 1 (SAGA) 0:14:55 - Объяснение вычисления g^k 0:21:01 - Альтернативный способ вычисление g^k не хуже 0:21:31 - Нестрогое доказательство сходимости SAGA 0:23:50 - Проблема текущего доказательства 0:24:30 - Идея нового доказательства 0:25:00 - Доказательство сходимости SAGA 0:42:46 - Главный трюк доказательства 0:48:13 - Мотивация объединения 2-ух рекурент 0:50:51 - Объединение 2-ух рекурент 1:02:13 - Теорема сходимости SAGA 1:05:07 - Плюсы метода SAGA 1:06:50 - Минусы метода SAGA 1:10:59 - Аналоги SAGA с экономией памяти 1:11:49 - Обзор SVRG 1:13:38 - Обзор SARAH 1:15:30 - Плюсы и минусы 2 методов 1:17:47 - Открытый вопрос ML
0:00:00 - Проблема SGD 0:08:06 - Улучшение метода SGD. Идея нового метода 0:10:04 - 1-ое улучшение: Метод SAGA 0:12:53 - Описание Алгоритма 1 (SAGA) 0:14:55 - Объяснение вычисления g^k 0:21:01 - Альтернативный способ вычисление g^k не хуже 0:21:31 - Нестрогое доказательство сходимости SAGA 0:23:50 - Проблема текущего доказательства 0:24:30 - Идея нового доказательства 0:25:00 - Доказательство сходимости SAGA 0:42:46 - Главный трюк доказательства 0:48:13 - Мотивация объединения 2-ух рекурент 0:50:51 - Объединение 2-ух рекурент 1:02:13 - Теорема сходимости SAGA 1:05:07 - Плюсы метода SAGA 1:06:50 - Минусы метода SAGA 1:10:59 - Аналоги SAGA с экономией памяти 1:11:49 - Обзор SVRG 1:13:38 - Обзор SARAH 1:15:30 - Плюсы и минусы 2 методов 1:17:47 - Открытый вопрос ML