Допустим, задана функция в n-мерном пространстве, Функция, важная в народном хозяйстве: Производство молока или выпуск металла, Независимых переменных быть может немало.
Теперь мы можем поставить задачу – Оптимизировать этих продуктов подачу. Для этого параметры должны подобрать, Чтоб функция максимума могла достигать.
Припев:
Производную возьмёшь, Каким бы ни был твой функционал, И экстремум ты найдёшь, Тот, который ты давно искал.
Если твой функционал Задан с ограничением на аргумент, То составь лагранжиан И приравняй в ноль градиент.
Знаем мы, что в экстремальной точке Производная в ноль обращается точно. Это и есть Ферма теорема, В решении поможет она непременно.
Производная ноль – не значит экстремум, Достаточное условие мы также проверим. Вторые производные дают гессиан, Что он меньше нуля, нужно выяснить нам.
Припев.
Градиентный спуск заключается в том, Что нужно считать градиент, а потом Умножить на шаг и прибавить к вектору, И так мы, возможно, достигнем экстремума
Со скоростью прогрессии геометрической, А чтобы процесс ускорить значительно, Мы можем использовать метод касательных, И быстро ответ мы найдём обязательно.