Особенности применения градиентной оптимизации

Опубликовано: 16.10.2017

видео Особенности применения градиентной оптимизации

Информационный поиск. Ранжирование с машинным обучением

Содержание

2.2. Способы градиентной оптимизации

3.1. Постановка задачи оптимизации

 

2.3. Особенности применения градиентной оптимизации совместно с методами планирования экспериментов

Применение методов планирования экспериментов вносит в типовую процедуру градиентных методов поиска свою специфику.


Линии, стрелки и текстовые пояснения. Дескрипторная графика. Урок 108

1. В задачах экспериментального исследования функция f ( V ) обычно изначально неизвестна, ее вид выбирается относительно произвольно, а параметры устанавливается по результатам эксперимента. На начальных этапах исследования трудоемкость решения задачи оптимизации можно снизить, применяя неполные полиномы k- го порядка или линейные полиномы


ZEITGEIST: MOVING FORWARD | OFFICIAL RELEASE | 2011

y' = b 0 + b 1 x 1 +…+ b k xk + b 12 x 1 x 2 + b 13 x 1 x 3 +…

+ b k –1, k xk –1 xk +…+ b 12… k x 1 х 2 … х k + e ;

(2.5а)

y ' = b 0 + b 1 x 1 + …+ b k xk + e .

(2.5б)

Таким образом, вместо самого градиента применяется его оценка. Оба вида полинома являются линейными относительно конкретного фактора. Количество членов полинома типа (2.5а) составляет 2 k , а для типа (2.5б) равно k +1. Теоретически оценки коэффициентов в точке оптимума должны стать равными нулю, что и будет признаком завершения поиска решения. Однако применение этих моделей может стать нерациональным в области, близкой к оптимуму, из-за больших относительных погрешностей в оценке коэффициентов указанных моделей. Поэтому для исследования области оптимума следует переходить к использованию полиномов более высокой степени.

rss