§ 2.13. Непрерывные алгоритмы оптимизации

Дискретным алгоритмам оптимизации, которые до сих пор мы и рассматривали, можно поставить в соответствие непрерывные алгоритмы оптимизации. Эти последние алгоритмы получаются посредством предельного перехода от разностных уравнений к дифференциальным. Так, из (2.7) и (2.41) при  после замены дискретного времени  непрерывным временем , а разностей — производными получаем непрерывные алгоритмы оптимизации.

Одношаговый алгоритм при этом определяется уравнением

,                                       (2.42)

а многошаговые — уравнением

.                              (2.43)

В отличие от дискретных, для непрерывных алгоритмов по их самой природе не существует рекуррентной формы и возможны лишь дифференциальные формы (2.42), (2.43) и соответствующие им интегральные формы, которые мы пока выписывать не будем.

Поскольку для непрерывных алгоритмов не существует понятия конечного шага, то вместо одно- и многошаговых алгоритмов удобнее их называть алгоритмами первого и высших порядков. Можно указать на большое число разновидностей непрерывных алгоритмов оптимизации, хотя до последнего времени они были мало распространены на практике. Это связано с тем, что дискретные алгоритмы очень хорошо приспособлены как для ручного счета, так и для счета на цифровых вычислительных машинах. Непрерывные же алгоритмы непосредственно для ручного счета непригодны. Однако их можно реализовать с помощью аналоговых вычислительных машин. Собственно говоря, уже довольно давно непрерывные алгоритмы типа (2.42) использовались для нахождения решения систем конечных (алгебраических, трансцендентных) уравнений на аналоговых вычислительных машинах. И если рассматривать условия оптимальности как систему конечных уравнений, то многие из приемов решения конечных уравнений можно рассматривать как непрерывные алгоритмы оптимизации.

Для выяснения особенностей алгоритмов более высоких порядков и придания им определенного физического смысла рассмотрим алгоритм оптимизации второго порядка, который получается из (2.43) при :

. (2.44)

Если здесь положить  и , то мы получим алгоритм оптимизации первого порядка (2.42).

Уравнение (2.44) описывает движение тела («тяжелого шарика») массы , обладающего коэффициентом вязкого трения  и переменным коэффициентом упругости  в потенциальном поле. Выбирая соответствующие параметры «тяжелого шарика» (,), мы придаем ему возможность, с одной стороны, проскакивать небольшие локальные минимумы и, с другой стороны, быстрее достигать абсолютного глобального минимума. Разумеется, этот вывод справедлив и для дискретных многошаговых алгоритмов оптимизации, хотя для них физическая интерпретация оказывается несколько иной.

Для читателя, вероятно, не представит затруднений получить соответствующие непрерывные поисковые алгоритмы оптимизации.