§ 2.16. Условия сходимости

Расшифруем условие (2.51) для наиболее простого и распространенного случая стационарного алгоритма оптимизации, когда .

Можно установить, что оно эквивалентно следующим условиям:

                        (2.53)

Условие а) определяет максимальный коэффициент усиления. Конкретное значение  зависит от выбора нормы.

Условие б) устанавливает определенный характер поведения поверхности вблизи точки , соответствующий тому, что в системе имеется отрицательная обратная связь. Наконец, условие в) определяет характер изменения нормы градиента.

Нужно ли напоминать, что условия (2.53) являются достаточными условиями сходимости? Приведенные выше условия обеспечивают сходимость для достаточно широкого класса , любого значения  и при любых начальных значениях . Если ограничиться требованием сходимости лишь при конечных значениях , то можно получить разнообразные условия сходимости итеративных методов. Многие из этих условий можно найти в литературе по вычислительной математике.

При практическом применении описанных методов нас поджидает определенная трудность: в выражения, определяющие условия устойчивости в малом или большом, всегда входит неизвестный нам оптимальный вектор . В классической теории устойчивости предполагается, что значение  каким-то образом ранее определено, здесь же это предположение не может быть оправдано, так как сами итеративные методы являются средством определения . Однако эту трудность удается преодолеть, взяв на вооружение понятие абсолютной устойчивости, широко используемое в теории управления с легкой руки А. И. Лурье. Условия абсолютной устойчивости или, как нам будет удобнее их здесь называть, условия неизбежной сходимости обеспечивают сходимость алгоритмов оптимизации при любом начальном значении  и для любого неизвестного заранее оптимального вектора . Нам очень хотелось бы назвать эти условия условиями абсолютной сходимости, но мы боимся упреков, поскольку эти слова уже давно используются в теории сходимости рядов.