§ 2.18. О наилучших алгоритмах

Выше мы познакомились с разнообразными алгоритмами оптимизации. Возникает естественный вопрос, какому алгоритму и в каких случаях можно отдать предпочтение, какой алгоритм можно считать наилучшим?

Вряд ли попытка найти ответ на этот вопрос может быть сколь-нибудь успешной в общем случае. Однако если на основе тех или иных соображений указан тип алгоритма (одношаговый или многошаговый, дискретный или непрерывный), то нахождение наилучшего алгоритма сводится к выбору его параметров (например, для алгоритма (2.4) — матрицы , для алгоритма (2.21) —  и ). Конкретный выбор этих параметров зависит от того, что мы условимся понимать под наилучшими алгоритмами. Некоторые попытки в этом направлении уже делаются. Так, в методах возможных направлений, в релаксационных методах, во многих градиентных методах параметры алгоритма выбираются наилучшими (в смысле заранее выбранного критерия) на каждом шаге. Таким образом, получаются алгоритмы, «локально» наилучшие на каждом шаге. Это, конечно, совсем не значит, что алгоритм будет наилучшим и в целом.

Задача построения наилучших алгоритмов оптимизации весьма близка к задачам синтеза оптимальных дискретных или непрерывных систем, реализующих эти алгоритмы. Однако, к сожалению, мы не можем пока использовать мощный аппарат теории оптимальных систем для определения наилучших алгоритмов. Это связано с тем, что современная теория оптимальных систем предполагает, что начальный  и конечный  векторы известны. В нашем же случае  неизвестно, и, более того, наша цель состоит в нахождении . Поэтому пока мы вынуждены ограничиваться «локально» наилучшими алгоритмами. Чтобы ясно представить, чего можно достигнуть на этом пути, приведем примеры.