§ 2.19. Примеры

Если потребовать от алгоритма, чтобы на каждом шаге некоторая функция ошибка  была минимально возможной, то для определения наилучшего в этом смысле алгоритма оптимизации можно использовать известные релаксационные методы или методы наискорейшего спуска. При этом  определяется как наименьший положительный корень уравнения

.    (2.57)

К сожалению, для определения оптимального значения  на каждом шаге мы не можем применить итеративные методы, так как алгоритмы определения  также будут содержать неопределенный параметр, который нужно выбирать в свою очередь. Иногда эти трудности можно преодолеть разумно организованным подбором, изменяя  до такого значения , что дальнейшее его изменение приводит к нарушению неравенства

.      (2.58)

Именно так поступают при использовании релаксационных методов. Иная возможность состоит в определении  при аппроксимации (2.57) линейным приближением. Тогда

           (2.59)

или в силу алгоритма (2.7)

,         (2.60)

где   — матрица вторых производных.

Более привычно наилучшим алгоритмом считать такой, который дает минимум суммарного квадратического отклонения. Обозначим

; ,                       (2.61)

где — евклидова норма вектора .

Положим в алгоритме оптимизации (2.48) . Тогда после возведения обеих частей (2.48) в квадрат и суммирования по  от 1 до  получаем

.   (2.62)

Пусть при любом  и  удовлетворяет условиям

        (2.63)

Тогда, наменян в (2.62) это отношение его нижней и верхней границей, получим неравенство

.     (2.64)

Правая часть этого неравенства достигнет минимума при

.                        (2.65)

Следовательно,

         (2.66)

или

.             (2.67)

Таким образом, при наилучшем значении  верхняя граница  на каждом шаге минимальна. Этот подход в какой-то мере связан с оптимизацией автоматических систем на основе прямого метода Ляпунова.