§ 2.19. ПримерыЕсли потребовать от алгоритма, чтобы на каждом шаге некоторая функция ошибка была минимально возможной, то для определения наилучшего в этом смысле алгоритма оптимизации можно использовать известные релаксационные методы или методы наискорейшего спуска. При этом определяется как наименьший положительный корень уравнения . (2.57) К сожалению, для определения оптимального значения на каждом шаге мы не можем применить итеративные методы, так как алгоритмы определения также будут содержать неопределенный параметр, который нужно выбирать в свою очередь. Иногда эти трудности можно преодолеть разумно организованным подбором, изменяя до такого значения , что дальнейшее его изменение приводит к нарушению неравенства . (2.58) Именно так поступают при использовании релаксационных методов. Иная возможность состоит в определении при аппроксимации (2.57) линейным приближением. Тогда (2.59) или в силу алгоритма (2.7) , (2.60) где — матрица вторых производных. Более привычно наилучшим алгоритмом считать такой, который дает минимум суммарного квадратического отклонения. Обозначим ; , (2.61) где — евклидова норма вектора . Положим в алгоритме оптимизации (2.48) . Тогда после возведения обеих частей (2.48) в квадрат и суммирования по от 1 до получаем . (2.62) Пусть при любом и удовлетворяет условиям (2.63) Тогда, наменян в (2.62) это отношение его нижней и верхней границей, получим неравенство . (2.64) Правая часть этого неравенства достигнет минимума при . (2.65) Следовательно, (2.66) или . (2.67) Таким образом, при наилучшем значении верхняя граница на каждом шаге минимальна. Этот подход в какой-то мере связан с оптимизацией автоматических систем на основе прямого метода Ляпунова.
|