§ 2.6. Разновидности алгоритмов оптимизации

Выбор коэффициентов усиления матричного или обычного усилителей определяет разновидности алгоритмов оптимизации и соответствующих им дискретных систем. Так, если — постоянная матрица, не зависящая от , то мы получим алгоритм оптимизации с постоянным шагом и соответствующую дискретную систему с постоянными коэффициентами усиления. Если  зависит от , то в этом случае получаем алгоритм оптимизации с переменным шагом и соответствующую дискретную систему с переменными коэффициентами усиления.

В частности, матрица  может быть периодична: .

В численных методах решения систем линейных уравнений перечисленные выше алгоритмы называются соответственно стационарными, нестационарными и циклическими.

В общем случае  может зависеть от векторов . В этом случае приходим к алгоритмам оптимизации с «нелинейным» шагом и соответствующей дискретной системе с нелинейными коэффициентами усиления.

К алгоритмам последнего типа относятся релаксационные алгоритмы, в которых  на каждом шаге выбираются так, чтобы уменьшалась какая-либо функция ошибки . Релаксационные алгоритмы подразделяются на координатные, в которых матрицы  подобраны так, что на каждом шаге меняются одна или несколько компонент вектора , и градиентные, в которых

,                                                                              (2.12)

где  — единичная матрица, а  — скаляр, зависящий также и от координат вектора . Так, к алгоритмам с нелинейным шагом можно отнести известный алгоритм Ньютона

.           (2.13)

Здесь

.                                                   (2.14)

Модификация алгоритма Ньютона

,                  (2.15)

где  — некоторое начальное значение, представляет собой алгоритм с постоянным шагом.

К релаксационным алгоритмам относится известный алгоритм наискорейшего спуска

.                                          (2.16)

Здесь  на каждом шаге выбирается из условия минимума функции

.                                (2.17)

Итак, выбирая соответствующим образом  или , мы получаем различные известные алгоритмы.