2.4.2. Адаптивный линейный взвешенный сумматор

Применение алгоритма (2.41) предполагает знание матрицы  и вектора . В случае, когда эти величины неизвестны, следует заменить градиент (2.39) его приближением. Запишем рекурсивное выражение (2.40) в виде

.               (2.46)

Если в этой формуле заменить градиент его приближенным локальным значением (instantaneous estimate), т.е.

,                   (2.47)

то получим рекурсию вида

.                      (2.48)

Из выражений (2.24) и (2.25) следует, что

.                     (2.49)

При подстановке зависимости (2.49) в формулу (2.48) получаем так называемый алгоритм LMS (Least Mean Square) в векторной форме

                      (2.50)

или в скалярной форме

                    (2.51)

для .

На рис. 2.9 представлен адаптивный линейный взвешенный сумматор, известный в литературе под названием Адалайн (Adaptive Linear Neuron). Он состоит из двух основных частей:

1) линейного взвешенного сумматора с адаптивно корректируемыми весами

,

2) подсистемы, предназначенной для адаптивной коррекции этих весов и реализующей алгоритм LMS.

Рис. 2.9. Адаптивный линейный взвешенный сумматор.

Параметр  в алгоритме (2.50) подбирается так (см. [27]), чтобы выполнялось условие

,                 (2.52)

где  обозначает след матрицы .