3.3.2. Алгоритм МНК

Для вышеописанного итерационного метода необходимо знать точный градиент функции стоимости . На практике градиент априорно неизвестен, и его необходимо оценить на основе поступающего сигнала.  В алгоритме МНК для этой цели используется градиент квадратичной ошибки единственной выборки:

            (3.70)

Следовательно, алгоритм МНК можно записать как

          (3.71)

Суммирование многих членов вида  дает грубое приближение градиента единственной выборки к истинному градиенту, а ожидаемое значение вектора коэффициентов  будет приближаться к оптимальному вектору коэффициентов . Отметим, что

                        (3.72)

Таким образом, математическое ожидание приближенного значения градиента равно истинному значению градиента. Кратко обсудим более точные доказательства сходимости. Отметим простоту МНК – уравнения корректировки. Каждый коэффициент фильтра корректируется путем добавления слагаемого, содержащего взвешенную ошибку:

               (3.73)

Ошибка является общей для всех коэффициентов, тогда как весовой коэффициент пропорционален текущему значению данных, накопленных в - ой секции фильтра (см. рис. 3.1). Для вычисления необходимо выполнить операций (умножения и сложения). Таким образом, для каждого шага корректировки фильтра потребуется, в целом, операций (по сравнению с операций алгоритма РНК).