3.3. Адаптивный алгоритм метода наименьших квадратов

Алгоритм метода наименьших квадратов, разработанный Уидроу и Хоффом [335], является предшественником адаптивного фильтра РНК – типа. Алгоритм МНК использовался для обработки сигналов во многих областях применения. Простота и легкость реализации данного алгоритма делают его предпочтительным для решения многих практических задач. Основные недостатки алгоритма МНК связаны с его свойствами сходимости. Как будет показано в данном разделе, этот алгоритм основан на градиентном методе минимизации квадратичной характеристики функции, тогда как алгоритм РНК представляет собой процедуру типа Ньютона – Рафсона. Из теории методов итеративной оптимизации известно, что метод Ньютона – Рафсона обычно сходится быстрее, чем градиентный метод [100].

В данном разделе мы выведем алгоритм МНК и изучим некоторые его свойства.

3.3.1. Итеративное вычисление оптимального вектора коэффициентов

Прежде чем ввести алгоритм МНК, перепишем выражение для дисперсии на выходе фильтра в еще одной форме [см. (3.46)]:

            (3.54)

Отметим, что - квадратичная функция элементов вектора коэффициентов . Метод ускоренного спуска является способом оптимизации, в котором используются градиенты поверхности для нахождения ее минимума. Градиент в любой точке поверхности рассчитывается путем дифференцирования  по вектору параметров :

                 (3.55)

С другой стороны [см. (3.46)],

         (3.56)

Приравнивая к нулю градиент вектора, получаем оптимальный вектор , как и в (3.32). Для вычисления этого оптимального вектора параметров используется метод ускоренного спуска, т. е. итеративная процедура. Начнем с произвольного вектора , и на каждом шаге будем изменять текущий вектор на величину, пропорциональную градиенту вектора с противоположным знаком:

          (3.57)

где скалярный параметр  - коэффициент сходимости, определяющий устойчивость и скорость адаптации.

Для изучения свойств этого разностного уравнения рассмотрим вектор ошибки

                (3.58)

Из (3.56) – (3.58) получим следующее разностное уравнение для этого вектора ошибки:

       (3.59)

Если выбрать  достаточно малой величиной, то всегда можно обеспечить устойчивость матрицы , гарантирующую, что ошибка будет асимптотически стремиться к нулю.

Чтобы яснее оценить характер сходимости вектора ошибки, преобразуем (3.59) в систему  непарных скалярных уравнений. Для этого сначала отметим, что ковариационную матрицу , являющуюся симметричной и положительно определенной, можно представить в виде:

         (3.60)

где - ортонормированная матрица , а  - диагональная матрица, содержащая характеристические числа матрицы :

             (3.61)

Подставляя (3.60) в (3.59) и умножая слева на , получаем:

               (3.62)

Обозначая преобразованный вектор ошибки как

              (3.63)

находим

   (3.64)

Сходимость обеспечивается, если выполняется неравенство  для всех характеристических чисел . Это условие будет обязательно удовлетворено при

       (3.65)

где - наибольшее из характеристических чисел матрицы . Отметим также, что до тех пор, пока , скорости сходимости для всех решений будут расти с увеличением . Однако, как только , мода, соответствующая , начнет замедляться. Следовательно, выбор в окрестности  обычно обеспечивает наилучшую скорость сходимости для разностного уравнения (3.59).

Уравнение (3.64) также позволяет найти скорость, с которой различные решения уравнения для вектора ошибки стремятся к нулю. Обозначив временную постоянную -ой моды, как  , получаем (полагая )

          (3.66)

или

        (3.67)

Таким образом, наибольшая постоянная времени, входящая в ошибку системы, равна

           (3.68)

где - наименьшее характеристическое число ковариационной матрицы . Из (3.65) и (3.68) находим

             (3.69)

Другими словами, чем больше разброс характеристических чисел ковариационной матрицы, тем большее время потребуется для сходимости при использовании метода ускоренного спуска.