3.3.3. Сходимость алгоритма МНК

Ключевым вопросом при анализе любого стохастического алгоритма является вопрос сходимости. Свойства сходимости алгоритма МНК широко исследовались на различных уровнях математической строгости. Начнем с записи разностного уравнения, удовлетворяющего следующему условию для вектора ошибки . Подставляя (3.44) в (3.71) и вычитая из обеих частей уравнения, получаем

                   (3.74)

Отметим, что теперь - случайная переменная, а не детерминированная функция, как было в случае (3.59). Обозначим математическое ожидание этой случайной переменной .

Для математического ожидания величины (3.74) имеем:

      (3.75)

поскольку  и  не коррелированы. Таким образом, мы возвращаемся к (3.59) и обнаруживаем, что среднее значение вектора ошибки ведет себя точно так же, как если бы был известен истинный градиентный вектора.

Далее мы хотим вычислить ковариационную матрицу вектора ошибки . Из (3.74) следует

  (3.76)  

Чтобы понять эволюцию ковариационной матрицы ошибки, найдем математическое ожидание обеих частей уравнения (3.76).

Отметим, что  не коррелирована с [поскольку - оптимальная ошибка предсказания]. Мы также  полагаем, что  и  не коррелированы. Поскольку , математическое ожидание двух последних членов в (3.76) будет равно нулю. Тогда 

      (3.77)

В ранее опубликованных работах по сходимости МНК [339, 340] допускалось, что (3.77) можно заменить на:

         (3.78)

 

Более точное вычисление (3.77) недавно было проведено в работе [152]; его мы кратко рассмотрим здесь. Выведем сначала асимптотические свойства алгоритма МНК, которые следуют из (3.78), как было показано в работах [339, 340]. Для этого отметим, что ковариационная матрица ошибки в (3.78) точно такая же, как если бы вектор  был получен из стохастического разностного уравнения

              (3.79)

которое просто является «шумовой» версией (3.75).

Умножим (3.79) слева на  [см. (3.60)] получим

           (3.80)

Так как элементы  взаимно не коррелированы и матрица - диагональная, то отсюда следует, что элементы  взаимно не коррелированы.

Умножив (3.78) слева и справа на и , соответственно [или непосредственно из (3.79)], получим:

           (3.81) 

Статистические характеристики  и  асимптотически одинаковы, и, следовательно, мы можем преобразовать (3.81) и получить

            (3.82)

Для сходящегося алгоритма есть основания полагать, что

                 (3.83)

тогда окончательно получаем

            (3.84а)

или

 (3.84б)

Уравнения (3.84) служат для определения влияния асимптотических шумовых эффектов на коэффициенты фильтра в алгоритме методом наименьших квадратов. Далее мы воспользуемся этим уравнением для вычисления асимптотической дисперсии сигнала  на выходе фильтра.