3.3.6 Алгоритм МНК, как метод стохастической аппроксимации

Адаптивный алгоритм МНК можно рассматривать с другой точки зрения – в качестве частного случая метода стохастической аппроксимации.  Стохастическая аппроксимация – это термин, присвоенный общему классу рекурсивных алгоритмов, используемых для решения уравнений вида:

        (3.103)

где - известная функция входного сигнала , а  - неизвестный вектор коэффициентов. В исходном алгоритме стохастической аппроксимации , развитом в работе [272], используется следующая формула корректировки для получения  на основании наблюдаемого временнóго ряда :

          (3.104)

где - соответствующим образом выбранная скалярная последовательность. Можно показать [33], что вышеприведенный алгоритм сходится к истинному значению параметров , если последовательность , функция и сигнал  удовлетворяют определенным условиям:

   (3.105)

        (3.106)

Как правило, выбирают последовательность  такой, чтобы . Такой выбор почти наверняка приведет к сходимости  к истинному значению  [193].

 

Для рассматриваемой нами задачи адаптивной фильтрации имеем:

               (3.107)

и в этом случае из (3.104) получаем

             (3.108)

Для многих применений желательно не допускать того, чтобы величина  стала слишком малой и не смогла обеспечить реакцию адаптивного алгоритма на изменения статистических характеристик входных данных . Простой способ достичь этого заключается в том, чтобы установить , где - некоторое малое положительное число. В таком случае коэффициенты фильтра не будут стремиться к установившемуся значению, а будут колебаться вблизи некоторого значения. Данная ситуация соответствует случаю конечной памяти алгоритма РНК, тогда как выбор  соответствует случаю бесконечной памяти.

Несколько примеров. Для иллюстрации поведения алгоритмов РНК и МНК мы провели следующий эксперимент. Стационарный сигнал генерировался путем прохождения последовательности выборок белого шума через фильтр второго порядка , характеристика которого содержит только полюсы с параметрами:

Случай 1:

Случай 2:

Выходной сигнал нормировался так, чтобы его дисперсия стала равной единице. Начальные значения параметров алгоритма РНК были следующими: , а коэффициент забывания выбирался таким, чтобы . Последовательность значений квадратичной ошибки, даваемых каждым алгоритмом, усреднялась по 200 независимым испытаниям модели и наносилась на график в виде функции времени (см. рис. 3.3 и 3.5). На каждом рисунке изображения обучающие кривые для алгоритмов МНК и РНК.

На рис. 3.3 и 3.4 показано поведение кривых для алгоритмов МНК и РНК в случае 1, когда  и параметр сходимости (коэффициент забывания ) имеет два различных значения. На рис. 3.3 представлен случай наибыстрейшей возможной сходимости алгоритма МНК. Параметр  был увеличен почти до точки неустойчивости. Выбор меньших значений  понижает скорость сходимости алгоритма МНК (рис. 3.4). На рис. 3.5 проиллюстрирована сходимость алгоритмов для случая 2.

Рис. 3.3. Обучающие кривые для МНК (а) и РНК (б) адаптивного предиктора с использованием двухполюсной авторегрессивной модели генерации входного сигнала обозначенного в тексте как случай 1) с коэффициентом установления  .

Рис. 3.4 Обучающие кривые для МНК (а) и РНК (б) адаптивного предиктора с использованием двухполюсной авторегрессивной модели генерации входного  сигнала (обозначенного в тексте как случай 1) с коэффициентом установления .

Рис. 3.5 Обучающие кривые для МНК (а) и РНК (б) адаптивного предиктора с использованием двухполюсной авторегрессивной модели генерации входного сигнала (обозначенного в тексте как случай 2) с коэффициентом установления

Анализ этих рисунков приводит к следующим выводам:

1.     Сходимость алгоритма РНК при начальных значениях параметров значительно превышает сходимость алгоритма МНК.

2.      На сходимость алгоритма МНК  очевидно влияет отношение характеристических чисел (случай 1 по сравнению со случаем 2), а на сходимость алгоритма РНК оно не влияет.

3.      На скорость сходимости алгоритма МНК сильно влияет выбор . Коэффициент забывания  оказывает малое влияние на скорость сходимости в начальной стадии (т. е. в переходном режиме) алгоритма РНК.  Разумеется,  определяет характеристики слежения алгоритма (после завершения переходного режима) и шумовые свойства коэффициентов фильтра.

На рис. 3.6 и 3.7 изображена траектория параметров для одной реализации алгоритма. Показано, что параметры алгоритма РНК очень быстро сходятся к своим истинным значениям, тогда как для сходимости параметров МНК требуется гораздо большее время.

Следует отметить, что после завершения переходного режима на процесс слежения алгоритма РНК сильнее всего будет влиять эффективная длина окна . Его отклик на внезапные изменения параметров процесса обычно происходит медленнее, чем в начальной стадии, поскольку скорректированное усиление будет меньше начального усиления . Алгоритм МНК имеет дело с фиксированным корректированным усилением, и его поведение в режиме слежения, по существу, такое же, как в переходном режиме.

Рис. 3.6 Траектории параметров первой ветви для МНК (а) и РНК (б) адаптивного предиктора с использованием двухполюсной авторегрессивной модели генерации входного сигнала (обозначенного в тексте как случай 1) с коэффициентом установления .

Рис. 3.7. Траектории параметров первой ветви для МНК (а) и РНК (б) адаптивного предиктора с использованием двухполюсной авторегрессивной модели генерации входного сигнала (обозначенного в тексте как случай 2) с коэффициентом установления .