4.4.2. Приближения

Анализ МСКО – методов. Как ранее обсуждалось в данной главе, в большинстве БИХ – адаптивных алгоритмов попытка минимизации среднеквадратичной ошибки выполняется путем аппроксимации градиента рабочей функции и организации итеративного шагового процесса в указанном направлении до достижения стационарной точки. В свете этого, большинство имеющихся анализов, связанных с БИХ – адаптивными алгоритмами, основанными на МСКО – критерии, сосредотачивается на изучении свойств поверхности рабочей характеристики МСКО. Несмотря на значительное число работ [70, 294], до сих пор нет ответа даже на основной вопрос: при каких условиях рабочая МСКО – функция [см. уравнение (4.4)] является унимодальной? Если она унимодальная, то исследования, основанные на использовании градиента, не будут уводить от цели.

К сожалению, Стерис [294] смог показать унимодальность  лишь для некоторых случаев, а именно, для систем с широкополосными входными сигналами и более чем достаточным количеством коэффициентов для адекватного моделирования искомого сигнала . Джонсон и Лэримор нашли, что многомодальную  рабочую функцию можно преобразовать к случаю «пониженного порядка», когда фильтр имеет недостаточное число степеней свободы для точного моделирования.  

Не давая ответа на основной вопрос, другие работы, например, по скорости сходимости, не имели серьезных целей, кроме машинного моделирования. Полезность данного направления анализа еще значительнее ограничивается тем фактом, что, в сущности, каждый адаптивный алгоритм, рассмотренный в разд. 4.4, аппроксимирует лишь истинный градиент МСКО – рабочей характеристики функции. Например, показано, что алгоритм Фейнтуха, при некоторых условиях,  не только не следует градиенту, но и не сходится к стационарной точке [162]. В результате этих аналитических трудностей в настоящее время выполняется мало исследований по свойствам сходимости алгоритмов, основанных на МСКО, даже, несмотря на то, что методы, рассмотренные в следующем разделе, могут дать полезные результаты.

Модели алгоритмов. Исторически, анализ сходимости адаптивных цифровых фильтров КИХ – типа выполнялся с помощью аппроксимации рекурсивного выражения для коэффициентов фильтра линейным векторным инвариантным во времени выражением первого порядка, которое затем можно было проанализировать, чтобы найти постоянные времени, связанные с уменьшением различных составляющих ошибки фильтра [341]. Этот способ, в принципе, очень эффективен для фильтров КИХ – типа в стационарных условиях распространения сигнала, поскольку адаптация параметров фильтра не меняет информации в линии задержки фильтра. Однако, для фильтров БИХ – типа последнее явно неверно, поскольку на ковариацию , непосредственно влияет выбор параметров  и . Но и в этом случае подобные утверждения представляют разумную отправную точку для определения поведения алгоритмов адаптивных фильтров БИХ – типа, особенно в противоположность поведению хорошо известных алгоритмов КИХ – адаптивной фильтрации.

Мы кратко рассмотрим три возрастающих по сложности способа изучения поведения сходимости. Для демонстрации этих способов использован УГАРФ – алгоритм.

1. Локальная линеаризация вблизи стационарной точки. В данном приближении проводится линеаризация поведения сходимости внутри малой окрестности стационарной точки процесса адаптации. Это приближение мотивировано аналогичной линеаризацией, применяемой в способах итеративной численной оптимизации [204].

Напомним вектор коэффициентов

      (4.52)

и рассмотрим основное - мерное векторное пространство. УГАРФ – алгоритм при управлении случайным исходным сигналом  дает стохастическую траекторию в этом пространстве параметров (или весов), но его среднее значение по ансамблю  при всех возможных входных последовательностях является детерминированным геометрическим местом точек. Зная геометрическое место точек среднего, представляющего собой функцию номера выборки , можно получить оценку поведения сходимости. Если это геометрическое место точек для  можно рекурсивно определить через , то его можно аппроксимировать линейным разложением вблизи стационарной точки в виде

        (4.53)

или выразить через параметрическую ошибку

        (4.54)

Матрица  является матрицей «чувствительности», оцениваемой при , в соответствии с векторным рядом Тейлора. Используя рекурсивную форму (4.54), можно показать, что

                 (4.55)

Задавая начальные значения параметров в малой окрестности , детерминировано, в соответствии с (4.55) можно выделить вектор ожидаемой параметрической ошибки.

Такая интерпретация не является оригинальной, поскольку она часто применяется для описания локального поведения большого класса функций, используемых в итеративной оптимизации. Незначительная разница заключается в том, что для УГАРФ матрица необязательно должна быть симметричной; этим рассматриваемый случай отличается от алгоритмов минимизации функции, выполняемой вблизи стационарной точки, где - матрица Гессе. Тем не менее, поведение сходимости по-прежнему управляется геометрически, с помощью характеристических чисел матрицы чувствительности . Тот факт, что  может быть асимметричной матрицей, лишь допускает возможность комплексных или отрицательных характеристических чисел и не ортогональных собственных векторов.

Для изучения поведения, предсказываемого с помощью данного приближения, рассмотрим простой случай УГАРФ первого порядка, которому отвечают выражения (4.43) – (4.45), приведенные, соответственно к виду:

                       (4.56а)

          (4.56б)

             (4.56в)

 

Допустив, что входное возмущение представляет собой последовательность выборок белого шума с нулевым средним, а  и  настолько малы, что сходимость фильтра медленная по сравнению с постоянной времени системы , для математического ожидания ошибки вектора параметров Лэримор [165] нашел

               (4.57)

где

           (4.58)

Преобразовав (4.58), получим

               (4.59)

(т. е. ). Отметим, что точно такую же процедуру линеаризации можно было выполнить в любой точке плоскости , , но только линеаризация в точке сходимости приводит к свободной системе типа (4.59) с обнуляющей функцией.

Из (4.59) можно сделать два вывода:

а. В данном случае ошибка вектора параметров геометрически сводится к нулю, в соответствии с характеристическими числами  и . Отметим, что асимметрия матрицы означает, что собственные векторы не ортогональны.

б. Если коэффициент выбран равным , ошибка фильтрации в (4.56б) за счет  исключает влияние авторегрессии, что увеличивает . При таком выборе недиагональный член матрицы  становится равным нулю, что приводит к симметричному результату; поэтому можно ожидать типичного для адаптивных фильтров КИХ – типа (например, МНК) характера убывания градиента.

 

2. Рекуррентный метод с изменяющимися во времени параметрами. В то же время, как линеаризация характеристики алгоритма в окрестности стационарной точки может дать ценные результаты по асимптотической сходимости, такое приближение не допускает использования произвольных (т. е. не локальных) начальных условий для коэффициентов фильтра. Такие произвольные начальные условия можно допустить, если для комплексного вектора с переменными параметрами, с помощью которого можно проанализировать характер сходимости алгоритма, принять выражение:

          (4.60)

Матрица  обычно описывает локальную кривизну «исследуемого» функционала, тогда как вектор описывает направление вынуждающей функции. Это приближение Трейчлер (см. [165]) применил для объяснения влияния, которое сглаживающий фильтр, описываемый матрицей , может оказывать на скорость сходимости УГАРФ – алгоритма. В предположении очень медленной сходимости было показано, что среднее значение вектора коэффициентов можно записать в виде:

   (4.61)

где - диагональная матрица, содержащая постоянные адаптации, - прямоугольная матрица, содержащая ,  - ковариационная матрица, заданная входным и выходным сигналами адаптивного фильтра, а - матрица перекрестной ковариации между вектором адаптивного фильтра и вектором моделируемого устройства.

Поскольку выражение (4.61) имеет ту же форму, что и (4.60), им можно воспользоваться для предсказания скорости УГАРФ – сходимости вблизи любой заданной рабочей точки, включая точки, определяющие начальные и конечные условия. С помощью этого выражения было показано, что при соответствующем выборе сглаживающего фильтра (и, следовательно, ) характеристические числа матрицы  могут стать комплексными, в отличии от характеристических чисел КИХ – алгоритмов адаптивной фильтрации, которые могут быть лишь действительными неотрицательными числами.  Как указывалось в гл 3, наименьшее характеристическое число матрицы   управляет скоростью сходимости, тогда как наибольшее число ограничивает максимально достижимое адаптивное усиление. Это, в свою очередь, предполагает, что адаптивный фильтр КИХ – типа (т. е. использующий МНК) может адаптироваться очень медленно, при большой величине . И наоборот, когда УГАРФ может связывать характеристические числа в комплексные пары, «характеристический разброс» может быть чрезвычайно уменьшен (например, до 1 для фильтра второго порядка), что ускорит сходимость.

 

3. ОДУ-метод. Леннарт Льюинг [195, 196] разработал метод доказательства сходимости и определения скорости сходимости. Это приближение, называемое методом обыкновенного дифференциального уравнения (ОДУ), непосредственно применимо лишь для алгоритмов, в которых используется матрица с переменными параметрами и уменьшающимся усилением . Влияние подобного убывающего усиления сводится к замедлению сходимости в окрестности стационарной точки. Исходя из этого факта и перейдя к другому масштабу времени , можно успешно моделировать рекуррентность дискретного во времени нелинейного вектора коэффициентов [например, (4.45)], используя ОДУ вида:

         (4.62)

Как указывает Льюинг, уравнение (4.62) можно применять для достижения многих из ранее поставленных целей. Доказательство сходимости алгоритма сводится к демонстрации устойчивости (4.62), зависящей от свойств функции ; уравнение (4.62) может также служить в качестве модели фазового пространства (4.45).

В то время как уменьшающиеся коэффициенты усиления алгоритма адаптации обычно встречаются в задачах идентификации систем, их, как правило, не используют в работах по адаптивной фильтрации, поскольку чаще применяют волновые сигналы, которые в лучшем случае являются лишь квазистационарными. Из-за отсутствия стационарности необходимо, чтобы адаптивный фильтр всегда был «включен» для отслеживания изменения характеристик сигнала. В ОДУ – методе требуется убывание коэффициентов усиления, и, следовательно, он широко не применяется для анализа адаптивных фильтров КИХ – и БИХ – типов.

Метод Ляпунова. Только что обсужденные стохастические методы позволяют получить большой объем информации о поведении алгоритмов, но обычно эта информация носит характер лишь «средней» и / или локальной. Другой подход к доказательствам сходимости основан на понятии пассивности, т. е. показано, что комбинированные системы и адаптивные процессы являются в некотором смысле пассивными по отношению к ошибкам системы. Эта пассивность предполагает, что со временем ошибка уменьшается до нуля, и, следовательно, алгоритм сходится. Здесь мы рассматриваем анализ функции Ляпунова. По сравнению со стохастическими методами, такой анализ, как правило, дает гораздо более определенное доказательство сходимости, но меньше данных о характере сходимости (например, о скорости сходимости).

Анализ функций Ляпунова [78] основан на нахождении функции , имеющей следующие свойства:

       для всех ,        (4.63)

         для всех .           (4.64)

Поскольку функция всегда положительна, ее иногда называют «псевдоэнергетической» функцией. Строгая отрицательность первой разности предполагает рассеяние энергий и делает процесс, описываемый функцией , пассивным. При приемлемых условиях регулярности функция стремится к нулю.

Эта идея применяется при анализе сходимости путем разработки положительной функции для всех ошибок, возникающих в адаптивном процессоре. Если можно показать, что первая разность строго отрицательна, то, в соответствии со второй теоремой Ляпунова, ошибка должна стремиться к нулю, а это и доказывает сходимость адаптивного алгоритма.

Как кажется на первый взгляд, этот метод удовлетворяет многим заданным целям, так как эволюция  обеспечивает некоторую общую индикацию скорости (если не направления) сходимости. Однако его применение затрудняют две особенности:

1. Найти функцию Ляпунова  для данного адаптивного алгоритма обычно очень сложно, и нет гарантии того, что она существует.

2. «Ошибка», используемая в функции Ляпунова, часто содержит «посторонние» члены, которые обязательны для доказательства сходимости, но маскируют смысл .

Доказательство сходимости типа Ляпунова не было найдено ни для одного из градиентных алгоритмов МСКО, рассмотренных в разд. 4.4, но Джонсон и др. [165] , успешно основываясь на ранней работе по контролю и идентификации текста, разработали функции Ляпунова для ГАРФ – и УГАРФ – алгоритмов. Из их работы следует, что УГАРФ – сходимость можно гарантировать при разумных обстоятельствах (малых  и , и т.д.), и что выходная и параметрическая ошибка экспоненциально стремятся к нулю.