3. Преобразование Карунена-Лоэва

В случае ортогонального преобразования с набором  базисных векторов  преобразование из  в  можно записать как

,

где  - матрица ортогонального преобразования.

Из всего множества значений  запоминаются первые , причем . После восстановления получаем оценку вектора :

,

где  - некоторое константное значение отброшенных коэффициентов разложения . Ошибка при отбрасывании  коэффициентов определяется как

,

а дисперсия этой ошибки

.     (9)

Анализ выражения (9) показывает, что для минимизации дисперсии ошибки необходимо подобрать соответствующие значения  и векторы . Очевидно, значения  или, для центрированных случайных величин , .

Для нахождения оптимальных векторов , перепишем выражение (9) с учетом  и , при ; в виде

         (10)

где  представляет собой ковариационную матрицу. Для минимизации (10) применяется метод множителей Лагранжа. В результате получаем

                                                  (11)

Выражение (11) определяет векторы  и значения  как собственные векторы и собственные значения корреляционной матрицы . Таким образом, матрица преобразования , составленная из собственных векторов корреляционной матрицы , позволяет выполнять преобразование Карунена-Лоэва, которое минимизирует среднюю дисперсию ошибки при восстановлении сигнала по неполным данным.

Недостатком описанного метода является необходимость априорных сведений о корреляционной матрице  исходного сигнала , а также относительно высокая вычислительная сложность. Так, в случае применения разделимого преобразования Карунена-Лоэва, для вычисления всех коэффициентов преобразования требуется  арифметических операций, где  количество отсчетов исходного сигнала .

Таким образом, рассмотренный метод может быть применен в задачах, в которых априори известна корреляционная матрица , а также нет больших ограничений на вычислительные ресурсы.

В связи с этим возникает проблема поиска преобразования, которое обладало бы малой вычислительной сложностью и давало результаты преобразования близкие к преобразованию Карунена-Лоэва. Этим условиям удовлетворяет преобразование Фурье.