Приложение П7.2. Обзор линейной теории наименьших квадратов

П7.2.1. Нормальные уравнения

Предполагается, что модель имеет вид

,                                        (П7.2.1)

где  - наблюдения, полученные из эксперимента, в котором независимые переменные  принимали известные фиксированные значения;  - неизвестные коэффициенты, которые нужно оценить из данных, и  - некоррелированные ошибки с нулевыми средними значениями и одинаковой дисперсией .

Уравнения (П7.2.1) можно представить в матричной форме

или

,                                                     (П7.2.2)

где предполагается, что  имеет полный ранг . Теорему наименьших квадратов Гаусса можно сформулировать так [70]: оценки  параметров , линейные относительно наблюдений и минимизирующие среднеквадратичную ошибку любой линейной функции параметров , можно получить, минимизируя сумму квадратов

.                             (П7.2.3)

Для определения минимума  разложим вектор  на два вектора  и :

.                                  (П7.2.4)

Если мы выберем  так, что

,                                                            (П7.2.5)

то

                         (П7.2.6)

и векторы  и  ортогональны. Так как второй член в правой части (П7 2.6) — положительно определенная квадратичная форма, отсюда следует, что минимум  достигается при , где  определяется нормальными уравнениями (П7.2.5).

П7.2.2. Оценка остаточной дисперсии

Согласно (П7.2.3) и (П7.2.5), сумма квадратов в точке минимума равна

.                                                           (П7.2.7)

Далее, если мы введем

,                                                                (П7.2.8)

можно показать [71], что  и, следовательно,  — несмещенная оценка .

П7.2.3. Ковариационная матрица оценок

Такая матрица определяется как

,                 (П7.2.9)

так как .

П7.2.4. Доверительные области

В предположении о нормальности [71] квадратичные формы  и  в (П7.2.6) независимо распределены как  соответственно с  и  степенями свободы. Отсюда

распределено как . Из (П7.2.8) следует, что

                                                       (П7.2.10)

определяет -ю доверительную область для .

П7.2.5. Коррелированные ошибки

Пусть ошибки имеют известную ковариационную -матрицу, где . Тогда (П7.2.2)  можно записать иначе:

или

.                                                (П7.2.11)

Ковариационная матрица  равна

.

Следовательно, можно применять обычную теорию наименьших квадратов с  к трансформированной модели (П7.2.11), в которой  заменено на  и  на .