Приложение П7.2. Обзор линейной теории наименьших квадратов
П7.2.1. Нормальные уравнения
Предполагается, что модель имеет вид
, (П7.2.1)
где
- наблюдения, полученные из эксперимента, в котором независимые переменные
принимали известные фиксированные значения;
- неизвестные коэффициенты, которые нужно оценить из данных, и
- некоррелированные ошибки с нулевыми средними значениями и одинаковой дисперсией
.
Уравнения (П7.2.1) можно представить в матричной форме

или
, (П7.2.2)
где предполагается, что
имеет полный ранг
. Теорему наименьших квадратов Гаусса можно сформулировать так [70]: оценки
параметров
, линейные относительно наблюдений и минимизирующие среднеквадратичную ошибку любой линейной функции параметров
, можно получить, минимизируя сумму квадратов
. (П7.2.3)
Для определения минимума
разложим вектор
на два вектора
и
:
. (П7.2.4)
Если мы выберем
так, что
, (П7.2.5)
то
(П7.2.6)
и векторы
и
ортогональны. Так как второй член в правой части (П7 2.6) — положительно определенная квадратичная форма, отсюда следует, что минимум
достигается при
, где
определяется нормальными уравнениями (П7.2.5).
П7.2.2. Оценка остаточной дисперсии
Согласно (П7.2.3) и (П7.2.5), сумма квадратов в точке минимума равна
. (П7.2.7)
Далее, если мы введем
, (П7.2.8)
можно показать [71], что
и, следовательно,
— несмещенная оценка
.
П7.2.3. Ковариационная матрица оценок
Такая матрица определяется как
, (П7.2.9)
так как
.
П7.2.4. Доверительные области
В предположении о нормальности [71] квадратичные формы
и
в (П7.2.6) независимо распределены как
соответственно с
и
степенями свободы. Отсюда

распределено как
. Из (П7.2.8) следует, что
(П7.2.10)
определяет
-ю доверительную область для
.
П7.2.5. Коррелированные ошибки
Пусть ошибки имеют известную ковариационную
-матрицу, где
. Тогда (П7.2.2) можно записать иначе:

или
. (П7.2.11)
Ковариационная матрица
равна
.
Следовательно, можно применять обычную теорию наименьших квадратов с
к трансформированной модели (П7.2.11), в которой
заменено на
и
на
.