Метод найменших квадратів для лінійної моделі

3.2 Метод найменших квадратів для лінійної моделі

Розглянемо найбільш важливий для практики окремий випадок МНК, коли модель є лінійною.

Для простоти опису перетворень пронормуємо змінні х_ij,у_i. Наступним чином:

де

Тоді

Надалі будемо вважати, що розглянуті змінні пронормовані описаним образом, і верхні індекси опустимо. Для полегшення демонстрації основних ідей приймемо досить природні припущення.

1. Для розглянутих змінних існують наступні межі:

2. Кількість досвідів n таке, що можна користуватися асимптотичними результатами, отриманими при

3. Погрішності виміру задовольняють одному з наступних типів обмежень:

Тип 1. Абсолютні погрішності виміру обмежені згідно (4.1.3):

Тип 2. Відносні погрішності виміру обмежені:

Тип 3. Обмеження накладені на суму погрішностей:

Перейдемо до обчислення нотни оцінки МНК. Справедлива рівність:

Скористаємося наступною теоремою з теорії матриць.

Теорема. Якщо функція f(λ) розкладається в степеневий ряд у колі збіжності |λ – λ₀| < r, тобто

то це розкладання зберігає силу, якщо скалярний аргумент замінити будь-якою матрицею А, характеристичні числа якої λ_k, k = 1,…,n, лежать всередині кола збіжності.

Легко переконатися, що:

Це випливає з послідовності рівностей:

Застосуємо наведену вище теорему з теорії матриць, припускаючи

А = Δ Z і приймаючи, що власні числа цієї матриці задовольняють нерівності |λ_k|<1. Тоді одержимо:

Підставивши останнє співвідношення на закінчення згаданої теореми, одержимо:

Для подальшого аналізу знадобиться допоміжне твердження. Виходячи із припущень 1-3, доведемо, що:

 

Доведення. Справедлива рівність

де  - спроможні і незміщені оцінки дисперсій і коефіцієнтів коваріації, тобто

тоді

де

Інакше кажучи, кожен елемент матриці, позначеної як о(1/n), є нескінченно малою величиною порядку 1/n. Для розглянутого випадку cov(x) = E, тому

Припустимо, що n досить велике і можна вважати, що власні числа матриці о(1/n) менше одиниці по модулю, тоді

що і було потрібно довести.

Підставимо доведене асимптотичне співвідношення у формулу для приросту*,одержимо

Виразимо Δ* відносно приросту ΔХ, ΔY до 2-гo порядку

Перейдемо від матричної до скалярної форми, опускаючи індекс (R):

Будемо шукати max(|Δ_k*|) по Δx_ij і Δy_i (i=1,…, п;j=1,…, m). Для цього розглянемо всі три раніше введених типи обмежень на похибки виміру.

Тип 1 (абсолютні похибки виміру обмежені). Тоді:

Тип 2 (відносні похибки виміру обмежені). Аналогічно одержимо:

Тип З (обмеження накладені на суму похибок). Припустимо, що |Δ_k*| досягає максимального значення при таких значеннях погрішностей Δx_ij і Δy_i,

які ми позначимо як:

тоді:

Через лінійність останнього вираження і виконання обмеження типу 3:

Для спрощення запису зробимо наступні заміни:

Тепер для досягнення поставленої мети можна сформулювати наступне завдання, що розділяється на m типових завдань оптимізації:

при обмеженнях

Перепишемо функції, що мінімізуємо, в наступному вигляді:

Очевидно, що f_i^k > 0.

Легко бачити, що

Отже, необхідно вирішити nm завдань

при обмеженнях "типу рівності":

Сформульоване завдання пошуку екстремуму функції. Воно легко вирішується. Оскільки

то максимальне відхилення МНК - оцінки k-ого параметра дорівнює