Generalizirani najmanjši kvadrati

Ne zamenjajte za generalizirani linearni model.

V statistiki so generalizirani najmanjši kvadrati (GLS) metoda, ki se uporablja za ocenjevanje neznanih parametrov v linearnem regresijskem modelu, kadar obstaja določena stopnja korelacije med reziduali regresijskega modela. V takšnih primerih morata biti navadna metoda najmanjših kvadratov in metoda uteženih najmanjših kvadratov morda statistično bolj učinkoviti ali pa to vodi do zavajajočih sklepov. GLS je leta 1935 prvič opisal Alexander Aitken.

Opis metode

V standardnih modelih linearne regresije se opazujejo podatki $\{y_{i},x_{ij}\}_{i=1,\dots ,n,j=2,\dots ,k}$ na n statističnih enotah . Vrednosti odziva so postavljene v vektor $\mathbf {y} =\left(y_{1},\dots ,y_{n}\right)^{\mathsf {T}}$, vrednosti napovedovalca pa so postavljene v matriko načrtovanja $\mathbf {X} =\left(\mathbf {x} _{1}^{\mathsf {T}},\dots ,\mathbf {x} _{n}^{\mathsf {T}}\right)^{\mathsf {T}}$, kjer je$\mathbf {x} _{i}=\left(1,x_{i2},\dots ,x_{ik}\right)$ vektor k napovedovalnih spremenljivk (vključno s konstanto) za i- to enoto. Model vsiljuje pogojno povprečje $\mathbf {y}$ podano z $\mathbf {X}$, da je linearna funkcija $\mathbf {X}$ in predpostavlja pogojno varianco napake podanega izraza $\mathbf {X}$, ki je znana nesingularna kovariančna matrika $\mathbf {\Omega }$ . To je običajno zapisano kot

$\mathbf {y} =\mathbf {X} \mathbf {\beta } +\mathbf {\varepsilon } ,\qquad \operatorname {E} [\varepsilon \mid \mathbf {X} ]=0,\ \operatorname {Cov} [\varepsilon \mid \mathbf {X} ]=\mathbf {\Omega } .$

Tukaj je $\beta \in \mathbb {R} ^{k}$ vektor neznanih konstant (znanih kot "regresijski koeficienti"), ki jih je treba oceniti iz podatkov.

Recimo, da je $\mathbf {b}$ ocena kandidata za $\mathbf {\beta }$ . Sledi, da je rezidualni vektor za $\mathbf {b}$ definiran kot $\mathbf {y} -\mathbf {X} \mathbf {b}$. Generalizirana metoda najmanjših kvadratov oceni $\mathbf {\beta }$ z minimiziranjem kvadrata Mahalanobisove razdalje tega rezidualnega vektorja:

${\begin{aligned}\mathbf {\hat {\beta }} &={\underset {b}{\operatorname {argmin} }}\,(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathsf {T}}\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} )\\&={\underset {b}{\operatorname {argmin} }}\,\mathbf {y} ^{\mathsf {T}}\,\mathbf {\Omega } ^{-1}\mathbf {y} +(\mathbf {X} \mathbf {b} )^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -\mathbf {y} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -(\mathbf {X} \mathbf {b} )^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {y} \,,\end{aligned}}$

kjer se zadnja dva izraza ovrednotita v skalarja, kar povzroči

$\mathbf {\hat {\beta }} ={\underset {b}{\operatorname {argmin} }}\,\mathbf {y} ^{\mathsf {T}}\,\mathbf {\Omega } ^{-1}\mathbf {y} +\mathbf {b} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -2\mathbf {b} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {y} \,.$

Ta kriterij je kvadratna forma v $\mathbf {b}$ .

Z odvajanjem te kvadratne forme glede na $\mathbf {b}$ in enačenjem z nič (ko $\mathbf {b} ={\hat {\beta }}$ ) dobimo

$2\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} {\hat {\beta }}-2\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {y} =0$

Zato lahko izračunamo minimum kriterijske funkcije in dobimo eksplicitno formulo:

$\mathbf {\hat {\beta }} =\left(\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {y} .$

Količina $\mathbf {\Omega } ^{-1}$ je znana kot matrika natančnosti (ali disperzijska matrika ), posplošitev diagonalne utežne matrike.