Najmanjši kvadrati

Metoda najmanjših kvadratov je standardni pristop v regresijski analizi za približek rešitve predeterminiranih sistemov (nizov enačb, v katerih je več enačb kot neznank) z minimiziranjem vsote kvadratov rezidualov (rezidual je razlika med opazovano vrednostjo in ocenjeno vrednostjo, ki jo zagotavlja model), narejeno na podlagi rezultata vsake posamezne enačbe.

Rezultat prilagajanja niza podatkovnih točk s kvadratno funkcijo

Konično prileganje nabora točk z uporabo približka najmanjših kvadratov

Najpomembnejša uporaba je pri prilagajanju podatkov. Kadar ima problem precejšnjo negotovost neodvisne spremenljivke (spremenljivka x), se pojavijo težave pri preprostih regresijskih modelih in metodah najmanjših kvadratov. V takih primerih se lahko za problem prilagajanja podatkov namesto metodologije najmanjših kvadratov uporabi metodologijo modelov napak v spremenljivkah.

Problem najmanjših kvadratov se lahko deli v dve kategoriji: linearni ali navadni najmanjši kvadrati in nelinearni najmanjši kvadrati, odvisno od tega, ali so reziduali linearni pri vseh neznankah ali ne. Linearni problem najmanjših kvadratov se pojavlja pri statistični regresijski analizi, kjer obstaja rešitev eksplicitne oblike. Nelinearni problem se običajno reši z iterativnim izboljševanjem, kjer je pri vsaki iteraciji sistem aproksimiran z linearnim, zato je osnovni izračun v obeh primerih podoben.

Opis problema

Cilj je prilagajanje parametrov funkcije modela, da se najbolje prilegajo naboru podatkov. Preprost nabor podatkov je sestavljen iz n točk (parov podatkov) $(x_{i},y_{i})\!$, i = 1, …, n, kjer je $x_{i}\!$ neodvisna spremenljivka in $y_{i}\!$ odvisna spremenljivka, katere vrednost se ugotovi z opazovanjem. Funkcija modela ima obliko $f(x,{\boldsymbol {\beta }})$, kjer je v vektorju shranjenih m nastavljivih parametrov ${\boldsymbol {\beta }}$ . Cilj je najti vrednosti parametrov za model, ki se "najboljše" prilega podatkom. Prileganje modela podatkovni točki se meri z njegovim rezidualom, opredeljenim kot razlika med opazovano vrednostjo odvisne spremenljivke in vrednostjo, ki jo napoveduje model:

$r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}).$

Reziduali so prikazani z ustreznimi $x$ vrednostmi. Naključna nihanja okoli $r_{i}=0$ kažejo, da je linearni model primeren.

Metoda najmanjših kvadratov najde optimalne vrednosti parametrov z minimiziranjem vsote kvadratov rezidualov, $S$ :

$S=\sum _{i=1}^{n}r_{i}^{2}.$

Reševanje problema najmanjših kvadratov

Najmanjšo vsoto kvadratov najdemo z enačenjem gradienta z nič. Ker model vsebuje m parametrov, obstaja m gradientnih enačb:

$${\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m,$$

in ker $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})$ postanejo gradientne enačbe

$$-2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m.$$

Enačbe gradienta veljajo za vse probleme najmanjših kvadratov. Vsak poseben problem zahteva posebne izraze za model in njegove parcialne odvode.

Linearni najmanjši kvadrati

Regresijski model je linearen, ko model obsega linearno kombinacijo parametrov, tj.

$$f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{m}\beta _{j}\phi _{j}(x),$$

kjer je funkcija $\phi _{j}$ odvisna od $x$.

Predpostavimo $X_{ij}=\phi _{j}(x_{i})$ in nato vstavimo neodvisne in odvisne spremenljivke v matriki $X$ in $Y$. Najmanjše kvadrate lahko izračunamo na sledeč način. Upoštevajte, da je $D$ množica vseh podatkov.

$$L(D,{\boldsymbol {\beta }})=\left\|Y-X{\boldsymbol {\beta }}\right\|^{2}=(Y-X{\boldsymbol {\beta }})^{\mathsf {T}}(Y-X{\boldsymbol {\beta }})=Y^{\mathsf {T}}Y-Y^{\mathsf {T}}X{\boldsymbol {\beta }}-{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}Y+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}$$

Gradient kriterijske funkcije je:

$${\frac {\partial L(D,{\boldsymbol {\beta }})}{\partial {\boldsymbol {\beta }}}}={\frac {\partial \left(Y^{\mathsf {T}}Y-Y^{\mathsf {T}}X{\boldsymbol {\beta }}-{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}Y+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}\right)}{\partial {\boldsymbol {\beta }}}}=-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}$$

Gradient kriterijske funkcije enačimo z nič in nato rešimo za ${\boldsymbol {\beta }}$ in tako dobimo:

$$-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}=0\Rightarrow X^{\mathsf {T}}Y=X^{\mathsf {T}}X{\boldsymbol {\beta }}$$

$${\boldsymbol {\hat {\beta }}}=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}Y$$