Metoda vzvratnega razširjanja
Metoda vzvratnega razširjanja (angleško backpropagation) je ime algoritma za učenje umetnih nevronskih mrež oziroma za globoko učenje. Algoritem je prvi opisal Paul Werbos leta 1974, uveljavil pa se je šele leta 1986, ko so nevronske mreže doživele preporod. Spada med metode nadzorovanega učenja in velja za posplošitev pravila delta (delta rule) na večplastne mreže. Pri učenju je prisoten učitelj, ki vhodnim podatkom priredi izhodno želeno vrednost. Metoda vzvratnega razširjanja je poseben primer splošne gradientne metode za optimizacijo, ki temelji na srednji kvadratni napaki.
Značilnosti uredi
Metoda je iterativna, saj rešitev nastaja postopoma, po številnih majhnih korakih. Delovanje metode spominja na spuščanje kroglice s hriba, ki se premika v smeri nagiba, pri čemer se ji zmanjšuje višina. Pri tem se ji lahko zgodi, da se ustavi v kotanji (lokalni minimum), še preden pride do vznožja (globalni minimum). Zato je metoda vzvratnega razširjanja počasna in nezanesljiva. Poleg tega ima še številne druge pomanjkljivosti, na primer: (1) neinformativnost – ne pove, kako pride do rezultata, (2) nekonstruktivnost – ne zna sama poiskati optimalne zgradbe nevronske mreže, (3) neučinkovitost – za učenje poleg koristnih uporablja tudi jalove učne vzorce, (4) ne odpravlja šuma, (5) ne roji učnih podatkov. Omenjene pomanjkljivosti učinkovito odpravljata algoritma bipropagation in metoda mejnih parov,