Autoenkoder (engleski: autoencoder) vrsta je vještačke neuronske mreže koja uči preslikati ulazne podatke u unutrašnju reprezentaciju, a zatim iz nje rekonstruirati početni ulaz. Sastoji se od enkodera, koji ulaz pretvara u latentni kod, i dekodera, koji iz tog koda stvara rekonstrukciju. Mreža se obučava tako da razlika između ulaza i rekonstruiranog izlaza bude što manja; ciljni primjer pritom potječe iz samog ulaza, pa nisu potrebne zasebne oznake klasa.^[1]

Najjednostavniji autoenkoder sadrži latentni sloj manje dimenzionalnosti od ulaza, čime se model usmjerava na zadržavanje pravilnosti važnih za rekonstrukciju. Sličan učinak može se postići ograničavanjem aktivnosti neurona, dodavanjem šuma ili drugim oblicima regularizacije. Autoenkoderi se koriste za smanjenje dimenzionalnosti, učenje reprezentacija, uklanjanje šuma, sažimanje podataka, početno obučavanje dubljih mreža i otkrivanje anomalija.^[2]

Neka je ${\displaystyle x}$ ulazni primjer iz prostora podataka ${\displaystyle {\mathcal {X}}}$. Enkoder, označen funkcijom ${\displaystyle f_{\theta }}$, stvara latentnu reprezentaciju

$${\displaystyle z=f_{\theta }(x),}$$

gdje ${\displaystyle \theta }$ označava njegove parametre. Dekoder ${\displaystyle g_{\phi }}$ preslikava latentni kod natrag u prostor ulaza:

$${\displaystyle {\hat {x}}=g_{\phi }(z)=g_{\phi }(f_{\theta }(x)).}$$

Parametri enkodera i dekodera određuju se minimiziranjem prosječne greške rekonstrukcije nad skupom za obuku:

$${\displaystyle \min _{\theta ,\phi }{\frac {1}{N}}\sum _{i=1}^{N}\ell \left(x_{i},g_{\phi }(f_{\theta }(x_{i}))\right),}$$

pri čemu je ${\displaystyle N}$ broj primjera, a ${\displaystyle \ell }$ funkcija gubitka. Za podatke s realnim vrijednostima često se koristi srednja kvadratna greška, dok se za binarne podatke ili probabilistički izlaz može primijeniti unakrsna entropija.^[1]

Latentni sloj naziva se i kodnim slojem ili "uskim grlom". Kada ima manje dimenzija od ulaza, mreža ne može jednostavno prenijeti svaku ulaznu vrijednost zasebnim putem, nego mora naučiti sažetu reprezentaciju. Ako model ima prevelik broj parametara ili latentni sloj bez odgovarajućih ograničenja, može naučiti gotovo identitetsko preslikavanje, koje daje malu grešku rekonstrukcije bez izdvajanja korisnih obilježja. Zato se kapacitet mreže obično ograničava arhitekturom ili regularizacijom.^[1]

U posebnom slučaju linearnog enkodera i dekodera, jednog skrivenog sloja i kvadratne funkcije gubitka, podprostor koji mreža nauči odgovara glavnom podprostoru dobijenom analizom glavnih komponenti. Pojedinačne latentne koordinate ipak ne moraju odgovarati ortogonalnim glavnim komponentama jer se unutar naučenog podprostora mogu pojaviti drugačije baze.^[3][4] Nelinearne aktivacijske funkcije i dodatni slojevi omogućavaju modeliranje složenijih odnosa koje linearne metode ne mogu prikazati.^[5]

Rani radovi o autoasocijativnim neuronskim mrežama proučavali su uslove pod kojima višeslojni perceptron može rekonstruirati vlastiti ulaz. Hervé Bourlard i Yves Kamp povezali su 1988. linearne autoasocijativne mreže s dekompozicijom singularnih vrijednosti, dok su Pierre Baldi i Kurt Hornik naredne godine formalno analizirali njihov odnos prema analizi glavnih komponenti.^[3][4] Mark Kramer primijenio je 1991. nelinearnu autoasocijativnu mrežu za izdvajanje nelinearnih glavnih komponenti.^[5]

Geoffrey Hinton i Ruslan Salakhutdinov pokazali su 2006. da se duboki autoenkoderi mogu koristiti za nelinearno smanjenje dimenzionalnosti visokodimenzionalnih podataka. Njihov postupak oslanjao se na postepeno početno obučavanje slojeva, nakon čega je cijela mreža dodatno prilagođavana minimiziranjem greške rekonstrukcije.^[2]

Pascal Vincent i saradnici predstavili su 2008. autoenkoder za uklanjanje šuma, u kojem mreža dobija oštećeni primjer, ali uči rekonstruirati njegovu izvornu verziju.^[6] Kontraktivni autoenkoder uveden je 2011. kao način učenja reprezentacija neosjetljivih na male promjene ulaza.^[7] Diederik Kingma i Max Welling razvili su zatim varijacijski autoenkoder, koji je rekonstrukcijski postupak spojio s probabilističkim generativnim modelom.^[8]

Kod autoenkodera s uskim grlom latentni kod ima manje dimenzija od ulaza. Ograničeni prostor prisiljava mrežu da odbaci dio podataka i zadrži obilježja koja su najkorisnija za rekonstrukciju. Takav model može služiti kao nelinearna metoda smanjenja dimenzionalnosti, ali kvalitet naučene reprezentacije zavisi od veličine latentnog prostora, arhitekture i izabrane funkcije gubitka.^[1][2]

Rijetki autoenkoder može imati latentni sloj jednak ili veći od ulaznog, ali se tokom obuke ograničava broj aktivnih latentnih jedinica. Regularizacijski član može kažnjavati veliku prosječnu aktivaciju neurona ili izravno dopuštati samo određenom broju jedinica da ostanu aktivne. U k-rijetkom autoenkoderu zadržava se samo k najvećih aktivacija za svaki primjer, dok se ostale postavljaju na nulu.^[9] Time se sprečava da sve jedinice istovremeno prenose isti podatak i potiče izdvajanje različitih obilježja.

Autoenkoder za uklanjanje šuma obučava se na paru sastavljenom od namjerno oštećenog ulaza i njegove izvorne, neoštećene verzije. Oštećenje može uključivati dodavanje slučajnog šuma, uklanjanje pojedinih vrijednosti ili prekrivanje dijela ulaza. Budući da model ne može samo prepisati primljene vrijednosti, mora naučiti pravilnosti koje omogućavaju procjenu izvornog primjera.^[6] Više takvih autoenkodera može se slagati u dublju mrežu, pri čemu svaki sloj uči reprezentaciju izlaza prethodnog sloja.^[10]

Kontraktivni autoenkoder uz rekonstrukcijski gubitak koristi i kaznu zasnovanu na Frobeniusovoj normi Jakobijeve matrice enkodera u odnosu na ulaz. Kazna smanjuje osjetljivost latentnog koda na male promjene ulaznih podataka, dok model zadržava promjene potrebne za razlikovanje primjera duž strukture skupa za obuku.^[7]

Varijacijski autoenkoder probabilistička je varijanta u kojoj enkoder ne stvara jednu tačku latentnog prostora, nego parametre raspodjele latentne varijable. Latentni uzorak zatim se prosljeđuje dekoderu, a funkcija cilja spaja grešku rekonstrukcije s članom koji naučenu raspodjelu približava unaprijed zadanoj raspodjeli. Takva organizacija latentnog prostora omogućava stvaranje novih primjera uzorkovanjem latentnih varijabli, zbog čega varijacijski autoenkoder pripada generativnim modelima.^[8]

Autoenkoderi se mogu koristiti kao nelinearna zamjena za analizu glavnih komponenti. Nakon obuke dekoder se može odbaciti, a izlaz enkodera koristiti kao sažeta reprezentacija podataka za vizualizaciju, grupiranje ili kao ulaz drugom modelu mašinskog učenja.^[5][2] U ranijim dubokim mrežama slojevi autoenkodera služili su i za početno obučavanje parametara prije nadzirane obuke završnog modela.^[2][10]

Modeli obučeni na oštećenim i čistim parovima primjera primjenjuju se za uklanjanje šuma i obnavljanje djelomično oštećenih podataka.^[6] Isti princip može se prilagoditi slikama, zvuku, mjerenjima senzora i drugim vrstama podataka, pod uslovom da arhitektura enkodera i dekodera odgovara njihovoj strukturi.

Pri otkrivanju anomalija autoenkoder se obično obučava na primjerima normalnog ponašanja. Pretpostavlja se da će takve primjere rekonstruirati s malom greškom, dok će neuobičajeni primjeri imati veću grešku rekonstrukcije. Vrijednost greške tada se koristi kao pokazatelj anomalije, uz prag određen prema podacima za provjeru.^[11]

Mala greška rekonstrukcije ne znači nužno da je model naučio korisnu ili lahko tumačivu reprezentaciju. Autoenkoder dovoljnog kapaciteta može približno kopirati ulaz, naročito kada latentni prostor nije ograničen. Zbog toga se dimenzionalnost koda, regularizacija i vrsta oštećenja moraju prilagoditi zadatku.^[1]

Funkcija gubitka određuje koje će razlike između ulaza i rekonstrukcije model smatrati važnim. Kvadratna greška, naprimjer, snažno kažnjava velika odstupanja pojedinačnih vrijednosti, ali ne mora odgovarati perceptivnoj ili semantičkoj sličnosti složenih podataka. Naučeni kod stoga može dobro služiti rekonstrukciji, a biti manje prikladan za klasifikaciju ili tumačenje.

Klasični deterministički autoenkoder također ne određuje raspodjelu podataka u latentnom prostoru. Između kodova primjera iz skupa za obuku mogu postojati područja koja dekoder nije naučio smisleno preslikavati, pa proizvoljno uzorkovanje latentnih tačaka ne mora dati uvjerljive izlaze. Varijacijski autoenkoder ublažava ovaj problem uvođenjem unaprijed strukturirane latentne raspodjele, ali pritom mijenja funkciju cilja i često pravi kompromis između tačnosti rekonstrukcije i uređenosti latentnog prostora.^[8]

• Varijacijski autoenkoder
• Latentni prostor
• Učenje reprezentacija
• Smanjenje dimenzionalnosti
• Analiza glavnih komponenti
• Otkrivanje anomalija