Generace sklonu

Generace sklonu je postupný kopec-lézt na algoritmus to se blíží k minimu nebo maximu funkce podniknutím kroků úměrným sklonu (nebo přibližný sklon) na aktuálním místě.

Jsou tam dva hlavní formy generace sklonu obyčejně používaly v učení stroje : dávka a on-line.

Ve skupině generace sklonu, opravdový sklon je zvyklý na aktualizaci parametry modelu. Opravdový sklon je obvykle suma sklonů způsobených každým příkladem individuálního školení. Proto, dávka generace sklonu vyžaduje jednu zatáčku přes soubor školení dříve, než nějaké parametry mohou být měněny.

V online sklonu generace, opravdový sklon je zaokrouhlený gradientem cenové funkce jen ocenit na jediném tréninkovém příkladu. Proto, parametry modelu jsou aktualizovány po každém příkladu tréninku. Pro velké datové soubory, online sklon generace může být hodně rychlejší než dávka generace sklonu.

Tam je kompromis mezi dvěma formami, který je často nazvaný “mini-dávky”, kde opravdový sklon je zaokrouhlený součtem přes malé množství příkladů tréninku.

Online sklon svah je forma přiblížení stochastic. Teorie přiblížení stochastic stanoví podmínky na když online sklon svah se sblíží.