Overfitting

V statistikách, overfitting sedí statistickému modelu, který má příliš mnoho parametrů. Nesmyslný a nepravdivý model může hodit se perfektně jestliže model má dost složitosti v srovnání s množstvím dostupných dat. Overfitting je obecně rozpoznán být porušení Occam holícího strojku.

Pole, které má více nedávno adoptovalo pojetí overfitting je učení stroje. Obvykle učení algoritmus je cvičen používat nějaký soubor příkladů tréninku, tj. příkladné situace pro kterého požadovaný výstup je znán. Žák je převzat dosáhnout státu kde to bude také být schopné předpovídat správný výstup pro jiné příklady, tak zevšeobecňovat k situacím ne představovaný během tréninku (založeného na jeho indukční zaujatosti). Nicméně, obzvláště v případech kde učení bylo vykonáváno příliš dlouho nebo kde příklady školení jsou vzácné, žák může přizpůsobit se velmi přesným náhodným rysům dat tréninku, to mít žádný příčinný vztah k funkci cíle. V tomto procesu overfitting, výkon na příkladech tréninku ještě zvětší se, zatímco výkon na neviditelných datech se zhorší.

V jak statistikách tak učení stroje, aby se vyhnul overfitting, to je nutné použít další techniky (např. kříž-validace, brzy brzdný), to může signalizovat, když další trénink nevyústí v lepší zevšeobecňování.