Les funcions verda i blava incorren en zero pèrdues en els punts de dades donats. Es pot induir un model après a preferir la funció verda, que es pot generalitzar millor a més punts extrets de la distribució desconeguda subjacent, ajustant , el pes del termini de regularització.
Tot i que els procediments de regularització es poden dividir de moltes maneres, la delimitació següent és especialment útil:
La regularització explícita és regularització sempre que s'afegeix explícitament un terme al problema d'optimització. Aquests termes poden ser anteriors, penalitzacions o limitacions. La regularització explícita s'utilitza habitualment amb problemes d'optimització mal plantejats. El terme de regularització, o penalització, imposa un cost a la funció d'optimització per fer única la solució òptima.
La regularització implícita és totes les altres formes de regularització. Això inclou, per exemple, l'aturada anticipada, l'ús d'una funció de pèrdua robusta i l'eliminació dels valors atípics. La regularització implícita és essencialment omnipresent en els enfocaments moderns d'aprenentatge automàtic, inclòs el descens de gradient estocàstic per a l'entrenament de xarxes neuronals profundes i mètodes de conjunt (com boscos aleatoris i arbres augmentats amb gradients).[3]
En la regularització explícita, independentment del problema o model, sempre hi ha un terme de dades, que correspon a una probabilitat de la mesura i un terme de regularització que correspon a un a priori. En combinar ambdues utilitzant l'estadística bayesiana, es pot calcular una posterior, que inclou ambdues fonts d'informació i, per tant, estabilitza el procés d'estimació. Compartint ambdós objectius, es tria ser més addictiu a les dades o fer complir la generalització (per evitar un sobreajust). Hi ha tota una branca de recerca que s'ocupa de totes les regularitzacions possibles. A la pràctica, s'acostuma a provar una regularització específica i després es calcula la densitat de probabilitat que correspon a aquesta regularització per justificar l'elecció. També pot estar motivat físicament pel sentit comú o la intuïció.
En l'aprenentatge automàtic, el terme de dades correspon a les dades d'entrenament i la regularització és l'elecció del model o les modificacions a l'algorisme. Sempre es pretén reduir l'error de generalització, és a dir, la puntuació d'error amb el model entrenat en el conjunt d'avaluació i no les dades d'entrenament.[4]
Referències
↑Kratsios, Anastasis . "Deep Arbitrage-Free Learning in a Generalized HJM Framework via Arbitrage-Regularization Data", 8, 2, 2020, pàg. [1]. DOI: 10.3390/risks8020040 [Consulta: lliure]. «Term structure models can be regularized to remove arbitrage opportunities [sic?].»
