Verlustfunktionen geben an, wie sehr die Vorhersage eines Modells von den tatsächlichen Werten abweicht und werden dazu verwendet, die Paramter während des Trainings zu optimieren. Wenn die Verlustfunktion geringer wird, werden entsprechend die Vorhersagen des Modells genauer. Die Minimierung der Verlustfunktion erfolgt dabei meist über das sogenannte Gradientenabstiegs-Verfahren, bei dem die Gewichte schrittweise angepasst werden und die Verlustfunktion nach und nach abnimmt. Nachfolgend werden wichtige Verlustfunktionen aufgezählt, die für Klassifikations– und Regressionsprobleme verwendet werden können.
Klassifikation
- Binary-Crossentropy: Für binäre Klassifikations Probleme (zwei Klassen) kann die Entropie verwendet werden, die den Informationsgehalt von Daten beschreibt.
- Categorical-Crossentropy: Analog zur binären Entropie gibt es auch die allgemeine Form, die auch für beliebig viele Klassen verwendet werden kann.
Regression
- Mean-Squared-Error: Der MSE beschreibt die mittlere quadratische Abweichung zwischen Vorhersage und tatsächlichem Target. Um den Loss ins Verhältnis zum Wertebereich zu setzen, kann auch die Wurzel gezogen werden (RMSE).
- Mean-Absolute-Error: Der MAE beschreibt die mittlere absolute Abweichung der Vorhersagen zum eigentlichen Target.
Die Auswahl der Verlustfunktion erfolgt meist in Abhängigkeit des Problems, wobei jedoch die Crossentropie sowie Mean-Squared-Error die am häufigsten verwendeten Verlustfunktionen für Klassifikations- und Regressions-Probleme sind. Teilweise werden auch eigene Verlustfunktionen bzw. Losses realisiert, falls die standardmäßig verfügbaren Funktionen nicht das gewünschte Ergebnis liefern oder einfach nicht richtig zum Sachverhalt bzw. der Problemstellung passen.
Weiterführende Links:
Wie lernen Neuronale Netze? – https://docs.microsoft.com/de-de/archive/msdn-magazine/2019/april/artificially-intelligent-how-do-neural-networks-learn
Loss Functions for Deep Neural Networks – https://machinelearningmastery.com/loss-and-loss-functions-for-training-deep-learning-neural-networks/
