Open Access

Daniel Lehmann

• Convolutional Neural Network-based image classification models are the current state-of-the-art for solving image classification problems. However, obtaining and using such a model to solve a specific image classification problem presents several challenges in practice. To train the model, we need to find good hyperparameter values for training, such as initial model weights or learning rate. However, finding these values is usually a non-trivial process. Another problem is that the training data used for model training is often class-imbalanced in practice. This usually has a negative impact on model training. However, not only is it challenging to obtain a Convolutional Neural Network-based model, but also to use the model after model training. After training, the model might be applied to images that were drawn from a data distribution that is different from the data distribution the training data was drawn from. These images are typically referred to as out-of-distribution samples. Unfortunately, Convolutional Neural Network-based image classification models typically fail to predict the correct class for out-of-distribution samples without warning, which is problematic when such a model is used for safety-critical applications. In my work, I examined whether information from the layers of a Convolutional Neural Network-based image classification model (pixels and activations) can be used to address all of these issues. As a result, I suggest a method for initializing the model weights based on image patches, a method for balancing a class-imbalanced dataset based on layer activations, and a method for detecting out-of-distribution samples, which is also based on layer activations. To test the proposed methods, I conducted extensive experiments using different datasets. My experiments showed that layer information (pixels and activations) can indeed be used to address all of the aforementioned challenges when training and using Convolutional Neural Network-based image classification models.
• Modelle basierend auf Convolutional Neural Networks sind der aktuelle Stand der Technik zur Lösung von Bildklassifizierungsproblemen. Das Training und die Nutzung eines solchen Modells zur Lösung eines spezifischen Bildklassifizierungsproblems bringt in der Praxis jedoch einige Herausforderungen mit sich. Um das Modell trainieren zu können, müssen geeignete Werte für die Trainingshyperparameter identifiziert werden wie beispielsweise die initialen Gewichte des Modells oder die Lernrate. Die Ermittlung dieser Werte ist üblicherweise jedoch kein trivialer Prozess. Daneben ist zudem ein weiteres Problem, dass in der Praxis häufig die Trainingsdaten nicht balanciert sind bezüglich der Klassenverteilung. Dies wirkt sich in der Regel negativ auf das Modelltraining aus. Allerdings ist es nicht nur eine Herausforderung ein Modell basierend auf einem Convolutional Neural Network zu trainieren sondern dieses auch nach dem Training zu nutzen. Nach dem Training wird das Modell möglicherweise auf Bilder angewandt, die aus einer anderen statistischen Verteilung stammen als die Trainingsdaten. Diese Bilder werden üblicherweise als Out-of-Distribution Samples bezeichnet. Leider schlagen Modelle basierend auf Convolutional Neural Networks häufig auf diesen Out-of-Distribution Samples ohne Warnung fehl. Dies ist vor allem problematisch wenn ein solches Modell für sicherheitskritische Anwendungen verwendet wird. In meiner Arbeit habe ich untersucht, ob Informationen aus den Layern eines Modells basierend auf einem Convolutional Neural Network (Pixels und Activations) verwendet werden können, um die aufgeführten Probleme zu lösen. Ich schlage eine Methode zur Initialisierung der Modellgewichte basierend auf Bildpatches vor, eine Methode zur Balancierung von unbalancierten Trainingsdaten basierend auf Layer Activations und eine Methode zur Erkennung von Out-of-Distribution Samples, welche ebenfalls auf Layer Activations basiert. Um meine vorgeschlagenen Methoden zu testen habe ich umfassende Experimente unter Verwendung von verschiedenen Datensätzen durchgeführt. Meine Experimente haben gezeigt, dass Informationen von den Layern eines solchen Modells (Pixels und Activations) tatsächlich verwendet werden können um alle aufgeführten Herausforderungen beim Training und bei der Nutzung des Modells zu adressieren.