Neuronale Netzwerke und Anwendungen von Ridge-Funktionen

Abstract

Diese Arbeit beschäftigt sich mit der Approximationstheorie von Neuronalen Netzwerken und einer Methode zur nichtlinearen Modellreduktion mit Ridge-Funktionen. Zunächst untersuchen wir im ersten Kapitel die Approximation mit klassischen Feedforward Netzwerken und dabei insbesondere solche Netzwerke mit stückweise polynomiellen Aktivierungsfunktion, für welche wir einen engen Zusammenhang zu Splines herstellen. Über diese Verbindung lassen sich verschiedene Aproximationsraten herleiten und die Vorteile von mehrschichtigen Netzwerken dieser Art erklären. Im nächsten Kapitel betrachten wir den Netzwerktyp der Convolutional Neural Networks und untersuchen diese durch die Theorie der Scattering Networks. Dabei untersuchen wir eine Verallgemeinerung auf diskrete Frames, mithilfe derer wir Stabilitätsaussagen treffen, auch anhand numerischer Beispiele. Zuletzt nutzen wir Ridge-Funktionen, um aufbauend auf einer Reduced Basis Method eine nichtlineare Methode zur Lösung von parametrischen partiellen Differentialgleichungen im Rahmen der nichtlinearen Modellreduktion zu entwickeln und anhand umfangreicher numerischer Beispiele zu evaluieren. Wir geben konkrete Algorithmen zur Lösung der Probleme der Rekonstruktion von Ridge-Funktionen auf gewissen Gebieten an und wenden diese auf praktische Beispiele an. Außerdem betrachten im Rahmen der theoretischen Untersuchung dieser Methode Fragestellungen zur Approximation mit Ridge-Funktionen.