Paper: Fisher Information, Training and Bias in Fourier Regression Models
Lorenzo Pastori · Veronik Eyring · Mierk Schwabe
Arxiv · 2025
Motiviert durch das wachsende Interesse am Quanten-Maschinellen Lernen, insbesondere an Quanten-Neuronalen Netzen (QNNs), untersuchen wir, wie effektiv kürzlich eingeführte Bewertungsmetriken auf Basis der Fisher-Informationsmatrix (FIM) für die Vorhersage ihrer Trainings- und Vorhersageleistung sind. Wir nutzen die Äquivalenz zwischen einer breiten Klasse von QNNs und Fourier-Modellen und untersuchen die Wechselwirkung zwischen der effektiven Dimension und der Verzerrung eines Modells in Bezug auf eine bestimmte Aufgabe, um herauszufinden, wie sich diese auf das Training und die Leistung des Modells auswirken. Wir zeigen, dass für ein Modell, das gegenüber der zu lernenden Funktion völlig agnostisch oder unverzerrt ist, eine höhere effektive Dimension wahrscheinlich zu einer besseren Trainierbarkeit und Leistung führt. Auf der anderen Seite ist für Modelle, die gegenüber der zu lernenden Funktion voreingenommen sind, eine niedrigere effektive Dimension während des Trainings wahrscheinlich von Vorteil. Um diese Ergebnisse zu erhalten, leiten wir einen analytischen Ausdruck der FIM für Fourier-Modelle ab und identifizieren die Merkmale, die die effektive Dimension eines Modells steuern. Dies ermöglicht es uns, Modelle mit einstellbarer effektiver Dimension und Voreingenommenheit zu konstruieren und deren Training zu vergleichen. Darüber hinaus führen wir eine Tensor-Netzwerk-Darstellung der betrachteten Fourier-Modelle ein, die ein eigenständiges Instrument für die Analyse von QNN-Modellen sein könnte. Insgesamt liefern diese Ergebnisse ein anschauliches Beispiel für das Zusammenspiel zwischen geometrischen Eigenschaften, Modell-Aufgaben-Ausrichtung und Training, das für die breitere Machine-Learning-Community relevant ist.
Arxiv (2025)
https://doi.org/10.48550/arXiv.2510.06945
