Die Werte der in
Gleichung (
)
werden mit Hilfe des Backpropagation-Algorithmus bestimmt. Als Trainingsmuster
werden dabei Mengen der Form
verwendet.
Die Eingabereizstärken
des p-ten
Paares von Trainingsmustern sind dabei bestimmt durch
und die Stärke des
Ausgabereizes durch
wobei die
vorherzusagende Funktion (
)
sei, und
die Länge
des Zeitintervalles bestimmt, nach dem die Vorhersage des Funktionswertes
erfolgen soll. Nach (
)
und (
)
gilt somit:
Damit läßt sich ein Maß für den Vorhersagefehler definieren:
In f stecken alle momentan noch unbekannten Gewichte ,
die zu Anfang des Lernprozesses zufällige Werte haben, wodurch relativ große
Vorhersagefehler
für alle
Muster
auftreten.
Man untersucht nun, wie sich der Fehler ändert, wenn man ein Gewicht verändert.
Dazu bildet man die partielle Ableitung
. Das
Gewicht wird nun ein kleines Stück so verändert, daß der Fehler kleiner wird:
Wenn man die Ableitungen ausrechnet, stellt man fest, daß es effektiv ist, zunächst die Gewichte des Ausgangsneurons, dann die Gewichte der zweiten inneren Schicht und erst am Schluß die Gewichte der ersten inneren Schicht anpaßt. Diese Methode nennt man Backpropagation, weil die Informationen über die Verbesserung der Gewichte in die andere Richtung als die Reize laufen.
Die Formel ()
bewirkt nur eine kleine Verbesserung und auch nur bezüglich eines Musters
. Sie muß
deshalb für alle Muster und die ganze Prozedur z.B 500 mal wiederholt werden,
bis der Vorhersagefehler klein genug geworden ist.
.
PRÄDIKTION EINER FUNKTION DURCH EIN N.N.
Werner Eberl