this site in english

Echo-State-Networks, Liquid-State-Machines

Neuronale Netze werden heutzutage zur Steuerung und Simulation in vielfältigen Anwendungsgebieten genutzt. Ein Manko, das die meistern Architekturen teilen, ist, dass sie kaum fähig sind vergangene Inputs sinnvoll zu speichern und dann zu verrechnen. Neuere Architekturen wie z.B. die hier vorgestellten Echo-State-Networks (ESN) sollen dazu beitragen diese Lücke zu schließen. ESN oder auch Liquid-State-Machines genannt wurden erstmals 2001 vorgeschlagen [1]. Sie bestehen aus einer gegebenen Menge aus Liquid-Neuronen, die untereinander völlig zufällig (ja, die Vernetzung ist wirklich fast völlig beliebig möglich) vernetzt sind. In diesen Netzwerkpool werden Eingangssignale eingespeist. Die Ausgangsgewichte werden erst nach der Trainingsphase gesetzt.

Wird das Netz z.B. mit zufälligem Input gespeist und als gewünschtem Output hätte man gerne zu jedem Zeitschritt den Eingang fünfzig Schritte vorher, dann läßt man das Netz mit beschriebenem Input tausend Schritte laufen, merkt sich die Zustände des Netzes und setzt nach dieser Trainingszeit die Ausgangsgewichte in einem einzigen Lernschritt derart, dass sich der gewünschte Output einstellt. Das Netz lernt also aus der Aufzeichnung all dessen, wie die Inputs auf das Netz reagieren die notwendigen Informationen derart auszulesen, dass es die gewünschte Ausgabe erzeugen kann. Das Prinzip lässt sich an folgenden Illustrationen erläutern:

Eine ausführliche Beschreibung des Aufbaus und einiger Eigenschaften der Netze kann man nachlesen in meiner Diplomarbeit