Optimierung neuronaler Netze auf einem vom Gehirn inspirierten Computer

Von links nach rechts:Das Experiment wurde an einem Prototyp des BrainScale-2-Chips durchgeführt;Schematische Darstellung eines neuronalen Netzes;Ergebnisse für einfache und komplexe Aufgaben Kredit: Universität Heidelberg

Viele rechnerische Eigenschaften werden maximiert, wenn sich die Dynamik eines Netzwerks an einem „kritischen Punkt“ befindet, einem Zustand, in dem Systeme ihre Gesamteigenschaften schnell grundlegend ändern können, z. B. zwischen Ordnung und Chaos oder Stabilität und Instabilität wechseln. Daher ist der kritische Zustand allgemein als optimal für jede Berechnung in rekurrenten neuronalen Netzen angesehen, die in vielen KI-Anwendungen verwendet werden.

Forscher des HBP-Partners der Universität Heidelberg und des Max-Planck-Instituts für Dynamik und Selbstorganisation stellten diese Annahme in Frage, indem sie die Leistung eines rekurrenten neuronalen Netzes an einer Reihe von Aufgaben unterschiedlicher Komplexität und abseits von kritischer Dynamik testeten. Sie instanziierten das Netzwerk auf einem Prototyp des analogen neuromorphen BrainScaleS-2-Systems. BrainScaleS ist ein hochmodernes, vom Gehirn inspiriertes Computersystem mit synaptischer Plastizität, die direkt auf dem Chip implementiert ist. Es ist eines von zwei neuromorphen Systemen, die derzeit im Rahmen des European Human Brain Project entwickelt werden.

Zunächst zeigten die Forscher, dass sich der Abstand zur Kritikalität im Chip durch Ändern der Eingangsstärke leicht einstellen lässt, und zeigten dann einen klaren Zusammenhang zwischen Kritikalität und Aufgabenleistung. Die Annahme, dass Kritikalität für jede Aufgabe vorteilhaft ist, wurde nicht bestätigt: Während die informationstheoretischen Messungen alle zeigten, dass die Netzwerkkapazität bei Kritikalität maximal war, profitierten davon nur die komplexen, speicherintensiven Aufgaben, während einfache Aufgaben tatsächlich litten. Die Studie liefert somit ein genaueres Verständnis dafür, wie der kollektive Netzwerkzustand auf unterschiedliche Aufgabenanforderungen für eine optimale Leistung abgestimmt werden sollte.

Mechanisch lässt sich der optimale Arbeitspunkt für jede Aufgabe unter homöostatischer Plastizität sehr einfach durch Anpassung der mittleren Eingangsstärke einstellen. Die Theorie hinter diesem Mechanismus wurde erst kürzlich am Max-Planck-Institut entwickelt. “Der Einsatz auf neuromorpher Hardware zeigt, dass diese Plastizitätsregeln sehr gut geeignet sind, die Netzwerkdynamik auf unterschiedliche Distanzen von der Kritikalität abzustimmen”, sagt Senior-Autorin Viola Priesemann, Gruppenleiterin am MPIDS. Dadurch können Aufgaben unterschiedlicher Komplexität in diesem Raum optimal gelöst werden.

Das Ergebnis könnte auch erklären, warum biologische neuronale Netze nicht unbedingt an der kritischen Stelle arbeiten, sondern in der dynamisch reichen Umgebung eines kritischen Punktes, wo sie ihre Recheneigenschaften an die Aufgabenanforderungen anpassen können. Darüber hinaus etabliert es neuromorphe Hardware als schnellen und skalierbaren Weg, um den Einfluss biologischer Plastizitätsregeln auf neuronale Berechnungen und Netzwerkdynamiken zu untersuchen.

„Als nächsten Schritt untersuchen und charakterisieren wir nun den Einfluss des Arbeitspunkts des Spiking-Netzwerks auf die Klassifizierung von künstlichen und real gesprochenen Wörtern“, sagt Erstautor Benjamin Cramer von der Universität Heidelberg.


Leave a Comment