In Bezug auf die Art und Weise, wie Menschen Erinnerungen speichern und abrufen, existieren unterschiedliche Theorien. Eine dieser Theorien ist die Complementary Learning Systems Theorie, welche besagt, dass das Zusammenspiel zwischen dem Hippocampus und dem Neokortex, zwischen einem vereinfacht gesagt schnell lernenden und einem langsam lernenden Hirnareal, maßgeblich daran beteiligt ist, neue Erfahrungen in Erinnerungen umzuwandeln. Dieser Prozess findet vorrangig im Schlaf statt.
Die Entwicklerinnen und Entwickler neuronaler Netze machen sich derartige Theorien aus der Hirnforschung zunutze. Im Jahr 2021 hat ein Team aus Singapur mit DualNet ein KI-Modell vorgestellt, welches sowohl einen langsamen als auch einen schnellen Trainingsprozess anwendet und somit das menschliche Lernen imitiert.
In einer aktuellen Studie gehen Forschende der Universität von Catania in Italien noch einen Schritt weiter, indem ihr Algorithmus mit an diese Theorie angelehnten Schlaf- und Wachphasen arbeitet. Man wollte herausfinden, ob KI-Modelle zuverlässiger werden, wenn sie nicht durchgängig mit neuen Informationen bombardiert werden, sondern zwischendurch die Möglichkeit haben, Informationen „sacken zu lassen”. In der Tat gibt es im maschinellen Lernen ein Phänomen, das als „katastrophales Vergessen“ bezeichnet wird. Hierbei vergessen die Algorithmen das zuvor Gelernte komplett. Eine mögliche Erklärung für dieses Phänomen ist, dass während des sequentiellen Lernens neue Repräsentationen die alten überlagern und somit aus dem Gedächtnis zurückdrängen.
Um zu überprüfen, ob eine Aufteilung in Schlaf- und Wachphasen die Algorithmen in der Anwendung robuster macht, haben die Forscherinnen und Forscher aus Catania eine Trainingsmethode namens Wake-Sleep Consolidated Learning entwickelt und auf ein Modell zur Bilderkennung angewendet. Sie führten eine Schlafphase ein, die die Zustände des menschlichen Gehirns nachahmt, in denen synaptische Verbindungen, Gedächtniskonsolidierung und das Lernen von Bildern im Vordergrund stehen.
In der Wachphase wurde das Modell mit Trainingsdaten gefüttert, in diesem Fall mit neuen Bildern von Tieren. In dieser Phase werden neue Erfahrungen gewissermaßen im Kurzzeitgedächtnis gespeichert. Die Wachphase wird durch die Schlafphase abgelöst, die sich ihrerseits in zwei Phasen unterteilt, die dem menschlichen Schlaf ähneln. Die erste Phase wird als Non-REM-Schlaf bezeichnet und dient der Verarbeitung von Erinnerungen, die während der Wachphase gesammelt wurden. Zudem werden vergangene Erfahrungen verarbeitet, wobei ältere Trainingsdaten im Langzeitgedächtnis konsolidiert werden. Die zweite Phase wird als REM-Schlaf bezeichnet und ist durch das Träumen gekennzeichnet. Des Weiteren ist der REM-Schlaf zu nennen, in dem das Träumen neue Erfahrungen simuliert und das Gehirn auf zukünftige Ereignisse vorbereitet. Diese Traumphase, in der die KI abstrakte Bilder mit verschiedenen Tierkombinationen verarbeitet, ist von Bedeutung, da sie dazu beiträgt, bisherige Wege digitaler Neuronen zusammenzuführen und somit Platz für andere Konzepte in der Zukunft zu schaffen. Dies sollte dazu beitragen, dass das Modell neue Konzepte leichter erlernen kann, was als eine Art Gehirnjogging für die KI bezeichnet werden kann.
Im Anschluss wurde der mit dieser Methode trainierte Algorithmus mit drei gängigen Bilderkennungsmodellen verglichen. Dabei zeigte sich, dass die Erkennungsrate zwischen zwei und zwölf Prozent höher lag. Zudem war der sogenannte Vorwärtstransfer höher, was bedeutet, dass das Modell mehr altes Wissen anwendete, um neue Aufgaben zu lernen. Dies lässt den Schluss zu, dass die Plastizität neuronaler Netze durch konkrete Schlaf- und Wachphasen verbessert werden kann.
Literatur
https://www.heise.de/news/Lernen-im-Schlaf-Wieso-auch-eine-KI-mal-abschalten-sollte-9621667.html (24-06-09)
Nachricht ::: Roboter Lexikon ::: Impressum
Datenschutzerklärung ::: © Benjamin Stangl :::