Wie KI-Modelle sich selbst verbessern

Overney (2023) hat untersucht, wie es einem KI-Modelle gelingt, sich selbst neue Dinge beizubringen, also neue Konzepte zu lernen, wenn sie mit ihren Benutzern interagieren. Dabei hat man einen möglichen Schlüsselmechanismus von Transformern aufgedeckt, der solche künstlichen System befähigt, im laufenden Betrieb zu lernen und ihre Antworten auf der Grundlage von Interaktionen mit ihren Nutzern zu verfeinern. Transformer sind dabei künstliche neuronale Netze mit einer besonderen Architektur, die von grossen Sprachmodellen wie ChatGPT verwendet werden. Während neuronale Netze im Allgemeinen als Black-box betrachtet werden, die bei einer Eingabe eine Ausgabe ausspucken, können Transformer von sich aus lernen, neue Algorithmen in ihre Architektur einzubauen. Man kann einem Sprachmodell wie ChatGPT etwa mehrere kurze Texte geben und jeweils angeben, ob die Texte grundsätzlich eine positive oder negative Grundstimmung haben. Dann legt man dem Modell einen Text vor, den es noch nicht gesehen hat, und es wird anhand der Beispiele, die man dem Modell gegeben hat, ziemlich sicher lernen und beurteilen, ob der neue Text positiv oder negativ ist. Aus dem Zwang heraus, die eigenen Vorhersagen zu verbessern, entwickelt es während des Trainings eine Technik, die es dem Modell ermöglicht, aus den Gesprächen mit seinen Nutzern zu lernen (In-Context-Learning). Der von Overney verwendete Transformer war dabei fast identisch mit der weit verbreiteten Transformer-Architektur, doch anstatt das System mit grossen Textmengen aus dem Internet zu trainieren, hatte man es mit Beispielen eines einfachen Problems trainiert, der linearen Regression. Da dieses Problem und seine Lösung sehr gut bekannt sind, konnte man diese Lösung mit dem vergleichen, was man im Transformer beobachtet hat. So konnte man zeigen, dass der Transformer einen sehr bekannten und leistungsstarken Lernalgorithmus namens „Gradient Descent“ in sich selbst implementiert hat, wobei der Transformer nicht einfach „Gradient Descent“ gelernt und durchgeführt hat, sondern eine verbesserte Version davon.

Literatur

Overney, J. (2023). Wie es KI-Modelle schaffen, sich selbst neue Dinge beizubringen.
WWW: https://ethz.ch/de/news-und-veranstaltungen/eth-news/news/2023/07/wie-es-ki-modelle-schaffen-sich-selbst-neue-dinge-beizubringen.html (23-07-24)