Warum vergisst eine KI, was sie gelernt hat?

Bring einem neuronalen Netz bei, Äpfel von Birnen zu unterscheiden. Bring demselben Netz danach bei, Katzen von Hunden zu unterscheiden. Frag wieder nach Äpfeln — und es kommt ins Straucheln. Es hat vergessen, was es gelernt hatte. Nicht allmählich, sondern beinahe vollständig.

Dieses Verhalten heißt katastrophales Vergessen. Man kennt es seit über dreißig Jahren, und es bleibt eines der hartnäckigsten Probleme des maschinellen Lernens. Beim Menschen passiert nichts dergleichen: Autofahren zu lernen löscht nicht das Radfahren. In Netzen passiert es, weil alles, was ein Netz „weiß", in derselben Menge von Gewichten steckt. Zieht eine neue Aufgabe diese Gewichte zu ihren eigenen Zwecken, wird die Spur der alten überschrieben.

Dieselben Ziffern, gedrehte Welten

Dieses Vergessen zu messen verlangt einen sauberen Aufbau: Die Aufgaben müssen sich ähnlich genug sein, damit der Vergleich etwas bedeutet, und verschieden genug, um das Netz zu fordern. Die übliche Lösung ist elegant. Man nimmt MNIST, den klassischen Datensatz handgeschriebener Ziffern, und dreht die Bilder für jede Aufgabe um einen festen Winkel.

Gleiche Ziffern, gleiche Klassen, gleiche Schwierigkeit. Das Einzige, was sich ändert, ist die Neigung der Welt. Ein Netz, das die Null-Grad-Aufgabe gelernt hat, trifft beim Wechsel auf fünfundvierzig Grad auf eine tatsächlich neue Verteilung — und beginnt, die erste zu verlieren.

Vier Strategien gegen das Vergessen

Die Literatur geht das Problem mit vier verschiedenen Philosophien an. Alle verwalten dieselbe Spannung: Das Netz muss beweglich genug bleiben, um Neues zu lernen, und starr genug, um Altes zu behalten.

Die eigentliche Variable ist nicht der Algorithmus

Bisher lautete die Frage: Welche Methode ist die beste? Diese Arbeit stellte eine interessantere. Wie sehr zählt die Reihenfolge der Aufgaben?

Um das zu beantworten, muss man sagen können, wie schwer eine Aufgabe ist und wie verschieden zwei Aufgaben sind. Eine Methode namens Task2Vec leistet genau das: Sie schickt einen Datensatz durch ein vortrainiertes Netz und erzeugt einen Vektor, der die Aufgabe repräsentiert. Sind Aufgaben einmal Vektoren, wird der Abstand zwischen ihnen messbar.

Daraus folgen zwei Maße. Die Gesamtkomplexität ist die Summe der einzelnen Schwierigkeiten — wie schwer wiegt die Folge als Ganzes? Die sequenzielle Heterogenität ist die Summe der Abstände zwischen aufeinanderfolgenden Aufgaben — wie scharf sind die Kurven unterwegs?

Beide Maße steigen deutlich mit der Endfehlerrate. Wie viel eine Folge vergessen lässt, ist also aus ihrer eigenen Struktur abschätzbar — unabhängig davon, welchen Algorithmus man wählt.

Wer ist wo gut?

Auch die Algorithmen zeigen unterschiedliche Temperamente. A-GEM arbeitet mit wenigen Aufgaben und sanften Übergängen sehr gut, tut sich aber schwer, wenn die Sprünge abrupt sind — der kleine Speicher, den es hält, reicht nicht, um eine sehr andere Aufgabe abzubilden.

EWC und SI zeigen sich bemerkenswert gleichgültig gegenüber der Struktur: acht Aufgaben oder achtzehn, geordnet oder verstreut, die Ergebnisse bleiben vergleichbar. LwF spielt seine Stärke bei langen Folgen aus; Vielfalt ist dort kein Hindernis, fast ein Vorteil.

Was bedeutet das?

Praktisch gesagt: Wer ein kontinuierlich lernendes System baut, hat die halbe Arbeit mit der Wahl des Algorithmus erledigt — die andere Hälfte besteht darin, zu entscheiden, in welcher Reihenfolge die Aufgaben gezeigt werden. Der Lehrplan zählt so viel wie die Lehrmethode.

Die Grenzen sind ebenso klar. Die Arbeit stützt sich auf einen einzigen Datensatz und eine einzige Aufgabenfamilie. Gedrehte Ziffern sind ein sauberes Labor, nicht die Unordnung der wirklichen Welt. Die von Task2Vec erzeugten Vektoren hängen zudem vom gewählten Netz ab — das Messinstrument trägt eine eigene Annahme. Nichts davon entkräftet das Ergebnis; es markiert, wie weit es trägt.