Apprenez à un réseau de neurones à distinguer les pommes des poires. Apprenez ensuite au même réseau à distinguer les chats des chiens. Revenez aux pommes : il ne sait plus. Il a oublié ce qu'il avait appris — non pas progressivement, mais presque entièrement.
Ce comportement porte un nom : l'oubli catastrophique. On le connaît depuis plus de trente ans et il reste l'un des problèmes les plus tenaces de l'apprentissage automatique. Rien de tel ne se produit chez l'humain : apprendre à conduire n'efface pas le vélo. Cela arrive dans les réseaux parce que tout ce qu'un réseau « sait » loge dans le même jeu de poids. Quand une nouvelle tâche tire ces poids vers ses propres fins, la trace de l'ancienne est recouverte.
Mêmes chiffres, mondes pivotés
Mesurer cet oubli demande un dispositif propre : les tâches doivent se ressembler assez pour que la comparaison ait un sens, et différer assez pour mettre le réseau en difficulté. La solution courante est élégante. On prend MNIST, le jeu classique de chiffres manuscrits, et l'on fait pivoter les images d'un angle donné pour chaque tâche.
Mêmes chiffres, mêmes classes, même difficulté. Seule change l'inclinaison du monde. Un réseau qui a appris la tâche à zéro degré rencontre une distribution réellement nouvelle en passant à quarante-cinq — et commence à perdre la première.
Quatre stratégies contre l'oubli
La littérature aborde le problème selon quatre philosophies distinctes. Toutes gèrent la même tension : le réseau doit rester assez souple pour apprendre le nouveau et assez rigide pour conserver l'ancien.
Méthodes Quatre réponses à un même problème
- EWC — Mesure d'abord quels poids étaient déterminants pour l'ancienne tâche, puis rend coûteux leur déplacement. Une rigidité sélective.
- SI — Rend la même idée continue : l'importance est mise à jour pas à pas tout au long de l'apprentissage. Un poids devenu inutile est libéré.
- A-GEM — Conserve un petit échantillon d'exemples anciens. Avant chaque pas, il vérifie si ce pas dégraderait les performances sur ces exemples ; si oui, il change de direction.
- LwF — Ne stocke aucune donnée. Il enregistre les réponses données par le réseau tel qu'il était et contraint le nouveau réseau à y rester fidèle. Le réseau devient le professeur de son propre passé.
La vraie variable n'est pas l'algorithme
Jusqu'ici la question était : quelle méthode est la meilleure ? Cette étude en a posé une plus intéressante. Dans quelle mesure l'ordre des tâches compte-t-il ?
Pour y répondre, il faut pouvoir dire à quel point une tâche est difficile et à quel point deux tâches diffèrent. Une méthode appelée Task2Vec fait exactement cela : elle passe un jeu de données dans un réseau pré-entraîné et produit un vecteur représentant la tâche. Les tâches devenues vecteurs, la distance entre elles devient mesurable.
Deux mesures en découlent. La complexité totale est la somme des difficultés individuelles — quel est le poids de la séquence dans son ensemble ? L'hétérogénéité séquentielle est la somme des écarts entre tâches consécutives — quelle est la brutalité des virages en chemin ?
Les deux mesures augmentent nettement avec le taux d'erreur final. Ce qu'une séquence fera oublier peut donc s'estimer à partir de sa propre structure, indépendamment de l'algorithme choisi.
Qui est bon où ?
Les algorithmes révèlent aussi des tempéraments distincts. A-GEM se comporte très bien avec peu de tâches et des transitions douces, mais peine quand les sauts sont brusques — la petite mémoire qu'il conserve ne suffit pas à représenter une tâche très différente.
EWC et SI se montrent étonnamment indifférents à la structure : huit tâches ou dix-huit, ordre régulier ou dispersé, les résultats restent comparables. LwF s'impose sur les longues séquences ; la diversité n'y est pas un obstacle, presque un avantage.
Qu'est-ce que cela veut dire ?
En pratique : si vous construisez un système qui apprend en continu, la moitié du travail consiste à choisir le bon algorithme, et l'autre moitié à décider dans quel ordre lui présenter les tâches. Le programme compte autant que la méthode d'enseignement.
Les limites sont tout aussi nettes. Le travail porte sur un seul jeu de données et une seule famille de tâches. Les chiffres pivotés sont un laboratoire propre, pas le désordre du monde réel. Les vecteurs produits par Task2Vec dépendent en outre du réseau choisi : l'instrument de mesure porte sa propre hypothèse. Rien de tout cela n'invalide le résultat ; cela indique jusqu'où il voyage.
Sur quoi repose cet article ?
Ce texte s'appuie sur Apprentissage Continu de Tâches Structurellement Reliées, mené à l'Université d'Évry Paris-Saclay (Nadjib Atamnia, Selim Kusursuz, Omar Gharib ; encadrant : Prof. Massinissa Hamidi, 2024–2025).
- Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, PNAS, 2017.
- Zenke, Poole, Ganguli, Continual learning through synaptic intelligence, 2017.
- Chaudhry et al., Efficient lifelong learning with A-GEM, 2019.
- Li, Hoiem, Learning without forgetting, 2017.
- Achille et al., Task2Vec: Task embedding for meta-learning, ICCV, 2019.
- Nguyen et al., Toward understanding catastrophic forgetting in continual learning, 2019.
Selim Kusursuz
Étudie les systèmes et réseaux informatiques à Paris-Saclay, parcours Systèmes autonomes. Travaille en mathématiques et en informatique. Parle couramment le français, l’anglais et le turc.
Voir tous ses articles
Nadjib Atamnia
Travaille sur les systèmes autonomes ; coauteur des projets d’apprentissage continu et de simulation multi-agents.
Voir tous ses articles
