Yapay zekâ öğrendiğini neden unutur?

Bir sinir ağına elma ile armudu ayırmayı öğretin. Sonra aynı ağa kedi ile köpeği öğretin. Geri dönüp elmayı sorduğunuzda ağ şaşırır. Öğrendiğini unutmuştur — üstelik yavaşça değil, neredeyse tamamen.

Bu davranışın adı felaketle biten unutma. Otuz yılı aşkın süredir biliniyor ve hâlâ yapay öğrenmenin en inatçı sorunlarından biri. İnsanda böyle bir şey olmuyor: bisiklet sürmeyi öğrendikten sonra araba kullanmayı öğrenmek bisikleti silmiyor. Ağlarda oluyor, çünkü ağın "bildiği" her şey aynı ağırlık kümesinde saklı. Yeni bir görev o ağırlıkları kendi işine göre çekiştirdiğinde, eskisinin izi siliniyor.

Aynı rakamlar, dönen dünyalar

Bu unutmayı ölçmek için temiz bir deney düzeneği gerekir: görevler birbirine benzemeli ki karşılaştırma anlamlı olsun, ama yeterince farklı olmalı ki ağ zorlansın. Yaygın çözüm zarif: el yazısı rakamlardan oluşan klasik MNIST veri kümesini alın ve her görev için görüntüleri belli bir açıyla döndürün.

Rakamlar aynı, sınıflar aynı, zorluk aynı. Değişen tek şey dünyanın eğimi. Sıfır derecelik görevi öğrenen ağ, kırk beş derecelik göreve geçtiğinde aslında yepyeni bir dağılımla karşılaşır — ve ilkini unutmaya başlar.

Unutmaya karşı dört strateji

Alan yazında bu soruna dört ayrı felsefeyle yaklaşılıyor. Hepsi aynı gerilimi yönetmeye çalışıyor: ağ yeni şeyi öğrenecek kadar esnek, eskisini koruyacak kadar katı olmalı.

Asıl mesele algoritmada değil

Buraya kadarki soru şuydu: hangi yöntem daha iyi? Bu çalışma daha ilginç bir soru sordu: görevlerin sırası ne kadar önemli?

Bunu ölçebilmek için önce bir göreve "ne kadar zor" ve iki göreve "birbirinden ne kadar farklı" diyebilmek gerekiyor. Task2Vec adlı yöntem tam bunu yapıyor: bir veri kümesini önceden eğitilmiş bir ağdan geçirip, o görevi temsil eden bir sayı vektörü üretiyor. Görevler vektöre dönüşünce aralarındaki uzaklık ölçülebilir hâle geliyor.

Bu vektörlerden iki ölçü türetiliyor. Toplam karmaşıklık, dizideki görevlerin zorluklarının toplamı — dizi bir bütün olarak ne kadar ağır? Sıralı heterojenlik ise ardışık görevler arasındaki farkların toplamı — dizi boyunca ne kadar sert dönüşler var?

İki ölçü de nihai hata oranıyla açıkça birlikte artıyor. Yani bir dizinin ne kadar unutturacağı, hangi algoritmayı seçtiğinizden bağımsız olarak, dizinin kendi yapısına bakılarak kestirilebiliyor.

Kim nerede iyi?

Algoritmaların karakterleri de bu düzenekte ayrışıyor. A-GEM az sayıda görevle ve yumuşak geçişlerle çok iyi çalışıyor, ama görevler arasında sert sıçramalar olunca zorlanıyor — sakladığı küçük bellek, çok farklı bir görevi temsil etmeye yetmiyor.

EWC ve SI ise dizi yapısına şaşırtıcı derecede kayıtsız: sekiz görev de olsa on sekiz de olsa, sıra düzenli de olsa dağınık da olsa benzer sonuç veriyorlar. LwF uzun dizilerde öne çıkıyor; çeşitlilik onun için bir sorun değil, neredeyse bir avantaj.

Bu ne anlama geliyor?

Sonuç pratik bir şey söylüyor: sürekli öğrenen bir sistem kuruyorsanız, işin yarısı doğru algoritmayı seçmek; diğer yarısı görevleri hangi sırayla göstereceğinize karar vermek. Müfredat, öğretmenin yöntemi kadar önemli.

Çalışmanın sınırı da açık: tek bir veri kümesi üzerinde, tek bir görev ailesiyle yapıldı. Döndürülmüş rakamlar temiz bir laboratuvar, ama gerçek dünyanın dağınıklığı değil. Task2Vec'in ürettiği vektörler de seçilen ağa bağlı — ölçüm aracının kendisi bir varsayım taşıyor. Bunlar sonucu geçersiz kılmıyor; nereye kadar taşınabileceğini belirliyor.