Yapay zekâ doğru belgeyi nasıl bulur?

Bir şirketin binlerce destek kaydı arasında soru soruyorsunuz: "RSync aktarımının çalışması için hangi portların açık olması gerekiyor?" Karşınızdaki yapay zekâ bunu bilmiyor. Bilemez de — bu bilgi hiçbir eğitim verisinde geçmiyor, şirketin kendi kayıtlarında duruyor.

Yapabileceği tek şey var: önce doğru sayfayı bulmak, sonra okuyup cevaplamak. İşin can alıcı kısmı da burada. Cevabın kalitesi, modelin ne kadar zeki olduğundan çok, ona hangi sayfaların verildiğine bağlı.

Önce arama, sonra cevap

Bu yönteme kaynakla desteklenmiş üretim deniyor. Model soruyu doğrudan cevaplamıyor; sistem önce arşivde arama yapıyor, birkaç sayfa seçiyor, sonra bu sayfaları soruyla birlikte modele veriyor. Model cevabı bunların üzerine kuruyor.

"Birkaç sayfa" ifadesi düşündüğünüzden daha katı bir sınır. Pratikte modele üç ile yedi arasında parça gidiyor. Doğru sayfa o listede yoksa, modelin zekâsı hiçbir işe yaramıyor. Aramanın kalitesi, cevabın tavanını belirliyor.

İki tür soru, iki tür arama

Kullanıcılar iki farklı biçimde soruyor. Bazı sorular kesin bir şey içeriyor: bir kayıt numarası, bir hata mesajı, bir proje adı, bir dosya adı. Bazıları ise anlatıyor: "şu işlemi nasıl yapıyoruz?"

Bu iki soru tipine iki farklı arama ailesi cevap veriyor.

Birincisi kelime araması. Sorudaki kelimelerin sayfada geçip geçmediğine bakıyor. Üç şeyi tartıyor: kelime sayfada kaç kez geçiyor, arşivin tamamında ne kadar nadir, ve sayfa ne kadar uzun. Yöntemin adı BM25 ve doksanlı yıllardan kalma.

İkincisi anlam araması. Her metni bir koordinat dizisine çeviriyor. Yakın koordinatlar yakın anlam demek. Soruyla sayfanın ortak kelimesi olmasa bile birbirini bulabiliyorlar.

Kelime aramasının açık bir zayıflığı var. Siz "arıza" yazarsınız, kayıtta "anomali" yazıyordur. Aynı şeyi kastediyorsunuz ama hiçbir kelime tutmuyor, dolayısıyla sayfa hiç görünmüyor. Bu boşluğu anlam araması kapatıyor.

Eski yöntem yeni yöntemi geçti

Beklenti şuydu: sinir ağlarıyla çalışan anlam araması, otuz yıllık istatistiksel yöntemi rahatça geçer. Yüz gerçek soruyla yapılan ölçüm bunun tersini gösterdi.

Kelime araması, aradığı sayfaların %74'ünü ilk yedi sonuç içinde getirebildi. Anlam araması ancak %65'ini.

Sebep, arşivin doğasında. Bu kayıtlar kod dolu: kayıt numaraları, üretim parti kodları, hata metinleri, dosya adları. Anlam araması tam da bunları bulanıklaştırıyor, çünkü koordinat uzayında bir numaranın komşusu başka bir numara oluyor.

Anlam araması, kelimenin kendisinin önemli olduğu yerde zayıflıyor. Bir kayıt numarasının "anlamı" yoktur; yalnızca kendisi vardır.

Bulmak ve sıralamak ayrı işler

Madem ikisi farklı sorularda iyi, ikisini birleştirmek akla yatkın. Ama doğrudan birleştirilemiyorlar: kelime aramasının verdiği puanla anlam aramasının verdiği yakınlık ölçüsü aynı ölçekte değil. Toplamak anlamsız.

Çözüm puanları hiç kullanmamak. İki listenin de yalnızca sıralaması alınıyor. Her iki listede de üstlerde çıkan bir sayfa yükseliyor; tek listede çok yüksek çıkan bir sayfa da eleniyor değil, korunuyor.

Bu birleştirme kapsamı %81'e çıkardı. Ama bir şeyi düzeltmedi: sıralamayı. Doğru sayfa listeye giriyor, fakat beşinci ya da altıncı sırada. Modele yalnızca ilk birkaç parça gittiği için, listede olmak yetmiyor — üstte olmak gerekiyor.

İkinci bir okuma

Bu yüzden bir adım daha ekleniyor: aday sayfaları baştan okuyup yeniden sıralayan bir model.

Aradaki fark ince ama belirleyici. İlk arama, soruyla sayfanın ayrı ayrı çıkarılmış özetlerini karşılaştırıyor. İkinci model soruyla sayfayı yan yana okuyor ve tek bir soruya cevap veriyor: bu sayfa gerçekten bu soruyu cevaplıyor mu?

Bedeli açık: her soru-sayfa çifti için ayrı bir okuma gerekiyor. Bütün arşive uygulanamaz. Bu yüzden yalnızca ilk aramanın getirdiği altmış aday üzerinde çalıştırılıyor.

Sonuç, iki adımın birlikte çalıştığını gösteriyor. Birleştirme doğru sayfayı listeye sokuyor, yeniden sıralama onu tepeye taşıyor.

Yüz sorunun doksan altısında, aradığı sayfa ilk yedi sonuç arasında çıktı. Üstelik çoğunlukla ilk sıralarda.

Kesinlik neden düşüyor?

Aynı ölçümün bir yüzü daha var ve ilk bakışta kötü görünüyor. Sistem üç sayfa getirdiğinde bunların %36'sı doğru; yedi sayfa getirdiğinde yalnızca %18'i.

Bu bir başarısızlık değil, ölçünün kendi kusuru. Referans listesinde her soru için genellikle bir ya da iki doğru sayfa var. Yedi sayfa getirip yalnızca ikisi doğru olabiliyorsa, tavan zaten %29. Rakam sistemi olduğu kadar referans listesini de ölçüyor.

Bunu görmezden gelmek kolay olurdu. Ölçünün ne söylediğini bilmek, söylediği şeyi olduğundan büyük göstermekten daha kıymetli.

İlgili olması, okuma hakkın olduğu anlamına gelmiyor

Çalışmanın en öğretici bulgusu hiçbir metrikte görünmüyor.

Bir sayfa soruyla mükemmel eşleşebilir ve yine de o kişinin görmemesi gereken bir sayfa olabilir. Arama katmanı izinleri bilmez; yalnızca benzerliği bilir. Sonuçlar kişinin erişebildiği projelere göre süzülmezse, masum bir soru soran biri hiç yetkisi olmayan bir projeden bir paragrafla karşılaşabilir.

Bir yapay zekâ asistanı, kurumun izin yapısını ya devralır ya da deler. Üçüncü bir ihtimal yok.

Bu, sorunu bilimsel bir problem olarak görmekle çalışan bir sistem olarak görmek arasındaki farkı iyi anlatıyor. Metrikler bunu hiç yakalamıyor; ilk gerçek kullanıcı yakalıyor.

Nereye kadar geçerli?

Ölçülen şey, hangi sayfaların bulunduğu. Modelin sonunda yazdığı cevabın doğru, açık ya da yararlı olup olmadığı ölçülmedi; bu ayrı bir soru.

Sayılar da bu arşive ait. Başka bir kurumun kayıtları, kelime aramasıyla anlam araması arasındaki farkı pekâlâ tersine çevirebilir. Ama iki genel ders taşınabilir görünüyor: kelime ile anlam birbirinin yerine değil, tamamlayıcısı; ve bir şeyi bulmakla onu doğru yere koymak ayrı iki iştir.

Nadjib Atamnia

Yazar 3 içerik

Otonom sistemler üzerine çalışıyor; sürekli öğrenme ve çok etmenli benzetim projelerinde ortak yazar.

Tüm yazılarını gör