Sie stellen eine Frage im Archiv eines Unternehmens, zwischen Tausenden von Support-Tickets: „Welche Ports müssen offen sein, damit die RSync-Übertragung funktioniert?" Die KI vor Ihnen weiß es nicht. Sie kann es nicht wissen — diese Angabe steht in keinen Trainingsdaten. Sie liegt in den eigenen Aufzeichnungen des Unternehmens.
Ihr bleibt nur eines: zuerst die richtige Seite finden, dann lesen und antworten. Und genau dort entscheidet sich alles. Die Qualität der Antwort hängt weit weniger davon ab, wie klug das Modell ist, als davon, welche Seiten man ihm gereicht hat.
Erst suchen, dann antworten
Das Verfahren heißt abrufgestützte Generierung. Das Modell beantwortet die Frage nicht direkt. Das System durchsucht zunächst das Archiv, wählt einige Passagen aus und übergibt sie zusammen mit der Frage an das Modell. Darauf baut das Modell seine Antwort.
„Einige Passagen" ist eine härtere Grenze, als es klingt. In der Praxis erreichen drei bis sieben Ausschnitte das Modell. Fehlt die richtige Seite auf dieser Liste, rettet keine Intelligenz die Antwort mehr. Die Güte der Suche setzt die Obergrenze für alles Weitere.
Zwei Arten von Fragen, zwei Arten von Suche
Menschen fragen auf zwei Weisen. Manche Fragen enthalten etwas Exaktes: eine Ticketnummer, eine Fehlermeldung, einen Projektnamen, einen Dateinamen. Andere beschreiben: „Wie machen wir das?"
Auf diese beiden Arten antworten zwei verschiedene Suchfamilien.
Die erste ist die Wortsuche. Sie prüft, ob die Wörter der Frage auf der Seite vorkommen. Sie wiegt drei Dinge ab: wie oft das Wort auf dieser Seite steht, wie selten es im ganzen Archiv ist und wie lang die Seite ist. Das Verfahren heißt BM25 und stammt aus den neunziger Jahren.
Die zweite ist die Bedeutungssuche. Sie verwandelt jeden Text in eine Folge von Koordinaten. Benachbarte Koordinaten bedeuten benachbarte Bedeutungen. Frage und Seite können einander finden, ohne ein einziges Wort zu teilen.
Warum ein seltenes Wort mehr wert ist
Das Wort „System" steht auf fast jeder Seite; es sagt nichts darüber, welche Seite Sie suchen. Kommt „ML5664" aber in genau einem Eintrag vor, dann ist die Seite mit diesem Wort fast sicher die gesuchte. Die Wortsuche misst diesen Unterschied unmittelbar: je seltener ein Wort, desto stärker ist seine Übereinstimmung als Beleg.
Die Wortsuche hat eine offensichtliche Schwäche. Sie schreiben „Störung", im Eintrag steht „Anomalie". Sie meinen dasselbe, aber kein einziges Wort passt, und die Seite taucht nie auf. Diese Lücke schließt die Bedeutungssuche.
Die alte Methode schlug die neue
Die Erwartung war klar: die auf neuronalen Netzen beruhende Bedeutungssuche würde ein dreißig Jahre altes statistisches Verfahren mühelos übertreffen. Eine Messung an hundert echten Fragen zeigte das Gegenteil.
Die Wortsuche holte 74 % der gesuchten Seiten in ihre ersten sieben Ergebnisse. Die Bedeutungssuche nur 65 %.
Der Grund liegt in der Natur des Archivs. Diese Aufzeichnungen stecken voller Codes: Ticketnummern, Chargenkennungen aus der Fertigung, Fehlertexte, Dateinamen. Genau das verwischt die Bedeutungssuche, denn in einem Koordinatenraum ist der nächste Nachbar einer Nummer eine andere Nummer.
Die Bedeutungssuche wird genau dort schwach, wo das Wort selbst zählt. Eine Ticketnummer hat keine „Bedeutung". Sie hat nur sich selbst.
Finden und Ordnen sind zwei Aufgaben
Da jede bei einer anderen Frageart stark ist, liegt die Kombination nahe. Direkt verbinden lassen sie sich aber nicht: der Wert der Wortsuche und die Nähe der Bedeutungssuche liegen nicht auf derselben Skala. Sie zu addieren ergibt nichts.
Die Lösung besteht darin, die Werte ganz zu ignorieren und aus beiden Listen nur die Rangfolge zu nehmen. Eine Seite, die in beiden Listen weit oben steht, steigt. Eine Seite, die nur in einer Liste sehr weit oben steht, fällt deshalb nicht heraus; sie bleibt.
Diese Verbindung hob die Abdeckung auf 81 %. Eines änderte sie jedoch nicht: die Reihenfolge. Die richtige Seite kommt auf die Liste, steht dort aber an fünfter oder sechster Stelle. Da nur die ersten Passagen das Modell erreichen, genügt es nicht, auf der Liste zu stehen. Man muss oben stehen.
Ein zweites Lesen
Also kommt ein weiterer Schritt hinzu: ein Modell, das die Kandidatenseiten von Grund auf liest und neu ordnet.
Der Unterschied ist fein und entscheidend. Die erste Suche vergleicht Zusammenfassungen von Frage und Seite, die getrennt erstellt wurden. Das zweite Modell liest Frage und Seite nebeneinander und beantwortet eine einzige Frage: beantwortet diese Seite wirklich diese Frage?
Der Preis ist offensichtlich: jedes Paar aus Frage und Seite braucht sein eigenes Lesen. Auf ein ganzes Archiv lässt sich das nicht anwenden. Es läuft daher nur über die sechzig Kandidaten, die die erste Suche gebracht hat.
Das Ergebnis zeigt, dass beide Schritte Verschiedenes leisten. Die Verbindung bringt die richtige Seite auf die Liste; das Neuordnen trägt sie nach oben.
| Verfahren | Gefundene Seiten | Dauer |
|---|---|---|
| Nur Bedeutungssuche | 65 % | 0,43 s |
| Nur Wortsuche | 74 % | 0,72 s |
| Beide verbunden | 81 % | 1,24 s |
| Verbindung + Neuordnen | 95 % | 1,43 s |
Bei sechsundneunzig von hundert Fragen erschien die gesuchte Seite unter den ersten sieben Ergebnissen. Meist ganz vorn.
Warum sinkt die Genauigkeit?
Dieselbe Messung hat noch eine Seite, und die sieht zunächst schlecht aus. Gibt das System drei Seiten zurück, sind 36 % davon richtig. Gibt es sieben zurück, nur noch 18 %.
Das ist kein Versagen, sondern ein Mangel des Maßes. Die Referenzliste enthält je Frage meist eine oder zwei richtige Seiten. Gibt man sieben Seiten zurück und können nur zwei richtig sein, liegt die Obergrenze schon bei 29 %. Die Zahl misst die Referenzliste ebenso sehr wie das System.
Es wäre leicht gewesen, das wegzulassen. Zu wissen, was ein Maß tatsächlich aussagt, ist mehr wert, als es mehr sagen zu lassen, als es sagt.
Relevant heißt nicht, dass man es lesen darf
Der lehrreichste Befund dieser Arbeit taucht in keiner Kennzahl auf.
Eine Seite kann perfekt zu einer Frage passen und trotzdem eine Seite sein, die diese Person nie sehen sollte. Die Suchschicht weiß nichts über Berechtigungen; sie kennt nur Ähnlichkeit. Werden Ergebnisse nicht nach den Projekten gefiltert, auf die jemand tatsächlich zugreifen darf, kann eine harmlose Frage einen Absatz aus einem Projekt zurückbringen, das nie für sie freigegeben war.
Ein KI-Assistent erbt die Rechtestruktur einer Organisation oder er durchbricht sie. Eine dritte Möglichkeit gibt es nicht.
Darin liegt der Unterschied zwischen einer wissenschaftlichen Fragestellung und einem System im Betrieb. Die Kennzahlen fangen das nie ein. Die erste echte Nutzerin oder der erste echte Nutzer schon.
Wie weit gilt das?
Gemessen wurde, welche Seiten gefunden wurden. Ob die Antwort, die das Modell am Ende schrieb, richtig, klar oder nützlich war, wurde nicht gemessen; das ist eine eigene Frage.
Auch die Zahlen gehören zu diesem Archiv. Die Aufzeichnungen einer anderen Organisation könnten den Abstand zwischen Wortsuche und Bedeutungssuche durchaus umkehren. Zwei allgemeine Lehren wirken dennoch übertragbar: Wort und Bedeutung ergänzen einander, statt einander zu ersetzen, und etwas zu finden ist eine andere Aufgabe, als es an die richtige Stelle zu setzen.
Worauf beruht dieser Beitrag?
Der Beitrag stützt sich auf die Masterarbeit von Nadjib Atamnia an der Université d'Évry Paris-Saclay (2025–2026). Die Arbeit entstand an einem Assistenten namens RAGmine, entwickelt in der IT-Abteilung von Murata Integrated Passive Solutions; die Messungen beruhen auf hundert Fragen, die das Team selbst formuliert hat.
- Robertson, Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond, 2009.
- Lewis u. a., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS, 2020.
- Cormack, Clarke, Büttcher, Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods, SIGIR, 2009.
- Nogueira, Cho, Passage Re-ranking with BERT, 2019.
- Thakur u. a., BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models, NeurIPS, 2021.
Nadjib Atamnia
Arbeitet an autonomen Systemen; Mitautor der Projekte zu kontinuierlichem Lernen und Multiagenten-Simulation.
Alle Beiträge ansehen
