Wenn du im Supermarkt die Regalfläche für Kaffee vergrößerst, steigen dann die Verkäufe? Die Intuition sagt ja. Aber um wie viel? Was ist ein zusätzlicher Meter Regal wert, in Packungen?
Die Methode, die das beantwortet, ist das älteste und meistgenutzte Werkzeug der Statistik: die Regression. Die Idee passt in einen Satz — lege eine Gerade durch die Punkte und stelle ihr dann Fragen.
Zwölf Wochen Kaffee
Wir haben Daten aus zwölf Wochen. Zwei Zahlen pro Woche: die Regallänge für Kaffee und die Zahl verkaufter Packungen. Die Regalfläche beträgt drei, sechs oder neun Einheiten; die Verkäufe liegen zwischen 346 und 672.
Trägt man die Punkte auf, fällt eines auf: Die Wochen mit drei Einheiten sammeln sich unten, die mit neun oben. Doch auch innerhalb der Gruppen gibt es echte Streuung. Bei gleicher Regalfläche wurden in einer Woche 560 Packungen verkauft, in einer anderen 672. Die Regalfläche bestimmt die Verkäufe also nicht; sie beeinflusst sie nur.
Welche Gerade?
Durch eine Punktwolke lassen sich unendlich viele Geraden legen. Welche ist die „richtige"?
Die Methode der kleinsten Quadrate setzt ein klares Kriterium: Nimm den senkrechten Abstand jedes Punktes zur Geraden, quadriere ihn, addiere alles. Die Gerade, die diese Summe am kleinsten macht, gewinnt.
Warum quadriert? Das Quadrat der Abstände
Summierte man die Abstände wie sie sind, höben sich Fehler ober- und unterhalb der Geraden auf — selbst eine miserable Gerade käme auf null. Das Quadrat beseitigt das Vorzeichen und bestraft große Fehler stärker als kleine. Außerdem macht es die Suche nach dem Minimum zu einer Rechnung, die sauber genug für Papier und Bleistift ist.
Für die Kaffeedaten liefert die Rechnung diese Gerade: Eine zusätzliche Einheit Regalfläche ist im Mittel 34,6 Packungen pro Woche wert. Aus dem intuitiven „es steigt" ist eine Zahl geworden.
Wo die Gerade schweigt
Der häufigste Fehler ist, die Gerade über die Daten hinaus zu verlängern. Die Beobachtungen liegen zwischen drei und neun Einheiten. Auf dem Papier läuft die Gerade ins Unendliche und beantwortet bereitwillig auch „was, wenn wir hundert Einheiten geben?". Diese Antwort ruht auf nichts.
Eine Regressionsgerade spricht nur innerhalb des Bereichs, der sie genährt hat. Sobald du ihn verlässt, erzeugst du keine Vorhersagen mehr, sondern Wünsche.
Mehr als eine Variable
Im wirklichen Leben bestimmt die Regalfläche die Verkäufe nicht allein: Preis, Jahreszeit, Werbung und die Aktionen der Konkurrenz spielen mit. Dieselbe Idee lässt sich auf mehrere Variablen erweitern, jede mit eigenem Koeffizienten.
Mit einem Vorbehalt: Ähneln sich die Variablen zu sehr, gerät das Modell durcheinander. Nimm „Regallänge" und „Regalfläche" zugleich auf — zwei Spalten, die fast dasselbe messen — und die Rechnung kann nicht mehr trennen, welche davon wirkt.
Ist der Zusammenhang eine Kurve statt einer Geraden, bewältigt dieselbe Methode auch Kurven. Das Überraschende: Ein Modell mit quadrierten und kubierten Termen heißt weiterhin „linear" — denn Linearität wird nicht in den Variablen gesucht, sondern in den Koeffizienten.
Und das ist maschinelles Lernen
Regression steht heute ebenso im Lehrplan des maschinellen Lernens wie in dem der Statistik. Der Unterschied liegt weniger in der Methode als in den Gewohnheiten.
Die Tradition des maschinellen Lernens teilt die Daten in zwei Teile: Sie passt die Gerade an einen Teil an und prüft sie an dem zurückgehaltenen. Warum? Weil es einem Modell leichtfällt, die Daten zu erklären, die es gesehen hat; die eigentliche Frage ist, was es mit ungesehenen tut.
Weil sie auf beschrifteten Daten trainiert und eine Zahl vorhersagt, ist Regression per Definition überwachtes Lernen. Anders gesagt: Der erste Schritt auf dem Weg zum tiefen Lernen ist jene Gerade durch zwölf Wochen Kaffeeverkäufe.
Worauf beruht dieser Beitrag?
Der Text stützt sich auf Selim Kusursuz' Überblicksarbeit Regressionsanalyse (2019). Das Kaffeebeispiel und die Rechnungen stammen aus dem dort verwendeten Datensatz.
- Montgomery, Peck, Vining, Introduction to Linear Regression Analysis.
- Pedregosa u. a., Scikit-learn: Machine learning in Python, JMLR, 2011.
Selim Kusursuz
Studiert Computernetzwerksysteme in Paris-Saclay, Schwerpunkt Autonome Systeme. Arbeitet in Mathematik und Informatik. Spricht Französisch, Englisch und Türkisch gut.
Alle Beiträge ansehen