Wenn die Metrik steigt und das Geschäft fällt — die Falle der zweiten Ableitung

Eine Dating-Plattform testet längere Profile gegen kürzere. A/B-Test, sauber aufgesetzt, statistisch signifikant. Die längeren Profile gewinnen. Mehr Engagement, mehr Klicks, mehr Zeit auf der Seite. Das Team rollt aus. Champagner, vermutlich.

Drei Monate später bricht die Conversion ein. Nicht ein bisschen — spürbar. Und keiner versteht warum, weil die Metrik, die man optimiert hatte, immer noch besser aussah als vorher.

Diese Geschichte erzählt Bill Gurley (Benchmark, Vorstand des Santa Fe Institute) in einem aktuellen Interview, und sie ist die sauberste Parabel für ein Problem, das in fast jedem Optimierungsprozess lauert: die Annahme, dass das System, das du tunst, linear und eindimensional ist — wenn es das in Wirklichkeit nie ist.

Was im Dating-Site-Beispiel tatsächlich passiert

Das Setup ist banal. Nutzer schreiben mehr in ihre Profile. Andere Nutzer lesen mehr. Die Metrik “Engagement” — gemessen in Klicks, Lesezeit, Profilbesuchen — steigt. Das ist die erste Ableitung: die direkte, sofort messbare Reaktion auf den geänderten Parameter.

Was die Plattform nicht gemessen hat (und kurzfristig auch nicht messen konnte): den Effekt auf das eigentliche Produktziel. Ein Date. Ein Match. Eine Begegnung in der echten Welt.

Und genau hier kommt die zweite Ableitung ins Spiel. Wer ein langes Profil liest, weiß vorher mehr über die andere Person. Politische Einstellung, Filmgeschmack, Job, Religion, Tierhaltung, Einstellung zum Joggen am Sonntagmorgen. Klingt nach besserer Information. Ist aber, in der Dynamik von Anziehung, ein Conversion-Killer.

Denn jede dieser Informationen ist ein potenzieller Ausschlussgrund. Je mehr du weißt, desto leichter findest du etwas, das nicht passt. Das System, das eigentlich Begegnungen erzeugen soll, wird stillstellt durch zu viel Vorab-Auswahl. Das Engagement steigt — weil die Leute mehr lesen — aber die Bereitschaft, jemanden tatsächlich zu treffen, sinkt. Statistisch, leise, mit drei Monaten Verzögerung.

Die optimierte Metrik und das eigentliche Ziel waren nicht nur unabhängig. Sie standen ab einem bestimmten Punkt in Gegensatz zueinander. (Das ist der unangenehme Teil: das System verhielt sich monatelang so, als ob mehr Engagement = mehr Conversion gelte. Bis es kippte.)

Warum das mehr ist als eine schöne Anekdote

Komplexe Systeme — und damit meine ich praktisch jedes System, das aus Menschen, Märkten oder Rückkopplungen besteht — sind multivariabel und nichtlinear. Was übersetzt heißt: Es gibt nicht eine Stellschraube. Und die Beziehung zwischen Input und Output ist keine Gerade.

Linear wäre: Ich drehe an Variable X. Output Y reagiert proportional. Mehr X, mehr Y, immer.

Nichtlinear ist: Ich drehe an X. Y reagiert kurzfristig positiv. Dann steigt eine dritte, vierte, fünfte Variable mit ein (manchmal mit Verzögerung), und ab einem Schwellenwert kippt das Vorzeichen der Beziehung. Aus “mehr X = mehr Y” wird “noch mehr X = plötzlich weniger Y.”

In der Physik nennt man so etwas einen Phasenübergang. Wasser wird bei 99°C heißer, bei 100°C wird es Dampf. Die Erwärmung war linear. Der Aggregatzustand ist es nicht. Wer ein System nur am Temperaturanstieg misst, übersieht den Moment, in dem das Ding seine Form ändert.

Der eigentliche methodische Fehler

Es ist nicht der A/B-Test selbst. A/B-Tests sind hervorragend für lokale, kurzfristige Optimierung in stabilen Systemen.

Der Fehler ist die Annahme, dass die Metrik, die man misst, mit dem Ergebnis, das man eigentlich will, dauerhaft korreliert. Im Dating-Site-Fall: Engagement war ein Proxy für “die Plattform funktioniert.” Bis sie aufhörte, ein Proxy zu sein, und anfing, das eigentliche Ziel zu unterminieren.

Charlie Munger hat dafür den Begriff “second-order thinking” geprägt — die Frage: Und dann? Du hast deine Maßnahme ergriffen. Das unmittelbare Ergebnis ist eingetreten. Und dann? Was passiert in den drei Reaktionen, die danach kommen — und in den drei Reaktionen auf diese Reaktionen? Wo ist die Stelle, an der sich die Dynamik umkehrt?

In den meisten Optimierungsprozessen wird diese Frage nicht gestellt. Nicht aus Dummheit. Sondern weil sie strukturell unbequem ist: Sie verlangsamt die Entscheidung, sie verlangt Hypothesen über Effekte, die man nicht direkt messen kann, und sie öffnet die Tür zur Möglichkeit, dass man falsch lag.

Wo das überall lauert

Wenn man einmal das Muster sieht, sieht man es überall.

• Eine Personalabteilung optimiert Mitarbeiterzufriedenheit über Gehaltserhöhungen. Kurzfristig steigt die Zufriedenheit. Mittelfristig steigen die Anspruchshaltungen, die nächste Erhöhung wirkt schwächer, und die Mitarbeiter mit den höchsten Erwartungen verlassen das Unternehmen zuerst. (Klassische Sucht-Dynamik, in HR-Sprache übersetzt.)
• Eine Schule optimiert Schülerleistung über mehr Tests. Kurzfristig steigen die Testergebnisse. Mittelfristig optimieren Schüler und Lehrer auf “Tests bestehen”, und die tiefere Fähigkeit, mit unstrukturierten Problemen umzugehen, geht verloren. Goodhart’s Law in der reinsten Form: wenn eine Metrik zum Ziel wird, hört sie auf, eine gute Metrik zu sein.
• Ein Land senkt Verkehrstote durch verpflichtende Sicherheitsgurte. Tote im Auto sinken. Tote unter Fußgängern und Radfahrern steigen, weil Autofahrer sich sicherer fühlen und schneller fahren. (Risk compensation — der Mensch passt sein Verhalten an die wahrgenommene Sicherheit an.)

In jedem dieser Fälle ist die gemessene Variable nicht falsch. Sie ist nur unvollständig. Und Unvollständigkeit in einem nichtlinearen System ist gefährlicher als Unwissenheit, weil sie sich wie Wissen anfühlt.

Was man methodisch daraus mitnehmen kann

Drei konkrete Disziplinen, die helfen — keine davon ist neu, alle drei werden in der Praxis routiniert ignoriert.

Erstens: definiere das Ergebnis, nicht die Metrik. Was ist das eigentliche Ziel — nicht die Zwischengröße, die du gerade messen kannst? Im Dating-Beispiel: erfolgreiche Beziehungen, nicht Klicks. Im Investment-Kontext: langfristige risikoadjustierte Rendite, nicht Monatsperformance. Wer das Ergebnis sauber definiert, sieht schneller, wenn die Metrik abdriftet.

Zweitens: arbeite mit längeren Zeitfenstern, als sich gut anfühlen. Die meisten zweiten Ableitungen brauchen Zeit, um sichtbar zu werden. Drei Monate in der Dating-Site-Geschichte. Mehrere Jahre in HR-Dynamiken. Ein voller Marktzyklus in Investmentstrategien. Wer in Wochen optimiert, sieht nur die erste Ableitung — und die lügt systematisch.

Drittens: misstraue der Erklärung, die du am liebsten hörst. Wenn das A/B-Test-Ergebnis genau das bestätigt, was man erhofft hatte, ist das der Moment, an dem die Frage Und dann? am meisten gebraucht wird. Nicht die Frage War das wirklich signifikant? — die Statistik kann sauber sein und die Schlussfolgerung trotzdem falsch.

Die unbequeme Schlussfolgerung

Was Gurley in dem Interview eigentlich sagt — und was an seinem Sitz im Vorstand des Santa Fe Institute (das sich mit Komplexitätstheorie beschäftigt) kein Zufall ist —, ist: Die Welt belohnt seit Jahrzehnten Leute, die in einer Variablen denken können. Optimierer. Spezialisten. Schnelle Entscheider mit klarem Dashboard.

Die Welt selbst funktioniert aber nicht so. Sie ist verschachtelt, rückgekoppelt, verzögert, nichtlinear. Und das einzige verlässliche Werkzeug dagegen ist nicht ein besseres Modell. Es ist eine andere Art zu denken: in zweiten und dritten Ableitungen, in Zeitfenstern, in Systemen statt in Variablen.

Die Metrik ist gestiegen. Das Geschäft ist gefallen. Das ist nicht die Ausnahme. Das ist die Standardgeschichte jeder nichtlinearen Optimierung. Wer das einmal verinnerlicht hat, schaut auf jedes Dashboard mit einer anderen Frage im Hinterkopf: Was misst du gerade, und was passiert mit dem, was du nicht misst?