Es gibt einen Satz, den ich in den letzten 20 Jahren in fast jedem zweiten Strategiemeeting gehört habe: „Gefällt mir. Lass uns das so machen, wir schauen dann, wie sich die Zahlen entwickeln.“ Klingt super. Ist es nicht. Es ist der höflichste Weg, einen A/B-Test zu verweigern, ohne das Wort „Test“ auch nur in den Mund zu nehmen.
A/B-Tests sind in E-Commerce-Unternehmen die günstigste Versicherung gegen die teuerste aller Managementkrankheiten: die eigene Überzeugung mit der Realität zu verwechseln. Trotzdem werden sie seltener eingesetzt, als es die Studienlage nahelegt. Warum das so ist, ist keine Frage von IT-Ressourcen oder Traffic-Volumen. Es ist eine Frage der Psychologie. Und die ist unbequemer, als die meisten Führungsetagen zugeben.
Es ist nicht die Angst vor dem Chef
Die naheliegende Erklärung wäre: Hierarchie. Keiner traut sich, dem Chef zu widersprechen, also wird nur getestet, was der Chef für richtig hält, und alles andere bleibt Theorie. Das ist griffig, aber zu einfach. Nach Hofstedes Kulturdimensionen sogar empirisch fragwürdig: Deutschland zählt zu den Ländern mit vergleichsweise niedriger Machtdistanz.1 Deutsche Teams widersprechen ihren Vorgesetzten im internationalen Vergleich eher häufiger als seltener.
Das Problem sitzt tiefer, und es hat nichts mit Autorität zu tun, sondern mit einem einfachen Kategorienfehler: Man verwechselt das Ergebnis eines Tests mit dem Urteil über eine Person.
Der HiPPO-Effekt und die Sucht nach dem großen Wurf
Ronny Kohavi, der bei Microsoft und Airbnb über ein Jahrzehnt lang Tausende Experimente verantwortet hat, hat dem Phänomen einen Namen gegeben: HiPPO – Highest Paid Person’s Opinion. Die Meinung der bestbezahlten Person im Raum gewinnt, unabhängig von der Datenlage. Kohavis eigene Zahlen aus seiner Zeit bei Microsoft sind dabei die eigentliche Pointe: Nur etwa ein Drittel aller getesteten Ideen liefert ein positives Ergebnis. Ein weiteres Drittel zeigt keinen messbaren Unterschied. Das letzte Drittel verschlechtert die Lage.2 Bei Airbnb, wo Kohavi später das Experimentation-Team leitete, war die Quote sogar noch ernüchternder: Von 250 getesteten Ideen hatten am Ende gerade einmal 20 einen nachweisbaren positiven Effekt, keine 10 Prozent.2 Die Intuition erfahrener Entscheider liegt damit im besten Fall in zwei von drei, im schlechtesten Fall in neun von zehn Fällen daneben und zwar bei genau den Leuten, die am meisten Erfahrung und am meisten Selbstvertrauen mitbringen.
Das ist unbequem. Egozentrierte Führungspersönlichkeiten reagieren auf Unbequemlichkeit selten mit mehr Tests. Sie reagieren mit größeren Ansagen. Eine Studie von Chatterjee und Hambrick hat CEO-Narzissmus über harte, unaufdringliche Indikatoren gemessen. Prominenz des eigenen Fotos im Geschäftsbericht, Häufigkeit von Ich-Pronomen in Interviews, Gehalt relativ zum Rest des Führungsteams. Ergebnis: Narzisstische CEOs bevorzugen strategische Dynamik und Grandiosität, größere und häufigere Übernahmen und erzeugen damit extrem schwankende Unternehmensergebnisse.3 Große Gewinne, große Verluste, im Mittel nicht besser als der Wettbewerb. Nur lauter.
Übertragen auf den E-Commerce-Alltag heißt das: Ein Test der Button-Farbe ( das ist auch son Mythos) bringt keine Pressemitteilung. Ein „revolutionärer Relaunch“ schon. Deshalb landet in vielen Unternehmen der komplette Website-Relaunch auf dem Tisch, bevor überhaupt jemand ausprobiert hat, ob eine veränderte Produktbeschreibung oder eine andere Anordnung der Trust-Signale schon die Hälfte des gewünschten Effekts liefert. Selbst die einschlägige CRO-Literatur rät seit Jahren zum Gegenteil: kleine, inkrementelle Änderungen testen statt der ganzen Seite ein neues Kleid zu verpassen, weil genau das die verlässlichste Methode ist, Conversion-Rate-Risiken zu vermeiden.4 Wird trotzdem ignoriert. Das „Label Innovativ“ muss drauf, und ein A/B-Test auf Elementebene bietet dafür schlicht keine Bühne.
Getestet wird trotzdem – nur eben falsch
Der zweite Lieblingstrick, um sich als „datengetrieben“ zu inszenieren, ohne sich echten Tests auszusetzen: der Relaunch wird einfach live geschaltet, und danach vergleicht man die Zahlen mit dem Vormonat. Fertig ist der Pseudo-Test.
Das Problem: Ein Vorher-Nachher-Vergleich ist kein A/B-Test, auch wenn er sich beim Storytelling im Quartalsmeeting genauso anfühlt. Es fehlt die Kontrollgruppe. Man weiß schlicht nicht, wie sich die Kennzahl ohne die Änderung im selben Zeitraum entwickelt hätte. Und die Prüfung läuft zeitversetzt statt parallel, wodurch Saisonalität, Kampagnen, Wetter, Feiertage oder ein Google-Update das Ergebnis verzerren, ohne dass es irgendjemand bemerkt.5 Der Vorher-Nachher-Vergleich liefert trotzdem eine Zahl. Und mit einer Zahl kann man im nächsten Steering-Meeting hervorragend argumentieren („Umsatz plus 12 Prozent seit dem Relaunch!“), ohne sich je der unangenehmen Möglichkeit auszusetzen, dass ein sauberer, randomisierter Test die eigene Idee zerlegt hätte. Es ist Testing als Ritual, nicht als Methode. Der HiPPO-Effekt in methodischer Verkleidung.
Das Missverständnis: Eine verlorene Variante ist kein Fehler
Ein A/B-Test hat, anders als fast jede andere Managemententscheidung, eine eingebaute Eigenschaft, die im Unternehmensalltag sonst nirgends vorkommt: Er ist so konstruiert, dass eine der beiden Varianten mit hoher Wahrscheinlichkeit verliert. Das ist keine Pannenstatistik, das ist die Funktionsweise der Methode selbst.
Nur wird genau das in den meisten Organisationen nicht verstanden.Oder besser: nicht gefühlt. Die Harvard-Professorin Amy Edmondson, bekannt für ihre Forschung zu psychologischer Sicherheit, unterscheidet in ihrer Arbeit drei Arten von Scheitern: den vermeidbaren Fehler (Nachlässigkeit, hätte man verhindern können), den komplexen Fehler (mehrere Ursachen, Systemversagen), und den „intelligenten Fehlschlag“: einen durchdachten Vorstoß in unbekanntes Terrain, bei dem es keine Möglichkeit gab, das Ergebnis vorher zu kennen, außer es auszuprobieren.6 Eine verlierende A/B-Test-Variante ist per Definition ein intelligenter Fehlschlag. Kein Fehler. Ein Ergebnis.
Nur hat diese dritte Kategorie in den Köpfen der meisten Führungskräfte keinen Platz. Es gibt Erfolg, und es gibt Scheitern. Wer im Meeting mit einer negativen Testauswertung ankommt, hat gefühlt geliefert, dass etwas schiefgelaufen ist. Nicht, dass eine Hypothese sauber widerlegt wurde. Das Ergebnis der Variante wird zur Bewertung der Person, die die Hypothese aufgestellt hat.
Wenn „wir arbeiten datengetrieben“ an der ersten negativen Testserie zerbricht
Dieteure Wendung: Der Manager lässt sich gerne „datengetrieben“ nachsagen. Klingt modern und macht sich gut auf der Employer-Branding-Seite. Also lässt er testen. Der Mitarbeiter testet mehrere Dinge. Und, siehe oben, zwei von drei Tests tun genau das, was sie statistisch tun sollen: Sie liefern kein positives Ergebnis.
Was in einer Organisation mit funktionierender Fehlerkultur jetzt passieren müsste: zur Kenntnis nehmen, nächste Hypothese aufstellen, weitertesten. Was stattdessen oft passiert: Der Manager revidiert nicht sein Urteil über die Methode, sondern sein Urteil über den Mitarbeiter. Der Mitarbeiter gilt in den Augen des Managers als nicht treffsicher genug, um weiter „frei“ testen zu dürfen. Ab jetzt wird wieder mehr auf die eigene Erfahrung vertraut, das Testing-Budget schrumpft, „datengetrieben“ bleibt eine Zeile im Leitbild.
Es ist ein Lehrbuchbeispiel für den sogenannten Self-Serving Bias: Erfolge schreiben wir uns selbst zu, Misserfolge externalisieren wir. In diesem Fall auf die Kompetenz der ausführenden Person. Der Begriff geht auf Miller und Ross (1975) zurück, die zunächst vor allem für die Erfolgsseite belastbare Evidenz fanden; spätere Forschung hat auch die Externalisierung von Misserfolg bestätigt.7 Bequem für den Manager: Er selbst war ja nur derjenige, der das Testen „ermöglicht“ hat. Teuer für das Unternehmen: Die eine Methode, die tatsächlich zuverlässiger ist als Bauchgefühl, wird genau in dem Moment beerdigt, in dem sie anfängt, ehrlich zu sein.
Der Preis des Egos – nur eben nicht, wo man ihn vermuten würde
Ein Wort noch zum Ego, weil das Thema in Führungsdiskussionen gerne moralisch aufgeladen wird: Ego ist nicht per se schlecht. Es gibt gute Evidenz, dass ein gewisses Maß an Selbstüberschätzung hilft, organisatorische Trägheit in radikalen Umbruchsituationen zu überwinden.8 Das Problem ist nicht Ego als Charaktereigenschaft. Aber Ego als Entscheidungsverfahren für Fragen, die eigentlich Daten beantworten sollten.
Und dafür gibt es einen Preis, den man beziffern kann. Malmendier und Tate zeigen an US-Großunternehmen: Übermäßig selbstsichere CEOs überschätzen systematisch die Rendite eigener Projekte und überinvestieren, wenn sie freie Mittel haben. Nicht weil die Datenlage es hergibt, sondern weil ihr Selbstvertrauen es ihnen sagt.9 Chatterjee und Hambrick zeigen: Narzisstische Führung erhöht die Varianz der Ergebnisse, nicht den Erwartungswert.3 Mehr Ausschläge nach oben und unten, unterm Strich aber kein besseres Ergebnis als ohne Ego. A/B-Testing macht exakt das Gegenteil: Es senkt das Risiko und erhöht gleichzeitig den Erwartungswert, weil man ausschließlich das skaliert, was nachweislich funktioniert. Ego und Testkultur sind deshalb nicht unvereinbar, weil Ego „böse“ wäre. Sie sind unvereinbar, weil sie unterschiedliche Dinge optimieren: die eine Methode die öffentliche Wirkung der Entscheidung, die andere ihre tatsächliche Qualität.
Was das für den E-Commerce-Alltag bedeutet
E-Commerce ist unter allen Disziplinen eigentlich das Umfeld, das für A/B-Testing wie geschaffen ist: genug Traffic, klar messbare Zielgrößen, kurze Feedback-Zyklen. Trotzdem verhalten sich Shops und Marken, als wäre die Warenkorbseite ein Kunstwerk und keine Konversionsstrecke. Jede Änderung wird als Statement gedacht, nicht als Hypothese. Jeder Relaunch als Beweis der eigenen Innovationskraft, nicht als eine von vielen möglichen Varianten, die man auch hätte gegeneinander laufen lassen können.
Dabei ist die eigentliche Erkenntnis simpel und vor allem: entlastend. Eine verlorene Testvariante sagt nichts über die Kompetenz der Person, die sie entworfen hat. Sie sagt etwas über die Hypothese und liefert genau die Information, die man braucht, um die nächste, bessere zu formulieren. Wer das verstanden hat, hört auf, Testergebnisse als Bedrohung zu behandeln, und fängt an, sie als das zu behandeln, was sie sind: die billigste Form von Marktforschung, die der E-Commerce je erfunden hat.
Der große Wurf darf gerne bleiben, wo er hingehört: in der Keynote. Für den Alltag reicht der kleine, gemessene Schritt und der Mut, ihn auch dann noch zu gehen, wenn die letzten drei Varianten verloren haben.
Quellen
- Hofstede-Kulturdimensionen – Machtdistanz im Ländervergleich: IKUD Glossar – Sechs Kulturdimensionen nach Geert Hofstede ↩
- Ronny Kohavi (ehem. VP Experimentation bei Microsoft und Airbnb) zur Trefferquote von Experimenten: Microsoft-Zahlen aus Online Dialogue – Experimenting at scale: an interview with Ronny Kohavi; Airbnb-Zahlen aus AB Tasty – 1,000 Experiments Club: A Conversation With Ronny Kohavi ↩a ↩b
- Chatterjee, A. & Hambrick, D. C. (2007): It’s All about Me: Narcissistic Chief Executive Officers and Their Effects on Company Strategy and Performance, Administrative Science Quarterly. SAGE Journals ↩a ↩b
- Empfehlung zu inkrementellem Testen statt komplettem Redesign: VWO – Was ist A/B Testing? Ein praktischer Guide mit Beispielen; ergänzend: konversionsKRAFT – Das schlechteste A/B-Testingtool… ↩
- Methodische Schwächen des Vorher-Nachher-Vergleichs gegenüber echtem A/B-Testing: Der Onliner – A/B-Test-Alternativen im Marketing: Das können UX-Methoden ↩
- Amy Edmondson (Harvard Business School) zu „intelligentem Scheitern“: Behavioral Scientist – The Intelligent Failure that Led to the Discovery of Psychological Safety; ergänzend: Mark Graban – Learning from Failure: Amy Edmondson on Mistakes, Psychological Safety, and Failing Well ↩
- Miller, D. T. & Ross, M. (1975): Self-Serving Biases in the Attribution of Causality: Fact or Fiction?, Psychological Bulletin, 82(2), 213–225. Volltext (PDF); spätere Bestätigung auch der Misserfolgsseite u. a. bei Shepperd, J., Malone, W. & Sweeny, K. (2008): Exploring Causes of the Self-Serving Bias, Social and Personality Psychology Compass – zusammengefasst in Self-Serving Bias: Truth and Consequences ↩
- Studie zu narzisstischen CEOs und technologischer Innovationsbereitschaft (IMD, Smeal College of Business, Universität Erlangen-Nürnberg): persoenlich.com – Studie: Narzisstische CEOs sind mutiger ↩
- Malmendier, U. & Tate, G. (2005): CEO Overconfidence and Corporate Investment, The Journal of Finance. SSRN-Volltext ↩