Wenn ich an die US-Wahl 2016 denke, die ich für die SZ live begleitet habe, habe ich sofort ein Bild vor Augen: Die nervös vibrierende Nadel, mit der die New York Times damals die Umfragen und Hochrechnungen visualisierte. Als die Wahlnacht begann, hieß es: In 85 Prozent aller Simulationen wird Hillary Clinton Präsidentin. Auch andere Modelle wie das von Fivethirtyeight sagten einen Sieg der Demokraten voraus.

Das Ergebnis ist bekannt: Im Laufe der Nacht bewegte sich die Nadel immer weiter nach rechts, und am nächsten Morgen wiederholte sich der Brexit-Schock: Aber die Umfragen! Trump hatte doch gar keine Chance! Wie konnte das passieren?

Die Umfragen waren nicht das Problem, sondern unsere Unfähigkeit, die Daten richtig zu interpretieren. In seinem Newsletter "WTH, America? US-Politik verständlich erklärt"¹ erklärt US-Politik-Nerd und Umfrageexperte² Christian Fahrenbach:

Der sehr negative Eindruck entstanden, weil viele Webseiten keine Prozentzahlen für Trump und Clinton prominent kommuniziert hatten, sondern Siegeswahrscheinlichkeiten. Möglicherweise war das sogar für einige Wählerïnnen ein Grund, daheim zu bleiben – schließlich ist ein Rennen mit "Siegeswahrscheinlichkeit 88 Prozent" eine ziemlich gelaufene Sache, eine Wahl, in der es "Clinton 47, Trump 44" steht, klingt deutlich knapper.

Drei Jahre später steht die nächste US-Wahl an – und schon wieder werden die gleichen Fehler gemacht:

Einzelumfragen werden als Tatsachen bewertet, kleine Unterschiede aufgebläht, ohne auf Fehlertoleranzen zu achten – oder überhaupt mal mit gesundem Menschenverstand die generelle Frage zu stellen, wie verlässlich wohl Zahlen sind, die ein Jahr vor einer Wahl erhoben werden.

Deshalb gibt Christian neun Tipps, um die eigene "Polling Literacy" zu stärken und die verbreitetsten Trugschlüsse zu vermeiden, wenn es darum geht, Ergebnisse von Umfragen zu interpretieren. Die Ratschläge basieren auf einem Explainer von Fivethirtyeight, den Christian zusammenfasst und ergänzt.

Die Liste ist ohnehin schon kompakt, deshalb gehe ich auf die einzelnen Punkte nicht erneut ein – mit einer Ausnahme, bei der ich bis heute nicht verstehe, warum auch deutsche Medien diesen Fehler immer wieder machen:

Beachte die Fehlertoleranz: Dieser "Margin of Error" zur erhobenen Stichprobe beschreibt einen Korridor, in dem sich die tatsächliche Zahl voraussichtlich bewegt. Bei der vielzitierten Umfrage der New York Times zu den wohl wahlentscheidenden Bundesstaaten 2020 lag dieser MoE für die Vergleichsfragen zu Donald Trump bei +/- 4,4 Prozent. Der Florida-Wert von Joe Biden von "+2" im Vergleich zu Donald Trump heißt dann in Wahrheit: "Würde heute gewählt, glauben wir auf Basis unserer Umfragedaten, dass die Abstimmung in Florida mit 95-prozentiger Wahrscheinlichkeit irgendwo zwischen -3 und +7 für Joe Biden ausginge."

Ich wünsche mir, dass möglichst viele Journalistïnnen die Tipps von Christian beherzigen, um präziser über Umfragen zu berichten – und dass möglichst viele Bürgerïnnen dasselbe tun, um nach der nächsten Wahl nicht erneut schockiert aufzuwachen.

(1) schon abonniert? Dann ganz schnell hier klicken

(2) "Experte" ist in 97 Prozent der Fälle ein überstrapazierter Begriff, der viel zu leichtfertig verwendet wird. Aber auf Christian trifft er zu.