Kanäle
Jetzt personalisiertes
Audiomagazin abonnieren
Log-in registrieren
forum verwendet Cookies und andere Analysewerkzeuge um den Dienst bereitzustellen und um dein Website-Erlebnis zu verbessern.

handverlesenswert

Kluge Köpfe filtern für dich relevante Beiträge aus dem Netz.
Entdecke handverlesene Artikel, Videos und Audios zu deinen Themen.

Du befindest dich im Kanal:

Medien und Gesellschaft

"Polling Literacy": Christian Fahrenbach gibt neun Tipps, um Umfragen besser zu verstehen

Simon Hurtz
Journalist, Dozent, SZ, Social Media Watchblog

Mag es, gute Geschichten zu erzählen.
Mag es, gute Geschichten zu lesen.
Mag es, gute Geschichten zu teilen. Das tut er hier.
Mag es gar nicht, in der dritten Person über sich zu schreiben.

Zum Kurator'innen-Profil
Simon HurtzSamstag, 30.11.2019

Wenn ich an die US-Wahl 2016 denke, die ich für die SZ live begleitet habe, habe ich sofort ein Bild vor Augen: Die nervös vibrierende Nadel, mit der die New York Times damals die Umfragen und Hochrechnungen visualisierte. Als die Wahlnacht begann, hieß es: In 85 Prozent aller Simulationen wird Hillary Clinton Präsidentin. Auch andere Modelle wie das von Fivethirtyeight sagten einen Sieg der Demokraten voraus.

Das Ergebnis ist bekannt: Im Laufe der Nacht bewegte sich die Nadel immer weiter nach rechts, und am nächsten Morgen wiederholte sich der Brexit-Schock: Aber die Umfragen! Trump hatte doch gar keine Chance! Wie konnte das passieren?

Die Umfragen waren nicht das Problem, sondern unsere Unfähigkeit, die Daten richtig zu interpretieren. In seinem Newsletter "WTH, America? US-Politik verständlich erklärt"¹ erklärt US-Politik-Nerd und Umfrageexperte² Christian Fahrenbach:

Der sehr negative Eindruck entstanden, weil viele Webseiten keine Prozentzahlen für Trump und Clinton prominent kommuniziert hatten, sondern Siegeswahrscheinlichkeiten. Möglicherweise war das sogar für einige Wählerïnnen ein Grund, daheim zu bleiben – schließlich ist ein Rennen mit "Siegeswahrscheinlichkeit 88 Prozent" eine ziemlich gelaufene Sache, eine Wahl, in der es "Clinton 47, Trump 44" steht, klingt deutlich knapper.

Drei Jahre später steht die nächste US-Wahl an – und schon wieder werden die gleichen Fehler gemacht:

Einzelumfragen werden als Tatsachen bewertet, kleine Unterschiede aufgebläht, ohne auf Fehlertoleranzen zu achten – oder überhaupt mal mit gesundem Menschenverstand die generelle Frage zu stellen, wie verlässlich wohl Zahlen sind, die ein Jahr vor einer Wahl erhoben werden.

Deshalb gibt Christian neun Tipps, um die eigene "Polling Literacy" zu stärken und die verbreitetsten Trugschlüsse zu vermeiden, wenn es darum geht, Ergebnisse von Umfragen zu interpretieren. Die Ratschläge basieren auf einem Explainer von Fivethirtyeight, den Christian zusammenfasst und ergänzt.

Die Liste ist ohnehin schon kompakt, deshalb gehe ich auf die einzelnen Punkte nicht erneut ein – mit einer Ausnahme, bei der ich bis heute nicht verstehe, warum auch deutsche Medien diesen Fehler immer wieder machen:

Beachte die Fehlertoleranz: Dieser "Margin of Error" zur erhobenen Stichprobe beschreibt einen Korridor, in dem sich die tatsächliche Zahl voraussichtlich bewegt. Bei der vielzitierten Umfrage der New York Times zu den wohl wahlentscheidenden Bundesstaaten 2020 lag dieser MoE für die Vergleichsfragen zu Donald Trump bei +/- 4,4 Prozent. Der Florida-Wert von Joe Biden von "+2" im Vergleich zu Donald Trump heißt dann in Wahrheit: "Würde heute gewählt, glauben wir auf Basis unserer Umfragedaten, dass die Abstimmung in Florida mit 95-prozentiger Wahrscheinlichkeit irgendwo zwischen -3 und +7 für Joe Biden ausginge."

Ich wünsche mir, dass möglichst viele Journalistïnnen die Tipps von Christian beherzigen, um präziser über Umfragen zu berichten – und dass möglichst viele Bürgerïnnen dasselbe tun, um nach der nächsten Wahl nicht erneut schockiert aufzuwachen.

(1) schon abonniert? Dann ganz schnell hier klicken

(2) "Experte" ist in 97 Prozent der Fälle ein überstrapazierter Begriff, der viel zu leichtfertig verwendet wird. Aber auf Christian trifft er zu.

"Polling Literacy": Christian Fahrenbach gibt neun Tipps, um Umfragen besser zu verstehen

Möchtest du kommentieren? Dann werde jetzt kostenlos Mitglied!

Kommentare 1
  1. Florian Kohrt
    Florian Kohrt · vor fast 5 Jahre · bearbeitet vor fast 5 Jahre

    Ich denke, dass es ein erster wichtiger Schritt ist, die Unsicherheit von erhobenen Daten anzuerkennen und im Hinterkopf zu behalten. Die exakte Interpretation von Konfidenzintervallen ist noch etwas schwieriger, ich bin mir nicht sicher, ob eine Erklärung in zwei Sätzen neben einer Grafik Erfolg haben wird – auch Christian gibt übrigens eine Fehlinterpretation wieder.

    An die Grenzen eines einzelnen Konfidenzintervalls sind keine Wahrscheinlichkeitsaussagen geknüpft, es ist lediglich so, dass bei wiederholter Ziehung und Zeichnung eines Konfidenzintervalls 95% der Konfidenzintervalle den wahren Wert enthalten werden. Diese „Nutzlosigkeit“ der Grenzen eines einzelnen Intervalls ist sehr schwer zu vermitteln.

    Besser wäre es, zu sagen, dass ein Konfidenzintervall mögliche wahre Werte enthält, die plausibel für den vorliegenden Mittelwert gesorgt haben können. Würde der wahre Wert außerhalb der Grenzen des vorliegenden Konfidenzintervalls liegen, wäre der erhaltene Mittelwert sehr unwahrscheinlich.

    Für weitere Informationen siehe z. B. die Studie von Hoekstra et al. (2014), die Studenten und Forscher einige gängige, falsche Interpretationen von Konfidenzintervallen bewerten lässt. Eine schöne Visualisierung davon, wie Konfidenzintervalle zu verstehen sind, ist hier zu finden: https://rpsychologist....

    Hoekstra, R., Morey, R. D., Rouder, J. N. & Wagenmakers, E.-J. (2014). Robust misinterpretation of confidence intervals. Psychonomic Bulletin & Review, 21(5), 1157–1164. Springer Science and Business Media LLC. https://doi.org/10.375...
    PDF verfügbar auf der Website von Wagenmakers: https://www.ejwagenmak...

Bleib immer informiert! Hier gibt's den Kanal Medien und Gesellschaft als Newsletter.

Abonnieren

Deine Hörempfehlungen
direkt aufs Handy!

Einfach die Hörempfehlungen unserer Kurator'innen als Feed in deinem Podcatcher abonnieren. Fertig ist das Ohrenglück!

Öffne deinen Podcast Feed in AntennaPod:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Apple Podcasts:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Downcast:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Instacast:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Apple Podcasts:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Podgrasp:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Bitte kopiere die URL und füge sie in deine
Podcast- oder RSS-APP ein.

Wenn du fertig bist,
kannst du das Fenster schließen.

Link wurde in die Zwischenablage kopiert.

Öffne deinen Podcast Feed in gpodder.net:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Pocket Casts:

Wenn alles geklappt hat,
kannst du das Fenster schließen.