‹ Alle Einträge

Wie wir mit Wahlumfragen umgehen

 

Dieser Text erscheint in unserem neuen Glashaus-Blog. Was es damit auf sich hat, erfahren Sie hier.

Bei der US-Wahl und beim Brexit-Referendum lagen Meinungsforscher dermaßen daneben, dass in der ZEIT-ONLINE-Redaktion eine Diskussion entbrannt ist, ob man Meinungsumfragen noch trauen darf. Und wenn nicht: Sollen wir überhaupt noch über sie berichten?

Wir sind der Datenjournalist und der Bordmathematiker von ZEIT ONLINE und haben uns gemeinsam mit Kolleginnen und Kollegen vor der Bundestagswahl mit dieser Frage beschäftigt. Insbesondere bei knappen Entweder-Oder-Entscheidungen (wie Brexit und US-Wahl) ist der Aussagewert von Meinungsumfragen sehr beschränkt oder schlicht nicht vorhanden. Zwar unterscheidet sich das Wahlrecht bei der Bundestagswahl fundamental von dem der US-Präsidentschaftswahl; es geht bei uns eben nicht nur um zwei Kandidaten. Dennoch haben Wahlumfragen auch hier ihre Tücken. 

Dies beginnt schon damit, dass Wahlumfragen häufig für eine Prognose über den tatsächlichen Wahlausgang gehalten werden und auch entsprechend über sie berichtet wird. In Wahrheit sind Wahlumfragen Momentaufnahmen. Sie geben ein eingeschränktes Stimmungsbild wieder.

Ohnehin ist die schiere Anzahl der Wahlumfragen insbesondere jetzt, kurz vor der Bundestagswahl, enorm. Meinungsforschungsinstitute veröffentlichen laufend neue Zahlen, zum Teil sogar mehrmals in der Woche. Die hohe Taktung von immer neuen Umfragen erzeugt leicht den Eindruck, der Wahlkampf gleiche einem Rennen. Wieder hat eine Partei einen Prozentpunkt hinzu gewonnen und liegt nun knapp vor der Konkurrenz.

Doch tut sie es wirklich? Man kann das nicht so präzise sagen, wie es die Umfrageergebnisse scheinen lassen. Wer die Möglichkeiten und Methoden der Demoskopie genau betrachtet, erkennt, dass solch scheinbar punktgenaue Aussagen anhand einer einzelnen Wahlumfrage gar nicht getroffen werden können.

Bei ZEIT ONLINE wollen wir deshalb mit derartigen Meldungen zurückhaltend sein. Die vermeintliche Nachricht, wonach Partei X einen oder zwei Prozentpunkte hinzugewonnen habe, werden Sie bei uns nicht mehr finden.

Umfrageergebnisse unterliegen immer Fehlern, denn sie basieren auf Stichprobenbefragungen. Diese Befragungen erreichen aber in der Regel nur spezielle Teile der Bevölkerung, beispielsweise Menschen mit Festnetztelefonanschluss oder Internetnutzer. Einige Teilnehmer antworten obendrein falsch. Oder sie reagieren auf vorangegangene Umfragen und Publikationen. Das heißt, sie antworten nicht, was sie meinen; sie antworten mit Erwartungen.

Natürlich wissen Umfrageinstitute das sehr genau. Um dennoch ein allgemeines Meinungsbild über alle Bevölkerungsgruppen hinweg berechnen zu können, gleichen die Demoskopen vermutete Einflüsse aus und gewichten die vorliegenden Zahlen. Die Rezepte dafür unterscheiden sich von Institut zu Institut. Sie sind so geheim wie die Colaformel.

Dazu kommt: Wenn eine Umfrage repräsentativ genannt wird, dann repräsentiert sie nur in ausgewählten Aspekten die Verteilung in der Gesamtbevölkerung. Ob Geschlechterverhältnis, Einkommen, Altersstruktur oder alles zusammen repräsentiert werden, ist mit dem Label repräsentative Umfrage nicht gesagt.

Die Umfragewerte unterliegen also vielfachen Einflüssen, die in ihrer Gesamtheit gar nicht gemessen werden können – und womöglich auch nicht das Meinungsbild der gesamten Wahlbevölkerung wiedergeben. Dieselben Fragen, zum selben Zeitpunkt zwei verschiedenen Menschengruppen gestellt, würden mindestens leicht unterschiedliche Umfragewerte produzieren.

Wahlumfrage Allensbach vom 22. August 2017
Man kann diese Unsicherheiten statistisch als eine Art Fehler beschreiben. Die meisten Institute geben eine solche statistische Unsicherheit an. In unseren Grafiken zu Wahlumfragen machen wir diese Unsicherheit von nun an sichtbar. Die Linien für die einzelnen Parteien sehen aus, als wären sie mit einem dicken Filzstift gemalt worden.*

In der Regel liegt der tatsächliche Wert mit hoher Wahrscheinlichkeit in einem Bereich von einem bis drei Prozentpunkten über oder unter den letztlich angegebenen Messwerten. Ein Beispiel aus der aktuellen Sonntagsfrage vom Institut für Demoskopie Allensbach (Stand 22. August 2017): Dort werden für die CDU 39,5 Prozent ausgewiesen. Unter Berücksichtigung des Messfehlers von rund drei Prozentpunkten wäre es aber richtiger zu sagen, dass sich die Christdemokraten in der Wählergunst aktuell in einer Spanne von etwa 36 bis etwa 42 Prozent bewegen.** Deshalb ist die Linie in unserer Wahlgrafik entsprechend dick.

Erst wenn sich ein Trend für eine Partei über einen längeren Zeitraum bei einem Institut bestätigt, berichten wir darüber. In solchen Berichten informieren wir zusätzlich mit einer Infobox über Unsicherheiten bei Meinungsumfragen: Mehr als eine grobe Tendenz für ein Meinungsbild lässt sich aus Umfragen nicht ableiten. Selbst wenn die Aussagen und Berechnungen zum Veröffentlichungszeitpunkt der Umfrage nahe an der Realität liegen, ist immer noch offen, ob die damals befragten Wähler später tatsächlich ihre Stimme abgeben oder sich am Ende ganz anders entscheiden.

* Die Demoskopen von Emnid veröffentlichen solche Zahlen nicht regelmäßig. In diesem Fall gehen wir in unseren grafischen Darstellungen von einem realistischen und üblichen Messfehler von 2,5 Prozentpunkten aus.

** Die von Allensbach ausgewiesenen Nachkommastellen halten wir für unsinnig. Eine solche rechnerische Punktlandung im Halbprozentbereich täuscht doch eher die Möglichkeit einer exakten Prognose vor, als dass sie in dieser Form wirklich belastbar ist.

Ab heute analysieren bis zum 24. September fünf Experten das Wahlgeschehen, die allesamt eines verbindet: Sie sind skeptisch gegenüber verfrühten Prognosen, mitunter auch gegenüber Prognosen an sich. In unseren Redaktionsräumen wird außerdem ab sofort ein siamesischer Kampffisch täglich die Kanzlerfrage beantworten. Dieses Fisch-Orakel soll uns bis zum Wahlabend daran erinnern, dass wir die Zukunft vielleicht nicht viel besser kennen als ein Fisch.

24 Kommentare

  1.   CernanSchmidt

    Aus meiner Erinnerung lagen die Wahlumfragen bei Trump richtig.
    Clinton hatte 47 %, Trump 42 %, über 10% Wähler gaben sich als unentschlossen. Für mich war klar das Trump gewinnt.
    Da von den Medien Trumpwähler als minderbemittelte, weiße Männer aus den Südstaaten mit Alkoholproblem kategorisiert wurden, äußerten sich die echten Wähler Trumps natürlich bei Umfragen als unentschlossen, da die Wähler Trumps überdurchschnittlich im Einkommensniveau lagen und sich durch eine Umfragen nicht beleidigen lassen wollten.
    Gleiches Problem werden wir auch bei unserer Wahl mit Umfrageergebnissen haben, wenn zuvor die Parteien, die das staatsfinanzierte Meinungsmonopol abschaffen wollen, als Populisten beleidigt werden.
    „Wir schaffen das“ und „Yes we can“, sind natürlich keine Aussagen von Populisten!

  2.   CarlitoJ

    Sehr schöne Aufklärung. Man kann nicht oft genug darauf hinweisen, dass es jeweils um aktuelle Meiningsbilder geht, nicht um eine Prognose des Ergenisses am Wahltag.

    Deshalb bleibt immer noch ein berechtigte Hoffnung, dass es die Wähler*innen nicht ertragen würden, Rassisten und Völkische in den BT zu wählen und die AfD es nicht schafft, sondern bei 4,9 % stecken bleibt.

  3.   August S

    „Bei der US-Wahl und beim Brexit-Referendum lagen Meinungsforscher dermaßen daneben, dass in der ZEIT-ONLINE-Redaktion eine Diskussion entbrannt ist, ob man Meinungsumfragen noch trauen darf.“

    Allein dieser Anfangsgedanke ist soweit nicht richtig, dass ich ihn mal falsch nennen möchte.

    Ich bin selber bei insidepolitics vor der Wahl in den USA jeden Swing State durchgegangen und überall war es sauknapp oder Trump lag knapp vorne. Ich dachte: „Hey, der muss ja ALLE gewinnen, und irgendwie liegt er auch überall vorne. Aber das kann doch nicht sein, irgendeinen wird Clinton schon gewinnen“ und zusammen mit den landesweiten Umfragen war ich dann sicher, dass Clinton gewinnt, obwohl ich es eigentlich gerade selber anders GESEHEN hatte. Und so war’s dann halt nicht. Die Umfragen in der gesamten USA sahen einen klaren Vorsprung für Clinton, auch das war richtig. Sie hat das Popular Vote klar mit über 3 Mio Stimmen gewonnen.

    Beim Brexit sieht es leicht anders aus, aber auch hier war es 50:50 in manchen Umfragen vorher, und nachher waren es dann 2% mehr für den Brexit. Das kann innerhalb einiger Tage schon passieren, ist aber nicht „dermaßen daneben“.

    Das Problem gerade mit der US-Wahl ist, dass eben jeder auf die landesweite Umfrage geguckt hat, wo Clinton klar vorne lag. Dann gewinnt Trump und jeder schreit, wie falsch die Umfragen waren. Die Aufregung ist da, und wenn dann das offizielle Ergebnis eine Woche später kommt, interessiert es in der Klickklick-Schnellschnell-Online-Journalismus-Welt schon keinen mehr, aber die Aufregung der ersten Tage hat sich im Kopf festgesetzt.

    Fazit: Die Umfragen, die ich angeguckt habe, waren nicht super, aber sie waren auch weit davon entfernt „dermaßen daneben“ zu liegen. Man sollte lieber mal überlegen, warum sich so ein, in meinen Augen, ziemlich falsches Narrativ der versagenden Meinungsforscher durchgesetzt hat.

  4.   Tobias87

    Seit wann lagen die Umfragen bei der US-Wahl daneben? Eine deutliche Stimmenmehrheit für Clinton wurde sowohl in den Umfragen als auch in der Wahl gemessen. Den Trump-Sieg aufgrund des absonderlichen US-Wahlsystems kann man kaum den Demoskopen anlasten.

  5.   Sterling_Archer

    Das Problem an Umfragen bei Wahlen: Sie wirken konträr zum aktuellen Ergebnis.
    Wenn die Umfrageergebnise nahelegen, das Clinton garantiert gewinnt, lässt das die Trumpwähler aufheulen und geschlossen an die Wahlurne treten. Weil jede Stimme zählt, geht auch der faulste der Unentschlossenen Trumpwähler hin.

    Während bei den Clintonwählern ein Teil abspringt nach dem Motto: Bei soner Prognose kann ich auch zuhause bleibe, die Sache läuft schon.

  6.   Schulzsuchender

    Ich bin mir nicht sicher, ob Ihr so zielsicher untergebrachter Verweis auf die AfD als „Rassisten und Völkische“ vielleicht doch themenfremd sein könnte?

  7.   hollai

    Man darf einfach die große Zahl an Wählern nicht unterschätzen, die sich tatsächlich für Politik interessieren und/oder eine starke Identifikation mit ihren Land haben. Nicht jeder macht seine Meinung öffentlich und postet alles gleich bei Facebook und Twitter und stellt sich mit einem Martin Schulz-T-Shirt vor den Spiegel und macht ein Selfie, welches dann in Echtzeit bei Instagram landet. Deshalb darf man auch mit Prognosen nur bedingt bzw. behutsam umgehen; da auch gezielte Statistiken nur bestimmten Gruppen/Interessen helfen! Ich bin der festen Überzeugung, dass die Prognosen zum Brexit und zur US-Wahl gezielt eingesetzt wurden, um genau die Klientel umzustimmen, die sich z.B. schon für Trump entschieden hatte-eben genau deshalb, um diesen zu suggerieren: Es macht keinen Sinn, deine Stimme ist verloren, Verlierer wählen ist quatsch usw. Man kann es letzlich nicht nachprüfen, wer und und vor allem wie/wo diese Erhebungen zur Statistik/Prognose erstellt wurde.

  8.   Trampelschlange

    Die Umfragen zeigten doch in beiden Fällen (Trump u. Brexit) dass die Wählerschaft gespalten war… war doch klar dass es relativ knapp werden würde.

  9.   SchartinMulz

    Es gab früher mal den guten Brauch, kurz vor den Wahlen auf die Veröffentlichung dieser Umfrageergebnisse zu verzichten.

    Mittlerweile ist das ja inflationär geworden.

  10.   collie4711

    Wahlumfragen werden aufbereitet und gewichtet. Von allen soziologischen und Wirtschaftumfragen halte ich seit der Lektüre dieses Buchs nichts mehr:
    „Der Schwarze Schwan: Die Macht höchst unwahrscheinlicher Ereignisse“ von Nassim Nicholas Taleb