Wie wir mit Wahlumfragen umgehen

Dieser Text erscheint in unserem neuen Glashaus-Blog. Was es damit auf sich hat, erfahren Sie hier.

Bei der US-Wahl und beim Brexit-Referendum lagen Meinungsforscher dermaßen daneben, dass in der ZEIT-ONLINE-Redaktion eine Diskussion entbrannt ist, ob man Meinungsumfragen noch trauen darf. Und wenn nicht: Sollen wir überhaupt noch über sie berichten?

Wir sind der Datenjournalist und der Bordmathematiker von ZEIT ONLINE und haben uns gemeinsam mit Kolleginnen und Kollegen vor der Bundestagswahl mit dieser Frage beschäftigt. Insbesondere bei knappen Entweder-Oder-Entscheidungen (wie Brexit und US-Wahl) ist der Aussagewert von Meinungsumfragen sehr beschränkt oder schlicht nicht vorhanden. Zwar unterscheidet sich das Wahlrecht bei der Bundestagswahl fundamental von dem der US-Präsidentschaftswahl; es geht bei uns eben nicht nur um zwei Kandidaten. Dennoch haben Wahlumfragen auch hier ihre Tücken. 

Dies beginnt schon damit, dass Wahlumfragen häufig für eine Prognose über den tatsächlichen Wahlausgang gehalten werden und auch entsprechend über sie berichtet wird. In Wahrheit sind Wahlumfragen Momentaufnahmen. Sie geben ein eingeschränktes Stimmungsbild wieder.

Ohnehin ist die schiere Anzahl der Wahlumfragen insbesondere jetzt, kurz vor der Bundestagswahl, enorm. Meinungsforschungsinstitute veröffentlichen laufend neue Zahlen, zum Teil sogar mehrmals in der Woche. Die hohe Taktung von immer neuen Umfragen erzeugt leicht den Eindruck, der Wahlkampf gleiche einem Rennen. Wieder hat eine Partei einen Prozentpunkt hinzu gewonnen und liegt nun knapp vor der Konkurrenz.

Doch tut sie es wirklich? Man kann das nicht so präzise sagen, wie es die Umfrageergebnisse scheinen lassen. Wer die Möglichkeiten und Methoden der Demoskopie genau betrachtet, erkennt, dass solch scheinbar punktgenaue Aussagen anhand einer einzelnen Wahlumfrage gar nicht getroffen werden können.

Bei ZEIT ONLINE wollen wir deshalb mit derartigen Meldungen zurückhaltend sein. Die vermeintliche Nachricht, wonach Partei X einen oder zwei Prozentpunkte hinzugewonnen habe, werden Sie bei uns nicht mehr finden.

Umfrageergebnisse unterliegen immer Fehlern, denn sie basieren auf Stichprobenbefragungen. Diese Befragungen erreichen aber in der Regel nur spezielle Teile der Bevölkerung, beispielsweise Menschen mit Festnetztelefonanschluss oder Internetnutzer. Einige Teilnehmer antworten obendrein falsch. Oder sie reagieren auf vorangegangene Umfragen und Publikationen. Das heißt, sie antworten nicht, was sie meinen; sie antworten mit Erwartungen.

Natürlich wissen Umfrageinstitute das sehr genau. Um dennoch ein allgemeines Meinungsbild über alle Bevölkerungsgruppen hinweg berechnen zu können, gleichen die Demoskopen vermutete Einflüsse aus und gewichten die vorliegenden Zahlen. Die Rezepte dafür unterscheiden sich von Institut zu Institut. Sie sind so geheim wie die Colaformel.

Dazu kommt: Wenn eine Umfrage repräsentativ genannt wird, dann repräsentiert sie nur in ausgewählten Aspekten die Verteilung in der Gesamtbevölkerung. Ob Geschlechterverhältnis, Einkommen, Altersstruktur oder alles zusammen repräsentiert werden, ist mit dem Label repräsentative Umfrage nicht gesagt.

Die Umfragewerte unterliegen also vielfachen Einflüssen, die in ihrer Gesamtheit gar nicht gemessen werden können – und womöglich auch nicht das Meinungsbild der gesamten Wahlbevölkerung wiedergeben. Dieselben Fragen, zum selben Zeitpunkt zwei verschiedenen Menschengruppen gestellt, würden mindestens leicht unterschiedliche Umfragewerte produzieren.

Man kann diese Unsicherheiten statistisch als eine Art Fehler beschreiben. Die meisten Institute geben eine solche statistische Unsicherheit an. In unseren Grafiken zu Wahlumfragen machen wir diese Unsicherheit von nun an sichtbar. Die Linien für die einzelnen Parteien sehen aus, als wären sie mit einem dicken Filzstift gemalt worden.*

In der Regel liegt der tatsächliche Wert mit hoher Wahrscheinlichkeit in einem Bereich von einem bis drei Prozentpunkten über oder unter den letztlich angegebenen Messwerten. Ein Beispiel aus der aktuellen Sonntagsfrage vom Institut für Demoskopie Allensbach (Stand 22. August 2017): Dort werden für die CDU 39,5 Prozent ausgewiesen. Unter Berücksichtigung des Messfehlers von rund drei Prozentpunkten wäre es aber richtiger zu sagen, dass sich die Christdemokraten in der Wählergunst aktuell in einer Spanne von etwa 36 bis etwa 42 Prozent bewegen.** Deshalb ist die Linie in unserer Wahlgrafik entsprechend dick.

Erst wenn sich ein Trend für eine Partei über einen längeren Zeitraum bei einem Institut bestätigt, berichten wir darüber. In solchen Berichten informieren wir zusätzlich mit einer Infobox über Unsicherheiten bei Meinungsumfragen: Mehr als eine grobe Tendenz für ein Meinungsbild lässt sich aus Umfragen nicht ableiten. Selbst wenn die Aussagen und Berechnungen zum Veröffentlichungszeitpunkt der Umfrage nahe an der Realität liegen, ist immer noch offen, ob die damals befragten Wähler später tatsächlich ihre Stimme abgeben oder sich am Ende ganz anders entscheiden.

* Die Demoskopen von Emnid veröffentlichen solche Zahlen nicht regelmäßig. In diesem Fall gehen wir in unseren grafischen Darstellungen von einem realistischen und üblichen Messfehler von 2,5 Prozentpunkten aus.

** Die von Allensbach ausgewiesenen Nachkommastellen halten wir für unsinnig. Eine solche rechnerische Punktlandung im Halbprozentbereich täuscht doch eher die Möglichkeit einer exakten Prognose vor, als dass sie in dieser Form wirklich belastbar ist.

Ab heute analysieren bis zum 24. September fünf Experten das Wahlgeschehen, die allesamt eines verbindet: Sie sind skeptisch gegenüber verfrühten Prognosen, mitunter auch gegenüber Prognosen an sich. In unseren Redaktionsräumen wird außerdem ab sofort ein siamesischer Kampffisch täglich die Kanzlerfrage beantworten. Dieses Fisch-Orakel soll uns bis zum Wahlabend daran erinnern, dass wir die Zukunft vielleicht nicht viel besser kennen als ein Fisch.