Wir können uns glücklich schätzen, dass uns für die professionelle Begleitung politischer Kampagnen in der Bundesrepublik mehrere sehr gute Meinungsforschungsinstitute zur Verfügung stehen. Viele Institute externalisieren auch in einem gewissen Maß die Qualitätskontrolle ihrer Datenerhebung, weil sie sogar nach einiger Zeit ihre Rohdaten der interessierten wissenschaftlichen Öffentlichkeit zur Verfügung stellen. Diese potentielle Möglichkeit einer Kontrolle – auch wenn sie erst im Nachhinein geschehen kann – ist ein großer Fortschritt, der uneingeschränkt zu begrüßen ist. Die Institute sehen sich bei der Durchführung von Umfragen vielen praktischen Herausforderungen gegenüber (einzelne wurden exemplarisch von Andreas Wüst und anderen in diesem Blog bereits thematisiert), die üblicherweise nicht in akademischen Lehrbüchern zu finden sind und die sie trotz widriger Randbedingungen erfolgreich meistern.
Jedoch selbst in einer perfekten Umfrageforschungswelt mit einer wirklich zufällig realisierten Stichprobe, guten Frageinstrumenten sowie erreichbaren und auskunftswilligen Befragten sind Schlussfolgerungen, die auf Umfragedaten basieren, mit Vorsicht zu genießen. Eigentlich benötigen sie einen Beipackzettel (siehe dazu auch meinen letzten Blog-Beitrag). Das gilt insbesondere dann, wenn für ein bestimmtes Merkmal (etwa die beabsichtigte Wahl einer Partei) Veränderungen über die Zeit hinweg interpretiert werden sollen: „Steht die SPD besser da als vor zwei Wochen? Hat die FDP doch keinen Nutzen aus XY ziehen können?“
Ein großer Teil der beobachteten Veränderungen im Zeitverlauf ist nicht real, sondern rein zufällig und statistisch bedingt, weil eben nicht alle Wahlberechtigten befragt werden (können), sondern bestenfalls nur ein zufälliger Teil. Aus der Wahrscheinlichkeitstheorie wissen wir, dass wir, um eine Veränderung von einem (bzw. zwei) Prozentpunkt(en) mit 99 %-iger Sicherheit feststellen zu können, etwa einen Stichprobenumfang von 100.000 (bzw. 25.000) Befragten benötigen. Umfragedaten für solche präzisen Angaben kann und will natürlich niemand bezahlen. Typische Umfragen werden bei 1.000 bis 2.000 Befragten erhoben. Begnügt man sich mit einer Sicherheit von 90 %, dann genügen 2.000 Befragte einer perfekt realisierten Zufallsstichprobe bestenfalls, um eine Veränderung von 5 Prozentpunkten festzustellen.
Als Fazit bleibt daher festzuhalten: Die Anzahl der Befragten ist zu klein, um reale Veränderungen der aktuellen Stimmungslage in typischen Umfragen, wie sie vor der Bundestagswahl gemacht werden, zu entdecken. Trotzdem werden in den Medien vermeintliche Trends aufgezeigt und oft ad hoc interpretiert, als seien sie real. Mit der Berichterstattung über Umfragen wird so aufgrund bestimmter Anreizstrukturen der Medienlandschaft (Change ist sexy – wenn nichts passiert, kann man auch nichts berichten) ein künstlicher Hype produziert, den die Politik auch für sich instrumentalisieren kann. Man muss sich aber darüber im Klaren sein, dass dies mit einer Beschreibung und Interpretation der aktuellen Stimmungslage dann nichts mehr zu tun hat.
‹ Alle Einträge