Gastkommentar ••• Von Hubertus Hofkirchner
Nach den Tiroler Landtagswahlen stehen Medien und Wahlforschung wieder einmal wegen der Veröffentlichung falscher Wahlprognosen gehörig in der Kritik. Die ÖVP wurde zuletzt bei 28 Prozent gesehen (ORF „Poll of Polls”), erhielt aber tatsächlich 35 Prozent. Der mittlere absolute Fehler (MAF) betrug blamable 2,3 Prozent.
„Einige Umfragen waren methodischer Schrott”, erklärte Medienliebling und Politexperte Peter Filzmaier in der „ZiB 2” am Sonntag.
„Ignorieren, den Schmarrn”, empfiehlt Wahlforscher Christoph Hofinger im Standard-Chat, dessen SORA-Institut mit 1,9 Prozent MAF aber selbst nur knapp unter der zwei Prozent-Grenze vorbeischrammte.
„Gesteuerte” Umfragen?
Die Sache hat demokratische Sprengkraft, denn einige Stimmen stellen sogar taktische Wahlbeeinflussung durch „freundliche” Prognosen in den Raum. Der Vorwurf ist schwer zu entkräften, Erinnerungen an die letzte Regierungskrise durch gefakte Umfragen werden wach. Dabei sind Wahlprognosen eigentlich der Goldstandard, der die wahre Leistungskraft der Umfrageinstitute transparent macht. Nichts ist öffentlicher, objektiver und besser überwacht als reale Wahlergebnisse. Am Spiel steht auch die Glaubwürdigkeit von weniger leicht überprüfbaren Umfragen, etwa Marktstudien, Befragungen für die Innovations- und Produktforschung von Unternehmen oder die Meinungsforschung zu politischen Sachthemen.
„Medien haben die Macht, bessere Umfragen zu erzwingen”, meint der Medienberater Peter Plaikner in den Salzburger Nachrichten und moniert, dass die zwei österreichischen Marktforschungsverbände, der VdMI und der VMÖ, kein System der freiwilligen Selbstregulierung geschaffen hätten. Daher müssten jetzt die Medien Qualitätskriterien einfordern, um ihre Glaubwürdigkeit zu retten.
Qualitätsrichtlinien bestehen
Selbstverständlich sind aber die Verbände am Thema aktiv und besitzen vor allem das unerlässliche methodische Know-how dafür. Selbstregulierung ist jedoch, wie so vieles, weniger eine Frage des Ob, sondern mehr des Wie und des Geldes. Zudem gibt es zwischen den beiden Verbänden fundamentale Unterschiede. Der VdMI hat 28 Mitglieder aus meist alteingesessenen Instituten, der VMÖ hat über 300 Mitglieder; neben arrivierten Instituten sind dort auch junge, innovative Unternehmen und unabhängige Marktforscherinnen und Marktforscher vertreten.
Der VdMI hat seit vielen Jahren eine Richtlinie, welche die Qualität der Wahlforschung durch eine Definition der Vorgangsweise festschreiben soll. n=800 Befragte seien für Qualität erforderlich, steht darin zu lesen, reine Online-Studien seien ungeeignet, maximal die Beimischung von Online Sample sei erlaubt. Letztes Jahr schloss der VdMI das OGM Institut von Wolfgang Bachmayer regelkonform von der Mitgliedschaft aus, weil es eine rein online statt im vorgeschriebenen Mix-Mode durchgeführte Wahlumfrage veröffentlichte, obwohl deren Genauigkeit sogar im Spitzenfeld lag.
Lehren aus Tirol ziehen
Es fragt sich, ob die Richtlinie noch zeitgemäß ist. Es scheint vordringlich, auf das gewünschte Ergebnis abzustellen – nämlich akkurate Wahlprognosen – und nicht auf bestimmte Umfragemethoden, denn diese basieren auf einem bestimmten Stand der Technik, welche im Zuge des rasanten digitalen Fortschritts veralten können. Heutzutage sind z.B. 95% der österreichischen Haushalte online. Das wahre Qualitätskriterium, das letztlich zählt, ist die absolute Prognosegenauigkeit, die geringste Abweichung vom objektiven Ergebnis.
Der Irrtum solcher prozeduraler Qualitätskriterien lässt sich anhand der letzten Wahlprognosen in Tirol belegen (siehe Grafik). Eine mögliche neue Methode sind zum Beispiel Prognosemärkte. Im Vergleich zum eingangs genannten MAF von 2,3 Prozent weist etwa der unabhängige Prognosemarkt Wahlfieber einen MAF von nur 1,1 Prozent auf, war also doppelt so genau. Der Wert ist kein Einzelfall, denn ähnlich gute MAFs weist die Plattform für Wahlen in Deutschland und der Schweiz aus.
Offenheit für Innovationen
Dieses Faktum widerspricht den bisherigen vermeintlichen Qualitätskriterien, denn erstens finden Prognosemärkte rein online statt und zweitens benötigen sie keine n=800 Befragte: für akkurate Prognosemärkte reicht eine Community aus knapp zwei Dutzend ausgesiebter „Superforecaster”, die sich bereits in früheren Prognosemärkten bewiesen haben. Eine beliebig größere Teilnehmerzahl erhöht die Vorhersagequalität nicht weiter. Prognosemärkte basieren auf Bayesscher Statistik, in der nicht für eine – in Wahrheit elusive – Repräsentativität rekrutiert werden muss, sondern nach Meinungsvielfalt und Prognosetalent.
Um nicht falsch verstanden zu werden: Frequentistische Umfragen spielen definitiv nach wie vor ihre Rolle, nur ist wegen der großen Vielfalt von neuen Methoden und Ansätzen in der modernen Markt- und Wahlforschung die Bestimmung oder gar Vorgabe von Qualitätskriterien nach einer einzigen Umfragemethode zu eng gesetzt und daher obsolet.
Der VMÖ berät intern bereits über einen neuen Qualitätsstandard für Wahlumfragen, der die gebotene Offenheit für Innovation und Fortschritt in der Branche schafft. Qualität soll künftig – wie es dem Geburtsland von Karl Popper gebührt – an der empirischen Genauigkeit der Wahlprognosen gemessen werden. Nachgedacht wird auch über Möglichkeiten, den Medienkonsumenten eine unabhängige Bewertung von Wahlprognosen im Zeitablauf vor und nach der Wahl zu ermöglichen. In einem zweiten Schritt wird der Vorschlag dann an die verschiedenen Stakeholder herangetragen und verfeinert. Auch die Finanzierung muss bedacht werden, denn Qualität erhöht den Umfragepreis. Wenn alle Beteiligten ins Boot gebracht werden können, könnte bereits für die Nationalratswahlen 2024 eine moderne, objektive Qualitätskontrolle die Arbeit aufnehmen.
Hubertus Hofkirchner ist Vorstandsmitglied des VMÖ mit Fokus auf Innovation und neue Methoden der Marktforschung. Sein Unternehmen, Prediki Prognosemärkte GmbH, ist u.a. Betreiber der Wahlbörse Wahlfieber.
