NZZ Folio 01/06 - Thema: Statistik   Inhaltsverzeichnis

Ja. Nein. Weiss nicht.

Bei der Auswertung von Umfragen bleibt eine banale Tatsache oft unberücksichtigt: Die Leute lügen – auch die Folio-Leser, die an unserer Befragung teilnahmen.

Von Reto U. Schneider
Die Internetumfrage, die wir im vergangenen September durchführten, erbrachte ein wenig schmeichelhaftes Resultat. Nicht für uns, sondern für 139 der 1883 Teilnehmer. Sie gaben an, das NZZ-Folio zum Thema «Katastrophen» habe ihnen besonders gut gefallen. Bloss: dieses Folio hat es nie gegeben. Wir haben es samt gefälschtem Titelblatt in die Auswahlliste geschmuggelt. Das war gemein, aber aufschlussreich.

Wir leben im Zeitalter der Umfragen. In der Woche, in der dieser Artikel entstand, haben Umfragen zum Beispiel ergeben, dass 70 Prozent der Araber Israel als Gefahr sehen, 90 Prozent der Altenrheiner Eltern mit dem Fahrplan des Schulbusses unzufrieden sind, 42 Prozent der englischen Frauen frühmorgens im Zug Sexphantasien haben. Die Informationspornographie aus steilen Kurven und drallen Kuchen hat mittlerweile die Frontseiten erreicht und erzeugt dort den Eindruck, nichts sei einfacher, als eine Umfrage durchzuführen.

Welch ein Irrtum! Wer sich nie mit den Feinheiten des Fragebogendesigns auseinandergesetzt hat, weiss nicht, mit welchem Monster er es zu tun hat. Die Probleme beginnen bei der naiven Annahme, dass die Leute die Wahrheit sagen. Nach wissenschaftlichen Erkenntnissen lügen Menschen einige Dutzend Mal pro Tag. Warum sollten sie es ausgerechnet dann nicht tun, wenn sie eine wildfremde Person nach ihren Sexgewohnheiten und dem Monatslohn fragt? Viele Leute merken dabei noch nicht einmal, dass nicht stimmt, was sie sagen.

Das war offensichtlich auch in unserer Umfrage der Fall. Wir können nur darüber spekulieren, was dazu geführt hat, dass 139 Leute ein Heft besonders gern gelesen haben, das sie nicht gelesen haben konnten. Sicher ist, dass die falsche Antwort mit den zwölf Heften zu tun hatte, die zur Auswahl standen. Hätten die Leute ihre Lieblingsthemen nicht bloss ankreuzen können sondern selber aufschreiben müssen, wäre keiner auf «Katastrophen» gekommen.

Bei den meisten Umfragen werden heute Multiple-Choice-Fragebogen eingesetzt. Zu jeder Frage stehen vorgegebene Antworten zur Auswahl. Das macht die Auswertung einfacher, können die Daten so doch direkt einem Statistikprogramm gefüttert werden, aber es hat eine Reihe von Nachteilen. Einer davon ist – wie unsere Umfrage zeigt –, dass vorgegebene Antworten die Leute auf Ideen bringen, die sie sonst nicht gehabt hätten. Auch machen Multiple-Choice-Fragebogen differenziertes Antworten unmöglich. Kein Kommentar, kein Hinweis, wie die Antwort gemeint ist; alles, was den Teilnehmern bleibt, ist, etwas von dem nachzuplappern, was die Meinungsforscher als Auswahlsendung mitgeliefert haben. Das wirkt sich vor allem dann fatal aus, wenn die Frage unklar formuliert ist oder bei den Antworten nicht an alles gedacht wurde. Auch in unserer Umfrage gab es einen solchen Fall. Wir fragten nach dem Durchschnittsgewicht von Folio-Redaktoren und bekamen einige E-Mails mit der Frage, ob auch Folio-Redaktorinnen gemeint seien. Eine verhängnisvolle Zweideutigkeit: Das Durchschnittsgewicht der Folio-Männer beträgt 76,8 Kilogramm. Jenes von Männern und Frauen zusammen 71,4 Kilogramm. Die Schätzung lag bei 75,9 Kilogramm. Ob die missverständliche Formulierung einen Einfluss auf das Resultat hatte, bleibt unklar.

Bei einer anderen Frage haben wir es bewusst darauf angelegt, dass sie unterschiedlich verstanden wird. Sie tauchte in zwei Versionen auf: Die eine Hälfte der Teilnehmer wurde gefragt: «Finden Sie, dass jeder Schweizer Rekrut das Folio lesen sollte?», die andere: «Finden Sie, dass man es jedem Schweizer Rekruten selber überlassen sollte, ob er das Folio lesen will?». Dieselbe Frage in einem anderen Kleid – mit erstaunlichen Auswirkungen. Die erste Version appellierte wahrscheinlich an den Wunsch nach einer besser informierten Jugend: 46 Prozent fanden, dass jeder Schweizer Rekrut das Folio lesen sollte. Ganz anders bei der zweiten Frage, die nach einer Einschränkung der Freiheit des Einzelnen klang: Nur 19 Prozent wollten es nicht jedem Schweizer Rekruten selber überlassen, ob er das Folio lesen will. Der andere Wortlaut hat die Zustimmung mehr als halbiert!

Wer eine ernsthafte Umfrage durchführt, hat natürlich kein Interesse daran, die Teilnehmer in die Irre zu führen. Trotzdem sind unsere Testfragen kein Gag, sie rütteln auch an der Aussagekraft seriöser Befragungen. Wenn dieselbe Frage anders formuliert aus Befürwortern Gegner macht, können dann nicht alle Fragen so gestellt werden, dass sich das Resultat einer Umfrage ins Gegenteil verkehrt? Wenn 139 Leute ein Heft, das sie nie gesehen haben, zu ihrem Lieblings-Folio erklären, haben dann nicht noch viel mehr Leute Nummern, die ungeöffnet bei ihnen zu Hause liegen, zu ihren Favoriten erkoren – ohne auch nur eine Zeile darin gelesen zu haben? Nagen die 139 Leser des «Katastrophen»-Hefts nicht auch an der Glaubwürdigkeit der 317 Leser, die angaben, das Heft «Krankenkassen» sei besonders toll gewesen?

Eine Umfrage kann Einstellungen und Verhalten nie direkt erheben. Wir können nicht feststellen, ob jemand ein Folio wirklich gelesen hat, ob tatsächlich 97 Umfrageteilnehmer (5 Prozent) eine Tätowierung tragen und 434 (23 Prozent) das Folio auf der Toilette lesen. Eine Umfrage verrät nie, was die Leute tatsächlich denken oder tun, sondern nur, was sie sagen, sie würden es denken oder tun. Die Wahrheit lässt sich dem Leben nicht mit einem Fragebogen abringen.

Das hat der amerikanische Soziologe Richard LaPiere schon 1930 herausgefunden. Er reiste mit einem befreundeten Paar aus China durch die USA. Die beiden wussten nicht, dass LaPiere sie für ein später berühmt gewordenes Experiment benutzte. Er führte exakt Buch über alle Begegnungen mit Hotelpersonal, Gepäckträgern, Kellnern. Damals lebten erst sehr wenige Asiaten in den USA, und viele Leute hatten ihnen gegenüber Vorurteile. Zu LaPieres Überraschung wurden die drei Reisenden fast überall ausgesucht höflich behandelt und nicht abgewiesen. Ohne sich zu erkennen zu geben, schickte er nach der Reise den besuchten Hotels und Restaurants einen Brief mit der Frage: «Würden Sie Angehörige der chinesischen Rasse als Gäste aufnehmen?» Fast alle sagten Nein, obwohl sie kurze Zeit zuvor genau das getan hatten. LaPiere zog daraus den Schluss, dass es mit Fragebogen grundsätzlich unmöglich sei, herauszufinden, wie ein Mensch in einer bestimmten Situation handle. Offenbar weiss er es selbst nicht.

Zur Grafik

Etwas sagen und dann nicht Wort halten, das mögen die Demoskopen gar nicht. Als bei der letzten Bundestagswahl in Deutschland die Meinungsforscher mit ihren Prognosen danebenlagen, waren die Schuldigen schnell gefunden: Das Verhalten der Wähler sei «unbefriedigend», hiess es. Dass sich der Bürger jedoch zu einem besseren Befragten umerziehen lässt, ist unwahrscheinlich, denn der Unterschied zwischen Wort und Tat ist einer von vielen Störeffekten, die eine Umfrage zum Hochseilakt machen. Ein anderer hat seine Ursache darin, dass die Teilnehmer in einem Fragebogen nicht vor allem ein Erhebungsinstrument sehen, sondern ein Kommunikationsmittel. Sie wissen, dass andere Menschen ihre Antworten auswerten werden, und wollen ihnen etwas mitteilen. Als erstes natürlich, was für tolle Kerle sie sind.

Das war in unserer Umfrage nicht anders. Bei der Frage «Welche der folgenden Bücher haben Sie gelesen?» behaupteten 416 Teilnehmer «Ulysses» von James Joyce. Das sind nur geringfügig weniger als jene, die den Bestseller «Sakrileg» von Dan Brown angekreuzt hatten. Wer je die über 1000 Seiten, des selbst von Literaturliebhabern als «schwierig» bezeichneten Werks, in Angriff genommen hat, wird zumindest einem Teil der 416 vermeintlichen Joyce-Kenner Hochstapelei unterschieben. Es ist ein Merkmal von Umfragen, dass niemand für seine Behauptungen geradestehen muss. Und solange man nicht zur Prüfung vorgeladen wird, macht man sein Kreuzchen eher bei Joyces «Ulysses» als bei Metzlers «Grissini & Alpenbitter», das mit 75 Stimmen (4 Prozent) am schlechtesten abschnitt.

Aufdecken lässt sich diese Schummelei mit Umfragen, bei denen die Teilnehmer befürchten müssen, ihre Antworten könnten überprüft werden. Für eine Untersuchung mit dem Titel «Lügen Männer bei Angstumfragen?» gaben Männer an, wie stark sie sich vor Fischen, Ratten, Mäusen und einer Achterbahnfahrt fürchteten. Einen Monat später wiederholte man den Test, informierte die Männern aber zuvor darüber, dass man sie nach dem Ausfüllen des Fragebogens an ein Pulsmessgerät anschliessen und ein Video mit Fischen, Ratten, Mäusen und einer Achterbahnfahrt zeigen würde. Dieser Zusatz wirkte sich dramatisch auf die Antworten im Fragebogen aus. Mit der Möglichkeit konfrontiert, ihre Angst könnte objektiv gemessen werden, schätzten die Männer sie im Fragebogen plötzlich höher ein als einen Monat zuvor im ersten Test.

Selbst anonym durchgeführte Umfragen, die keine Gefahr bergen, dass man plötzlich als Lügner dasteht, sind vor Verfälschungen nicht sicher. Wenn kein anderer da ist, den man belügen kann, belügen die Leute halt sich selbst. Jeder Fragebogen ist eine Einladung zur Selbsttäuschung. Natürlich hätte man «Ulysses» gern gelesen, einmal hat man ja tatsächlich vierzig Seiten geschafft, und bis die Umfrage ausgewertet ist, ist ja noch etwas Zeit.

Der Mensch legt sein zutiefst soziales Wesen in Umfragen nicht ab. Das ist der Grund dafür, dass die Antwort nicht nur von der Frage abhängt, sondern auch davon, wer sie stellt. In einer Untersuchung haben männliche Studenten ein und denselben Fragebogen zum Beispiel anders ausgefüllt, je nachdem, ob sie von einer Forschungsgruppe «Auswirkungen der Frauenbewegung» befragt wurden oder von einer Forschungsgruppe «Selbstkonzept».

Wie stark soziale Normen Meinungsbefragungen beeinflussen, hat auch eine Untersuchung gezeigt, bei der die Versuchsteilnehmer die Leistung eines Computers einschätzen mussten. Ihr Urteil fiel deutlich positiver aus, wenn sie die Evaluation an seinem Bildschirm vornahmen, als wenn sie dafür einen andern Computer benutzten. Offenbar haben Menschen sogar Hemmungen, einem Computer offen ihre Meinung zu sagen.

Alle diese Effekte sind schon lange bekannt. Nur: Was kann man dagegen tun? Wie sollen wir die 139 «Katastrophen»-Leser und die 416 Möchtegern-Joyce-Kenner behandeln? Wie die Umfrageteilnehmer, die das Durchschnittsgewicht der Folio-Redaktion auf 120 Kilo schätzten, die bei den Haustieren «Fredie der Softeisbär, Kiki das Eichhörnchen und Nili (mit Sprachfehler)» schrieben oder einfach «zwei kleine Kinder». Sollen wir sie von der Auswertung ausschliessen? Oder wäre das übertrieben? Wahrscheinlich haben sie sich ja nur bei einer Frage einen Spass erlaubt. Ungerecht wäre es jedenfalls gegenüber jenen Leuten die sich tatsächlich bis zur letzten Seite durch «Ulysses» gekämpft haben.

Die Fragebogenforschung hat verschiedene Methoden hervorgebracht, um Antworten auf ihre Zuverlässigkeit zu prüfen. Zum Beispiel kann man die gleiche Frage anders formuliert mehrmals einsetzen. Fallen die Antworten nicht konsistent aus, wurde die Befragung offenbar nicht ernst genommen. Oder man enttarnt Leute, die zu sozial erwünschten Antworten neigen, mit sogenannten Lügenskalen: Das sind Fragen nach negativem, aber verbreitetem Verhalten. Wer auf die Frage «Greifen Sie manchmal zu Notlügen?» mit «Nein» antwortet, dürfte genau das getan haben.

Diese Verfahren sind aufwendig und werden vor allem verwendet, um Fragebogen vor ihrem Einsatz in wissenschaftlichen Studien auf ihre Aussagekraft hin zu prüfen. Doch so raffiniert sie auch sind, Umfragen liefern immer nur eine Karikatur der Realität. Sie zeigen im Extremfall nicht mehr, als an welcher Stelle eine bestimmte Person Kreuzchen gemacht hat. Unsere nicht einmal das.

Die 1883 im Internet ausgefüllten Fragebogen könnten nämlich theoretisch von einer einzigen Person stammen. Natürlich ist es unwahrscheinlich, dass sich jemand diese Mühe gemacht hat, aber dass Leute an anonymen Internet- und Telefonumfragen mehrmals teilnehmen, um das Resultat zu manipulieren, ist wahrscheinlich. Vor allem wenn sie wissen, dass das Ergebnis in den Medien publiziert wird. Und selbst wenn sich keine Wiederholungstäter an unserer Umfrage beteiligten, gehorchte die Auswahl der Teilnehmer doch höchst dubiosen Regeln.

Mit der Entscheidung, eine Internetumfrage durchzuführen, haben wir einen Viertel der Folio-Leser zum Vornherein ausgeschlossen: jene, die das Internet nicht regelmässig benutzen. Und auch von den Internetbenutzern wurden nur jene berücksichtigt, die von der Umfrage erfahren und gerade Zeit und Lust hatten, die Fragen zu beantworten. Aus repräsentativen Umfragen wissen wir, dass das Durchschnittsalter unserer Leser bei 45 Jahren liegt. Die Teilnehmer der Internetumfrage waren durchschnittlich 40 Jahre alt. Die Methode hat sich die Teilnehmer sozusagen selbst ausgesucht und damit wohl für die 32 Prozent gesorgt, denen das Heft über Studenten besonders gefallen hat. Wer sonst ist ständig online und hat Zeit?

Trotz ihren Mängeln sind anonyme Umfragen beliebt, vor allem weil sie im Internet vollkommen automatisiert werden können und deshalb billig sind. Kaum eine Site, auf der die Besucher nicht ihre Meinung zu Kampfhunden, Osteoporosebehandlungen oder NZZ-Folio-Rubriken abgeben können. Als beliebtes Element auf Websites von Zeitungen finden die Resultate auch den Weg in herkömmliche Medien. Welche Folgen die Flut der Kuriositäten aus dem Reich der Prozente dort hat, bleibt ungewiss. Weil diese Instant-Umfragen die Macht haben, nicht nur Meinungen zu transportieren, sondern sie auch zu prägen, müsste der Staatskundeunterricht um das Fach «Umgang mit Umfragen» erweitert werden.

Dort würde man als erstes erfahren, dass Misstrauen das wichtigste Instrument beim Deuten von Umfragen ist. 500 Teilnehmer unserer Befragung (27 Prozent) behaupten, die Rubrik «Guter Rat» regelmässig gelesen zu haben. Den «Guten Rat» finden Sie auf Seite 13 – in dieser Ausgabe des Folios zum ersten Mal.

Reto U. Schneider ist stellvertretender NZZ-Folio-Redaktionsleiter.


Teilen

Für 94 Franken pro Jahr gibt es NZZ Folio auch im Abonnement. Näheres hier.

Urheberrecht gilt auch im Internet: Verlinken erlaubt, Kopieren verboten.