Im Kanton Appenzell Ausserrhoden erkranken 19.5 Frauen pro 100'000 Lebensjahren an Lungenkrebs. In Zürich hingegen sind es 29.8 Frauen. Zürcherinnen haben also eine um 53% höhere Wahrscheinlichkeit, an Lungenkrebs zu erkranken, als Appenzellerinnen.[i] Liegt es an der sauberen Landluft?
Menschen sind geneigt, solche Informationen zu überbewerten, denn der durchschnittliche Mensch ist kein guter Statistiker: Wir vernachlässigen oft die Implikationen der Stichprobengrösse. Das kann zu falschen Schlussfolgerungen führen.
Um zu verstehen, warum das so ist, müssen wir das Gesetz der Grossen Zahlen betrachten. Dieses Gesetz besagt vereinfacht: Grosse Stichproben sind präziser, weil sie repräsentativer sind. Kleine Stichproben sind unpräzise und produzieren stark variierende Schätzwerte, also extreme Resultate.
Abbildung 1: Eine Illustration des Gesetzes der Grossen Zahlen. Je öfter die Münze geworfen wird, desto höher die Wahrscheinlichkeit, dass ungefähr 50% der Würfe Kopf zeigen. Bei wenigen Würfen (linker Abschnitt) variiert der Durchschnitt sehr stark und produziert extreme Resultate, die unpräzise und nicht zuverlässig sind. Bei vielen Würfen hingegen tendiert der beobachtete Durchschnitt zum erwarteten Durchschnitt (50%) und variiert kaum noch.
Das macht Sinn. Aber Menschen vernachlässigen diesen statistischen Sachverhalt im Alltag und begehen oft zwei wichtige Denkfehler.
Denkfehler 1: Der Irrglaube an ein Gesetz der kleinen Zahl
Forschungsergebnisse[ii] aus den 70ern zeigen, dass Menschen das Gesetz der grossen Zahl fälschlicherweise intuitiv auch auf kleine Stichproben anwenden. Wird eine Münze zehnmal geworfen, ist die Wahrscheinlichkeit, dass ungefähr die Hälfte (sagen wir 45-55%) der Würfe Kopf zeigt, bei nur rund einem Viertel. Menschen glauben aber oft, dass diese Wahrscheinlichkeit höher ist. Wir überschätzen also die Präzision und somit die Aussagekraft kleiner Stichproben.
Take-Away 1: Kleine Stichproben sind unpräzise und neigen zu extremen Werten.
Denkfehler 2: Der Unglaube an das Gesetz der Grossen Zahl
Neuere Forschungsergebnisse[iii] zeigen, dass Menschen auch den Umkehrfehler machen. Wird dieselbe Münze tausendmal statt nur zehnmal geworfen, so ist die Wahrscheinlichkeit, dass rund 45-55% der Würfe Kopf zeigen, grösser als 99%. Menschen glauben aber oft, dass diese Wahrscheinlichkeit viel tiefer ist: In Studien wurde diese auf nicht einmal 30% eingeschätzt. Wir unterschätzen also die Präzision grosser Stichproben erheblich.
Take-Away 2: Erkenntnisse aus grossen Stichproben sind präzise und zuverlässig.
Zurück zur Lungenkrebsinzidenz: Haben Sie bereits nach Erklärungen gesucht, weshalb die Inzidenz im Kanton Appenzell Ausserrhoden so viel tiefer als im Kanton Zürich ist? Vielleicht halten Sie die saubere Landluft für einen plausiblen Grund? Die Realität ist vermutlich langweiliger: Der Kanton Appenzell Ausserhorden ist bevölkerungsmässig rund hundertmal kleiner als der Kanton Zürich. Kleine Stichproben neigen zu Ausreissern. Der Fakt, dass Züricherinnen öfter an Lungenkrebs erkranken als Appenzellerinnen, ist wahrscheinlich zumindest teilweise schlicht einer statistischen Gegebenheit geschuldet. So ist der Kanton mit der höchsten Inzidenz auch ein bevölkerungsarmer Kanton mit sauberer Luft, nämlich der ländliche Kanton Jura.
Das Vernachlässigen der Stichprobengrösse kann also zu Trugschlüssen im Alltag führen. Besonders in letzter Zeit sind die beiden obengenannten Denkfehler in den Medien oft in Erscheinung getreten und als Konsequenz wurden statistische Fakten überbewertet.
Bis zum 28. Februar 2021 hatten die Kantone Appenzell Innerhorden und Nidwalden am meisten Impfungen pro Einwohner verabreicht[iv] (13.92 respektive 13.62 pro 100 Einwohner) und ernteten dafür in den Medien Lorbeeren als «Impfturbos».[v] Am anderen Ende der Skala liegt der «Trödlerkanton» Zürich (7.96 pro 100 Einwohner), der in den Medien getadelt wurde. Die Impfturbos sind jedoch bevölkerungsmässig sehr kleine Kantone. Wir sollten deshalb deren sehr gute Position im Ranking nicht überbewerten, denn kleine Stichproben sind unpräzise und variieren stark. Tatsächlich hat sich zwei Monate später gezeigt, dass der Turbo Nidwalden von ganzen 16 Kantonen überholt wurde. Auch Appenzell Innerhorden hat seine Leaderposition verloren und ist ganze neun Ränge abgerutscht.
Zürich hingegen, notabene der bevölkerungsreichste Kanton, sollte im Mittelfeld liegen, schliesst aber am 28. Februar als letztes im Ranking ab, ebenso einen Monat später. Und auch zwei Monate später bildet er immer noch das Schlusslicht des Rankings. Stand heute (2. Juni 2021) ist der Kanton Zürich immer noch Drittletzter. Grosse Stichproben sind eben zuverlässig. Beim Kanton Zürich lohnt es sich also, nach den Ursachen des schlechten Abschneidens zu suchen, die nicht durch statistische Eigenheiten begründet werden können. Das Lob für die Kantone Appenzell Innerhorden und Nidwalden war jedoch gewagt, denn die Datenbasis war unzuverlässig: Die Journalisten haben die eingangs erwähnten Denkfehler begangen und die Implikationen der Stichprobengrösse in ihren Schlussfolgerungen vernachlässigt.
TAKE-HOME MESSAGE
Vernachlässigen Sie nie die Stichprobengrösse!
Konkret bedeutet das dreierlei. Erstens: Die Stichprobengrösse wird in Zeitungsartikeln und Meetings oft nicht explizit genannt und erscheint deshalb als unwichtig. Wir müssen uns also selber helfen und uns bewusst machen, dass die Stichprobengrösse absolut zentral ist. Zweitens: Wir sollten uns merken, dass kleine Stichproben extreme und unpräzise Resultate produzieren. Drittens: Grosse Stichproben sind präzise. Auf Erkenntnisse von grossen Stichproben sollten wir uns also verlassen.
[i] Betrachteter Zeitraum 2011-2015, Altersspezifische Rate. Quelle: https://www.nicer.org/NicerReportFiles2018/DE/report/atlas.html?&geog=0 [ii] Tversky, A., Kahneman, D., 1971. Belief in the Law of Small Numbers. Psychological Bulletin 76 (2), 105–110. [iii] Benjamin, D., Moore, D., Rabin, M., 2018b. Biased Beliefs About Random Samples: Evidence from Two Integrated Experiments. Working Paper. Kahneman, D., Tversky, A., 1972a. Subjective probability: a judgment of representativeness. Cognitive Psychology 3 (3), 430–454. [iv] BAG. https://www.covid19.admin.ch/api/data/documentation, COVID19VaccDosesAdministered.csv. [v] Siehe beispielsweise https://www.derbund.ch/zuercher-staenderat-kritisiert-untaetigkeit-der-eigenen-regierung-401199312672, https://www.luzernerzeitung.ch/zentralschweiz/luzern/coronaimpfung-zuerst-top-dann-flop-nur-drei-kantone-impfen-langsamer-als-luzern-nun-solls-schneller-vorwaertsgehen-ld.2124096, https://www.watson.ch/schweiz/coronavirus/888809191-impflage-in-zuerich-diese-4-punkte-zeigen-wie-es-wirklich-ist .