Jonglieren mit Zahlen

8. April 2017, 21:58

Wenn wir in der uns täglich überschwemmenden Flut von Daten, Zahlen, Fakten, Tabellen, Kurven, Trends und Tests unter anderem erfahren, dass Linkshänderinnen ein geringeres Risiko haben an Brustkrebs zu erkranken, dass Hutträger ein erhöhtes Lungenkrebsrisiko haben und die Schnabellänge von Vögeln mit deren Körpergewicht abnimmt, so sind das nur ausgewählte Beispiele, die uns zeigen, dass die Forschung gegenwärtig eher darauf angelegt ist, Quantität zu produzieren.

Qualität in Form von soliden Ergebnissen sei nicht gefragt und so begrabe die unüberschaubare Flut von Desinformation die tatsächlich neuen Erkenntnisse unter sich und behindere den wissenschaftlichen Fortschritt, schreiben die beiden deutschen Physiker und Statistiker Hans-Peter Beck-Bornholdt und Hans Hermann Dubben in ihrem Buch "Der Hund, der Eier legt."

Was sagen Prozentzahlen aus?

Risiken und Nutzen von Therapien werden meist in Wahrscheinlichkeiten angegeben, also in Prozentsätzen. Tatsächlich sind Prozentangaben aber eine wertlose Information, wenn die Bezugsbasis fehlt. Ohne Angabe dieser Bezugsgrößen sagen relative Wahrscheinlichkeiten also nicht viel aus, wie das folgende Beispiel zeigt.

Eine neue Therapie, die die Heilungschance um 30 Prozent steigert, bedeutet nicht , dass durch die neue Therapie von 100 Patienten 30 mehr geheilt werden, es kann vielmehr bedeuten, dass mit der herkömmlichen etablierten Therapie drei, mit der neuen hingegen vier von 100 Frauen geheilt werden. Und das Ergebnis sagt auch nichts über die Nebenwirkungen, die die neue im Vergleich zur alten Therapie hat, aus.

Publizieren um jeden Preis

"Wenn wir weiter nach der Maxime publish or persish - veröffentliche oder gehe vor die Hunde - verfahren, wird es die Wissenschaft sein, die vor die Hunde geht", meinen die beiden Buchautoren. In "Der Hund der Eier legt" schreiben sie:

Von Jänner 1993 bis August 1994 haben wir die in unserem Fachgebiet führende Zeitschrift Radiotherapy and Oncology im Hinblick auf Mehrfachtests untersucht. Etwa ein Drittel der dort publizierten klinischen Arbeiten enthielt statistisch nicht haltbare Aussagen. Erfreulicherweise veröffentlichte das Blatt unseren dazu verfassten kritischen Artikel umgehend. Drei Jahre später analysierten wir dieselbe Zeitschrift nochmals auf ebendieses Problem hin und stellten fest, dass sich nichts geändert hatte. Der Anteil der unkorrekten Arbeiten war sogar geringfügig gestiegen. Wieder verfassten wir einen Artikel, in dem wir auf insgesamt 38 unhaltbare Aussagen hinwiesen.

Die zweite Kritik wurde nicht veröffentlicht. Unter den 38 unhaltbaren Aussagen fanden sich einige mit eindeutig klinischem Bezug und es ist nicht auszuschließen, dass zwischenzeitlich bereits danach behandelt wird.

Nicht mehr, sondern bessere Forschung

Nicht nur die Vermengung von Anteil und Anzahl ist bei der Interpretation von Studienergebnissen weit verbreitet, oft ist es die Nähe der Studienautoren zum Auftraggeber, die dazu führt, dass erwünschte Ergebnisse als besonders signifikant oder relevant herausgehoben werden.

"Das Renommee eines Wissenschaftlers fällt und steigt mit der Anzahl seiner Publikation, wer etwas 'findet' ist im Geschäft, wer nichts findet ist draußen", schreiben Beck-Bornholdt und Dubben, "was wir aber brauchen ist nicht mehr, sondern bessere Forschung."