„Viele Studien sind nicht reproduzierbar“
Die Anreizstrukturen in der medizinischen Forschung stellen sich mitunter der Wahrheitssuche entgegen, sagt der Stanford-Professor John P. A. Ioannidis. Er fordert, dass auch negative Resultate honoriert werden. Wir wollen der Wahrheit näherkommen und ke
INTERVIEW:
Wien – Studien, die nicht reproduzierbar sind, und Forschung, die nicht dem Wohl der Patienten dient, sondern den Profit der Medikamentenhersteller erhöhen soll – egal, ob eine Behandlung wirksam ist, oder nicht: Derlei Kritik ist medizinische Forschung, die von Pharmakonzernen gesponsert ist, oft ausgesetzt. 2005 prangerte der US-amerikanische Mediziner John P. A. Ioannidis mit dem Aufsatz „Warum die meisten der publizierten Forschungsergebnisse falsch sind“die selektive und manipulierende Publikationspraxis in der Wissenschaft an. Bei einem Besuch in Wien sprach er über aktuelle Probleme in den Strukturen der medizinischen Forschung.
Standard: Vor zehn Jahren sorgten Sie mit dem Aufsatz über manipulierende Publikationen in der Medizin für Aufsehen. Hat sich die Situation seither verbessert? Ioannidis: Es hat sich vieles verbessert. Es gab damals etwa noch keine Registrierung klinischer Studien und auch keine Kultur, diese Studien zu wiederholen und zu vergleichen. Aber wenn ich jetzt zufällig ein wissenschaftliches Paper herauspicke, weiß ich nicht, ob die Wahrscheinlichkeit, dass es korrekt ist, heute größer wäre als 2005. Der Grund dafür ist, dass heute viel mehr geforscht und publiziert wird – vieles darunter hat sich deutlich verbessert, anderes nicht. Es gibt also noch immer viele Studien, die nicht reproduzierbar sind.
Standard: Welche Rolle spielen systematische Reviews in der heutigen medizinischen Forschung? Ioannidis: Systematische Reviews versuchen, Informationen zu einer bestimmten Forschungsfrage zusammenzustellen, die man aus verschiedenen Studien bezieht. Es wird unglaublich viel Information generiert, und man muss sie schließlich irgendwie zusammenfassen. Systematische Reviews haben die Aufgabe dieser Zusammenfassung. Ich habe versucht, zu zeigen, dass das prinzipiell eine gute Idee ist, dass aber diese Berichte auch eigene Probleme schaffen. Es gibt eine regelrechte Epidemie an systematischen Reviews, die unzuverlässige Daten von umstrittenen Autoren und/oder Sponsoren zusammenbringen. Viele entstehen in einem Interessenkonflikt und zu einem großen Teil – wenn es um Medikamente geht – dienen sie Marketingzwecken.
Standard: Können Sie ein Beispiel nennen? Ioannidis: Wir haben kürzlich einen Aufsatz veröffentlicht, in dem wir zeigen, dass in Hinblick auf ein Antidepressivum innerhalb von sieben Jahren 185 systematische Reviews erschienen – zur genau selben Frage und zum selben Medikament. 80 Prozent dieser Reviews haben eine Verbindung zur Pharmaindustrie, also zu den Herstellern des Antidepressivums. Unter den Berichten, an denen Mitarbeiter dieser Konzerne beteiligt waren, stellten 54 von 55 dem Medikament ein gutes Zeugnis aus – ohne jede Bedenken. Unter allen anderen Reviews, sahen 50 Prozent Probleme mit dem Antidepressivum. Es wird wirklich problematisch, wenn die Men- schen mit vielbeachteten systematischen Berichten bombardiert werden, die glaubwürdig aussehen, es in Wahrheit aber nicht sind. Sogar mit dieser Art von Forschung, muss man also vorsichtig sein.
Standard: Gibt es hier ein Zuviel an Informationen? Ioannidis: Informationsüberfluss ist ein großes Problem. Wir haben heute mehr Möglichkeiten, Dinge zu messen und Information zu speichern, die eigentlich nicht für Forschungszwecke gedacht war. Mit elektronischen Gesundheitsakten haben wir Zugriff auf riesige Datenmengen. Das ist eine große Herausforderung, und es ist fraglich, wie weit wir mit diesen Daten kommen, denen kein richtiges Forschungsvorhaben vorangeht.
Standard: Es gilt also sinnvolle Kriterien zu finden, diese Daten zu interpretieren? Ioannidis: Ja, dazu müssen wir präventiv handeln, anstatt abzuwarten, bis Informationen sich ansammeln, und sie dann zusammenzufassen. Wir müssen darüber nachdenken, wie wir sicherstellen können, dass all diese Informationen publiziert werden, Protokolle eingehalten werden und es einen Analyseplan gibt, der nicht manipuliert wird. Zumindest muss das für jene Forschung geschehen, bei der es Analysepläne und Protokolle gibt – für randomisierte kontrollierte Studien, die Behandlungen, Medikamente oder chirurgische Eingriffe auf ihre Wirksamkeit testen. Denn es gibt auch andere Arten von Studien, die eher ins Blaue hinein forschen. Bei dieser „Blue Sky“-Forschung will man kein fixes Protokoll, sondern erst einmal herum- streunen. Was hier gegeben sein muss, ist Transparenz. Oft scheint es, als hätten die Forscher ihre Entdeckung schon im Vorhinein geplant gehabt, dabei haben sie sich durch eine Menge von Daten gegraben und sich die Rosinen herausgepickt. Da können sehr interessante Entdeckungen gemacht werden, aber diese müssen auch reproduzierbar sein.
Standard: Warum hat sich die Bedeutung reproduzierbarer Studien in der Forschung noch nicht ganz durchgesetzt? Ioannidis: Vor kurzem sagten viele Forscher noch, eine Studie zu wiederholen sei unwichtig und sie wollten lieber was Neues machen. Aber jetzt sieht man immer mehr ein, dass, was wir getan haben, zu falschen Ergebnissen führt und dass wir, ohne zu wiederholen und zu reproduzieren, nicht wissen können, was an unseren Studien falsch und was korrekt war.
Standard: Tragen die Anerkennungsstrukturen in der Wissenschaft also zu diesem Problem bei? Ioannidis: Ja, es braucht mehr Anreiz für das Publizieren negativer Resultate und guter reproduzierter Studien. Das Endprodukt, das wir uns von der Wissenschaft erwarten, ist ein zuverlässiges Ergebnis. Die Art und Weise, wie Wissenschafter heute belohnt werden, führt aber nicht zu diesem Ziel. Wir wollen der Wahrheit so nah wie möglich kommen und keine bahnbrechenden Ergebnisse, wenn diese nicht stimmen. Sieht man sich biomedizinische Publikationen an, behaupten 97 Prozent davon, wichtige Funde gemacht zu haben – das kann unmöglich wahr sein.
JOHN P. A. IOANNIDIS, geboren 1965 in New York und aufgewachsen in Athen, ist Medizin- und Statistikprofessor in Stanford. Berühmt wurde sein Artikel „Why Most Published Research Findings Are False“(2005) in der Zeitschrift „PLoS Medicine“, in dem er nachwies, wie schlechte Publikationspraktiken wissenschaftliche Ergebnisse verzerren.