https://www.faz.net/-gmg-7hz1x

: Jede Studie ein Volltreffer

  • Aktualisiert am

Es rumort seit einiger Zeit in der psychologischen Forschung. Im Jahr 2011 mussten erst der Harvard-Forscher Marc Hauser und dann der niederländische ...

          5 Min.

          Es rumort seit einiger Zeit in der psychologischen Forschung. Im Jahr 2011 mussten erst der Harvard-Forscher Marc Hauser und dann der niederländische Sozialpsychologe Diederik Stapel wegen massiver Datenfälschung ihre Professuren aufgeben. Beides waren angesehene Vertreter ihres Faches, sodass sich Kollegen wie Harold Pashler von der University of California in San Diego oder der Nobelpreisträger Daniel Kahnemann sorgten, die Öffentlichkeit könnte das Vertrauen in die gesamte Disziplin verlieren.

          Tatsächlich stellt sich die Frage, ob ein Gebiet der Wissenschaft, das sich der Seele widmet, vielleicht besonders anfällig für fragwürdige Praktiken ist. Haben es die Forscher doch meist mit Effekten zu tun, die sich nur mit Hilfe statistischer Verfahren aus dem Rauschen von subjektiver Wahrnehmung und individuellen Unterschieden herausfiltern lassen. Das bewusste Fälschen kompletter Datensätze, wie im Fall Stapel geschehen, ragt nur als besonderes Beispiel von Betrug heraus. Daneben existiert jedoch eine weite Grauzone statistischer Tricks und Kniffe, mit denen sich grenzwertige Ergebnisse über die Schwelle der statistischen Signifikanz hieven lassen (siehe „Seven Shades of Grey“).

          Die Forscher haben das Problem längst erkannt. Auf dem Treffen der Europäischen Gesellschaft für Psychologie Ende August in Budapest stand das Thema „Für eine bessere Psychologie: Guter Umgang mit Daten und Replizierbarkeit“ gleich am ersten Tag als Schwerpunkt auf der Agenda. Im Prinzip geht es dabei um eine Rückbesinnung auf Kardinaltugenden wissenschaftlicher Methodik: hypothesengeleitetes Arbeiten, Transparenz und Replizierbarkeit von Ergebnissen. Da hapert es selbst bei manchen Klassikern des Fachs. Zum Beispiel bei einer Studie aus dem Jahre 1996, die belegt haben will, dass Versuchspersonen, welche mit Worten konfrontiert wurden, die man gemeinhin mit einem hohen Alter assoziiert („grau“, „Glatze“, „tatterig“), anschließend langsamer aus dem Labor liefen. „Soziales Priming“ nennt sich dieser Effekt, der bald darauf auch bei Probanden gefunden wurde, die sich mit den Eigenschaften eines Professors auseinandersetzten und anschließend in einem Wissenstest besser abschnitten.

          Als man in Belgien und England kürzlich beide Studien wiederholte, glänzte der berühmte Priming-Effekt mit Abwesenheit, obwohl die Bedingungen ähnlich waren. Das bedeutet zwar noch nicht, dass der Effekt überhaupt nicht existiert. Schließlich lassen sich gerade im komplexen Forschungsgebiet der Sozialpsychologie kaum alle Variablen genau kontrollieren; der kulturelle Hintergrund der Probanden beispielsweise kann schwanken. Trotzdem wirft der Widerspruch Fragen auf.

          Bisher werden solche Wiederholungsversuche selten durchgeführt - die Fachjournale zeigen wenig Interesse daran, es geht schließlich auch um den Ruch der Nestbeschmutzung. Das soll sich ändern. Es gibt neuerdings Initiativen, Replizierungen zu fördern und zu veröffentlichen. Darunter finden sich Harold Pashlers Website „PsychFileDrawer“ und ein Projekt, das systematisch sämtliche Studien, die in drei großen Psychologie-Fachzeitschriften 2008 erschienen sind, wiederholen will. Und weil besagte Probleme nicht nur in diesem Fach auftreten, richtet sich die „Reproducibility Initiative“ der Zeitschrift PlosOne an Wissenschaftler aller Disziplinen. Sie sollen dort ihre Arbeiten registrieren können, um sie unabhängig replizieren zu lassen. Ziel ist eine Art Gütesiegel für besonders zuverlässige und transparente Ergebnisse.

          In die gleiche Richtung zielt eine andere, jedoch umstrittenere Initiative: Die Vorab- oder Präregistrierung psychologischer Studien, bevor die Daten erhoben werden. „In einer idealen Welt wären wissenschaftliche Entdeckungen unabhängig davon, was die Forscher zu entdecken hoffen“, sagt Chris Chambers von der Universität Cardiff. „Man würde mit einer interessanten Idee beginnen, sich eine Methode ausdenken, diese zu überprüfen, die Studie durchführen und anschließen schauen, ob die Daten die Hypothesen unterstützen. Leider lernen angehende Wissenschaftler heute schon früh, dass für ihre akademische Karriere nicht so sehr diese Suche nach Wahrheit, sondern vor allem die Anzahl von Veröffentlichungen in angesehenen Journalen zählt.“ Das verführe auch gute Wissenschaftler zu fragwürdigem Vorgehen.

          „Da werden Daten so lange mit den verschiedensten Methoden analysiert, bis ein statistisch signifikantes Ergebnis herauskommt. Oder man verändert im Nachhinein die Ziele einer Studie, damit sie unerwartete Ergebnisse ,vorhersagt‘. Und das ist nicht das Werk einer kleinen Minderheit, sondern ein weitverbreitetes Resultat der Zwänge, unter denen die meisten Wissenschaftler arbeiten“, schreiben Chambers und Marcus Munafo von der Universität Bristol in einem offenen Brief, den der Londoner Guardian im Juni auf seiner Website veröffentlichte.Inzwischen haben fast hundert ihrer Kollegen unterschrieben.

          Was könnte die frühzeitige Anmeldung von Zielen, Design und Bewertungskriterien einer Studie vor ihrer Durchführung, wie sie bei medizinischen Studien bereits Usus ist, überhaupt ändern? „Die Idee ist, dass ein Forscher seine Studie zunächst in einem frühen Stadium beim Journal einreicht. Redakteure und externe Gutachter bewerten dann Fragestellung, konkrete Hypothesen und den experimentellen Ansatz sowie die Auswertungsstrategie. Geben sie ihr Okay, kommt dies fast einer Garantie gleich, die Ergebnisse zu publizieren, egal, was dabei herauskommt, und die Forscher können sich an die Arbeit machen. In einer zweiten Runde wird dann nur noch überprüft, ob die Schlussfolgerungen wirklich zu den erhobenen Daten passen“, erklärt Chambers. Das Fachmagazin Cortex bietet solche „Registered Reports“ seit Mai bereits an.

          Chambers sieht mehrere Vorteile des Verfahrens: Erstens seien solche Ergebnisse immun gegen den „publication bias“, also die bevorzugte Veröffentlichung positiver Befunde in der Fachliteratur. Hinter dieser verzerrenden Praxis können in der Medizin wirtschaftliche Interessen von Pharmafirmen stehen, die unliebsame Ergebnisse von Medikamentenversuchen in der Schublade verschwinden lassen und nur genehme Daten veröffentlichen. In der psychologischen Forschung, sagt Chambers, sei dafür vor allem der Druck zum Publizieren in Kombination mit der Vorliebe der immer zahlreicheren konkurrierenden Fachmagazine für neue und aufsehenerregende Ergebnisse verantwortlich. Zweitens beuge die Notwendigkeit, bei dem einmal genehmigten Studienplan zu bleiben oder Änderungen dieses Plans zumindest kenntlich zu machen, den vielen kleinen Tricks vor, mit denen Forscher ihre Ergebnisse bewusst oder unbewusst schönen. Und schließlich könne die frühzeitige Begutachtung helfen, die Zahl von Studien zu verringern, bei denen schon dasDesign Mängel aufweist.

          Das klingt gut. Doch viele Psychologen sind über die Präregistrierungsinitiative gar nicht entzückt. Sie bezweifeln, dass sich die Vorgaben praktisch umsetzen lassen. Der zusätzliche Aufwand für das Begutachten von zahllosen mehr oder minder ausgegorenen Studienideen werde das ohnehin am Limit arbeitende Verfahren des Peer-Review endgültig zum Zusammenbruch bringen. Abgesehen davon gibt es noch grundlegendere Bedenken: „Präregistrierung würde die Wissenschaft in Ketten legen.“ So titelte eine im Hochschulmagazin Times Higher Education abgedruckte Entgegnung der Londoner Neurowissenschaftlerin Sophie Scott. „Viele interessante Ergebnisse waren zunächst unerwartet und entstanden aus genauer Beobachtung, nicht aus dem strengen Überprüfen einer Kette von Hypothesen“, sagt Scott, die für ihre Replik zahlreiche Kollegen konsultiert hatte. „Wissenschaft ist ein steter Prozess, in dem es erlaubt sein muss, Neues auszuprobieren, Fehler zu machen und sich in Richtungen leiten zu lassen, die wir vorher nicht erwartet haben.“

          Solche Ängste würden auf einem Missverständnis beruhen, entgegnet Sergio Della Sala, Neurowissenschaftler an der Universität Edinburgh und Chefredakteur von Cortex. „Unsere Registered Reports sollen lediglich ein zusätzliches Angebot sein.“ Zudem sei es durchaus auch in diesem Format möglich, Ergebnisse zu diskutieren, die bei der Planung einer Studie nicht vorhergesehen werden konnten. Nur müssten die dann eben als solche gekennzeichnet werden. „Gerade das könnte interessant sein. Auf jeden Fall ist es ehrlicher, als im Nachhinein die Vorhersagen den Ergebnissen anzupassen.“

          Vorsätzlichen Betrug wie in den Fällen Hauser und Stapel, wird auch eine Präregistrierung nicht verhindern können. Denn wer von vornherein weiß, welches Ergebnis er zu fabrizieren gedenkt, kann sich dazu getrost eine methodisch lupenreine Studie ausdenken. Ob sich präregistrierte Studien in der Psychologie durchsetzen werden, hängt, anders als in der Medizin, wo das Verfahren von Aufsichtsbehörden verordnet wurde, letztlich von der Akzeptanz unter den Forschern ab. Die lässt sich nur schwer abschätzen: Bei Cortex sind bisher erst drei Vorschläge eingegangen.

          Seven Shades of Grey Im Fachblatt Psychological Science erschien im April 2012 eine Studie, für die Forscher um Leslie John von der Harvard Business School mehr als zweitausend amerikanische Psychologen anonym befragten, wwelche fragwürdigen Praktiken sie anwenden. Am häufigsten wurde zugegeben: 1. Das weitere Sammeln von Daten davon abhängig zu machen, ob die bisherigen die Signifikanzschwelle erreicht haben (58 Prozent gaben an, es schon einmal gemacht zu haben). 2. Teilexperimente unterschlagen, die nicht den erwarteten Effekt zeigten (27 Prozent). 3. Abrunden von Daten in den signifikanten Bereich hinein (23 Prozent). 4. Messpunkte als Ausreißer ausschließen, nachdem überprüft wurde, ob dies das Ergebnis in die gewünschte Richtung bringt (43 Prozent). 5. Überraschende Ergebnisse in der Publikation als von vornherein erwartet ausgeben (35 Prozent). 6. Ergebnisse für unabhängig von demographischen Variablen wie dem Geschlecht der Probanden erklären, wenn man sich in Wirklichkeit nicht sicher ist oder vielleicht sogar weiß, dass dies nicht stimmt (vier Prozent). 7. Daten fälschen (zwei Prozent). Dass es gang und gebe ist, grenzwertige Ergebnisse mit solchen Tricks irgendwie über die Signifikanzschwelle zu retten (meist angegeben mit dem p-Wert, der die Wahrscheinlichkeit angibt, mit der ein gemessener Unterschied in Wirklichkeit ein reines Zufallsprodukt ist), lässt eine 2012 im Quarterly Journal of Experimental Psychology veröffentlichte Analyse annehmen. Bei Durchsicht der Studien, die innerhalb eines Jahres in drei anerkannten Fachzeitschriften erschienen waren, fiel eine Häufung von p-Werten auf, die gerade unterhalb von fünf Prozent lagen. Eine Lücke klaffte bei Werten, die knapp über der Signifikanz-Marke lagen. Ein Schelm, wer Böses dabei denkt. geru Reduplicatio est mater scientiae? Da wären Forscher mit ihrem Latein bald am Ende.

          Topmeldungen

          Grünen-Kanzlerkandidatin Annalena Baerbock steht nach ihrer Bestätigung bei der Bundesdelegiertenkonferenz ihrer Partei auf der Bühne.

          Mit 98,55 Prozent : Grüne küren Baerbock zur Kanzlerkandidatin

          Der Grünen-Parteitag hat Parteichefin Annalena Baerbock als Kanzlerkandidatin bestätigt. In einer einzigen Abstimmung unterstützten 678 von 688 Delegierten das Duo aus den beiden Parteichefs Baerbock und Robert Habeck als Wahlkampf-Team.
          „Hotspot Rhein-Main“: Koran-Verteilaktion 2014 auf der Zeil

          Frankfurter Ermittlungen : Die Analyse des Terrors

          Erst kamen die Rückkehrer, dann die IS-Frauen. Rhein-Main ist laut den Staatsanwälten ein Hotspot für Gefährder. Wie die Frankfurter Generalstaatsanwaltschaft gegen mutmaßliche Islamisten ermittelt.
          Bei Immobiliengeschenken heißt es: Steuerfragen umfassend prüfen.

          Der Steuertipp : Die Nießbrauch-Falle

          Der Nießbrauch wird bei Immobilienschenkungen gern gewählt, um das Nutzungsrecht zu behalten. Dabei sollte man nie die Einkommensteuer übersehen.