Skip to content

Link des Tages 145: Die Reproduzierbarkeitsdebatte

März 18, 2016

Zunächst mal kurz das Problem skizziert: Wissenschaft insb. die Sozialwissenschaft lebt von der Reproduzierbarkeit von Studien. Jede Forschung bringt unvermeidliche Verzerrungen der Ergebnisse mit sich. Wirklich Erkenntnisse kann man nur gewinnen, wenn die Ergebnisse von unabhängigen Forschungsgruppen bestätigt werden. Ansonsten ist da Risiko groß, dass man in Wirklichkeit nur eine Störgröße gemessen hat. Als bekanntes Beispiel sei der Versuchsleiter-Erwartungs-Effekt genannt.

Leider gibt es zahlreiche Studien die nicht wirklich reproduziert werden. Ein Grund dafür ist es, dass in den klassischen Journalen Replikationen (Also Studien, die versuchen ein Ergebnis zu reproduzieren) eher schlechte Chancen zur Veröffentlichung haben. Das ist der wesentliche Teil des sogenannten Publication-Bias.

Im vergangenen Jahr gab es eine größere Debatte, da eine Forschungsgruppe zahlreiche Studien nicht reproduzieren konnte. Hier ein paar Artikel dazu:

Neu ist die Diskussion indes nicht. Auch vorher wurde gerade in der Psychologie schon viel über das Problem diskutiert. z.B. hier in der Zeit.

In den letzten Tagen ist das Thema scheinbar wieder einmal etwas neu aufgelodert. Interessanterweise von beiden Seiten. Zum einen wird darüber berichtet, dass bei den Untersuchungen von damals statistisch nicht sauber gearbeitet wurde. So z.B. hier:

Auf der anderen Seite gibt es aber gerade auch einen Bericht über eine ettliche male replizierte Studie, die scheinbar massive Schwächen aufweist:

Tja. Alles furchtbar?! – Vielleicht. Ich denke die Debatte deutet auf ein erhebliches Problem hin. An vielen Stellen (insb. in den Sozialwissenschaften wozu ich auch die Wirtschafts“wissenschaften“ zählen würde) funktioniert Forschung nicht so gut, wie sie eigentlich gedacht ist. Durch zahlreiche Fehlincentive-Setzungen dauert es oft viel länger als nötig bis die Wissenschaft lernt oder besser falsches Wissen verlernt. Die Gesamttendenz dürfte in den meisten Bereichen immernoch positiv sein (d.h. man lernt durch die Forschung mehr richtiges als falsches), aber der Anteil an falsch gelerntem ist eindeutig zu hoch.

Was kann man tun? Ich bin bisher zu diesen Schlüssen gekommen:

  • Veröffentlichung von Replikationen erleichtern
  • Forschung an Replikationen explizit fördern
  • Pre-Registrierung von Studien (damit unpassende Ergebnisse nicht einfach verschwinden können)
  • Open Access (je mehr Leute drüber schauen, desto mehr Leute haben die Chancen Schwächen und Fehler im Design und der Durchführung erkennen
  • In der Kommunikation wesentlichen vorsichtiger sein, was man als gesicherte Erkenntnis vermittelt.

Und hat noch jemand weitere/bessere Vorschläge?

So und zum Abschluss noch ein sehr schönen Artikel der Probleme der Wissenschaft darstellt, aber eben auch zeigt, warum sie funktionieren kann (und vor allem cool daran: Mann kann fleissig P-Hacken;-)):

https://fivethirtyeight.com/features/science-isnt-broken/#part4

Advertisements

From → Uncategorized

One Comment
  1. Statistiker permalink

    Tja…… man schaue sich dem Blume an…..

    Seine Ergebnisse sind nicht reproduzierbat, da nur theologischer Schrott. Er behauptet trotzdem alles, also diskrediert er und als Skeptiker. Das ist beleidigend hoch drei…….

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: