Skip to content

Link des Tages 16: Warum EINE wissenschaftliche Untersuchung gar nichts aussagt

November 29, 2011

In vielen Untersuchungen, insbesondere psychologischen, hat sich die Gewohnheit eingeschlichen mit einem Signifikanzniveau von 5% bei Untersuchungen zu hantieren. Das bedeutet, die Wahrscheinlichkeit, dass die Untersuchung fälschlicherweise eine Hypothese (also das was ich untersuche) bestätigt, ist bei 5%.

Eigentlich ja gar keine dumme Idee… ab irgendeinem Wert muss ich ja annehmen, dass da was ist und 5% klingt nicht gerade viel. Trotzdem führt dies zu einer Reihe an Problemen. Denn wenn ich nur genügend Untersuchungen durchführe wird schon irgendwas signifikant werden. Eine sehr schöne Illustration dazu:

http://www.xkcd.com/882/ (Danke Kilian)

Da in den meisten Papern ja nur interessante Ergebnisse veröffentlicht werden, führt dies dazu, dass sobald etwas ein paar mal signifikant wurde veröffentlicht wird. Nachdem das ein paar mal veröffentlicht wurde, ist es langweilig und dann werden irgendwann die Dinge veröffentlicht, die NICHT signifikant werden. Dann wird meistens nach sogenannten Moderatoren gesucht(also Unterschieden in den Untersuchungen, die die Unterschiede im Ergebnis Erklären können wie z.B. das Geschlecht der Untersuchten). Tja und für die Öffentlichkeit wundert sich.

Ihre Lösung besteht darin nicht das Signifikanzniveau sondern Effektstärken zu betrachten und nicht nur einzelne Untersuchungen sondern eben Meta-Analysen über viele Studien. Auch da gibt es wieder viele weitere Probleme aber auf die gehe ich irgendwann mal separat ein. Den Artikel Meta-Analysis von Schmidt und Hunter 2001 hab ich leider nirgends im Netz gefunden, aber hier ein anderes Paper, was diesen Punkt auch sehr gut illustriert:

http://conium.org/~maccoun/PP279_Hunter.pdf

P.S.: Das Thema war Teil meines Studiums. Danke an Prof. Marcus dafür!

Advertisements
Schreibe einen Kommentar

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: