Skip to content

Link des Tages 145: Die Reproduzierbarkeitsdebatte

Zunächst mal kurz das Problem skizziert: Wissenschaft insb. die Sozialwissenschaft lebt von der Reproduzierbarkeit von Studien. Jede Forschung bringt unvermeidliche Verzerrungen der Ergebnisse mit sich. Wirklich Erkenntnisse kann man nur gewinnen, wenn die Ergebnisse von unabhängigen Forschungsgruppen bestätigt werden. Ansonsten ist da Risiko groß, dass man in Wirklichkeit nur eine Störgröße gemessen hat. Als bekanntes Beispiel sei der Versuchsleiter-Erwartungs-Effekt genannt.

Leider gibt es zahlreiche Studien die nicht wirklich reproduziert werden. Ein Grund dafür ist es, dass in den klassischen Journalen Replikationen (Also Studien, die versuchen ein Ergebnis zu reproduzieren) eher schlechte Chancen zur Veröffentlichung haben. Das ist der wesentliche Teil des sogenannten Publication-Bias.

Im vergangenen Jahr gab es eine größere Debatte, da eine Forschungsgruppe zahlreiche Studien nicht reproduzieren konnte. Hier ein paar Artikel dazu:

Neu ist die Diskussion indes nicht. Auch vorher wurde gerade in der Psychologie schon viel über das Problem diskutiert. z.B. hier in der Zeit.

In den letzten Tagen ist das Thema scheinbar wieder einmal etwas neu aufgelodert. Interessanterweise von beiden Seiten. Zum einen wird darüber berichtet, dass bei den Untersuchungen von damals statistisch nicht sauber gearbeitet wurde. So z.B. hier:

Auf der anderen Seite gibt es aber gerade auch einen Bericht über eine ettliche male replizierte Studie, die scheinbar massive Schwächen aufweist:

Tja. Alles furchtbar?! – Vielleicht. Ich denke die Debatte deutet auf ein erhebliches Problem hin. An vielen Stellen (insb. in den Sozialwissenschaften wozu ich auch die Wirtschafts“wissenschaften“ zählen würde) funktioniert Forschung nicht so gut, wie sie eigentlich gedacht ist. Durch zahlreiche Fehlincentive-Setzungen dauert es oft viel länger als nötig bis die Wissenschaft lernt oder besser falsches Wissen verlernt. Die Gesamttendenz dürfte in den meisten Bereichen immernoch positiv sein (d.h. man lernt durch die Forschung mehr richtiges als falsches), aber der Anteil an falsch gelerntem ist eindeutig zu hoch.

Was kann man tun? Ich bin bisher zu diesen Schlüssen gekommen:

  • Veröffentlichung von Replikationen erleichtern
  • Forschung an Replikationen explizit fördern
  • Pre-Registrierung von Studien (damit unpassende Ergebnisse nicht einfach verschwinden können)
  • Open Access (je mehr Leute drüber schauen, desto mehr Leute haben die Chancen Schwächen und Fehler im Design und der Durchführung erkennen
  • In der Kommunikation wesentlichen vorsichtiger sein, was man als gesicherte Erkenntnis vermittelt.

Und hat noch jemand weitere/bessere Vorschläge?

So und zum Abschluss noch ein sehr schönen Artikel der Probleme der Wissenschaft darstellt, aber eben auch zeigt, warum sie funktionieren kann (und vor allem cool daran: Mann kann fleissig P-Hacken;-)):

https://fivethirtyeight.com/features/science-isnt-broken/#part4

Link des Tages 144: Mind Bending Images

Ich mag ja sehr Kunstformen die mit den Schwächen unserer visuellen Wahrnehmung hantieren.

Hier eine Artikel mit einigen schönen Sachen (auch wenn vermutlich etwas Clickbaiting):

http://diply.com/sciencep/article/mind-bending-images-break-brain/5

Ich glaub früher hatte ich auch schonmal Links zu Streetart wie z.B. dem hier:

http://www.theguardian.com/artanddesign/2012/feb/01/3d-street-art

Selbst Minecraft haben die optischen Illusionen schon erreicht:

 

Link des Tages 143: Sci-Hub

Ich bin ja ein großer Freund von offener Wissenschaft. Viele wissenschaftliche Erkenntnisse werden (zurecht) von staatlich geförderten Projekten erzeugt. Auch nicht nur deswegen müssen die Ergebnisse der Wissenschaft einfach und ungefiltert für jeden Interessierten zur Verfügung stehen. Sonst wird es zu einem Elite-Wissen, das nur durch Gatekeeper und (mal bessere, mal schlechtere) Wissenschaftsjournalisten zur Verfügung steht. – Leider muss ich oft feststellen, dass selbst von an sonsten eher vertrauenswürdigen Quellen hier oft schlampig gearbeitet wird. Sei es, dass nur ein Teil berichtet wird, das für das Verständnis wichtige Informationen weggelassen wurden oder das einzelne Wörter weggelassen oder verändert wurden, so dass sich eine u.U. komplett andere Konotation ergibt.

Inzwischen gibt es zahlreiche Alternativen wie z.B. PLOSone . Man hat also als Wissenschaftler eine Wahl. (Mehr Journale findet man z.B. hier https://doaj.org/). Für mich ist das sehr wichtig, da es mich einiges an Mühen kostet über ein Uninetz (vielleicht) an die Quellen der Artikel von Elsevier und Co. ran zu kommen. Wenn es mehr Leute wie mich gibt, dann ist der Impact Factor (also etwas verkürzt der Effekt den ein wissenschaftliches Paper hat, gemessen in Form von entsprechenden Zitationen) eigentlich etwas falsch, da die Open Access Journale mittelfristig eine deutlich höhere Rezeption auserhalb der Wissenschaft erhalten dürften (wenn man von einigen Glamour-Journalen wie Nature absieht).

Worauf will ich hinaus? – Die wissenschaftliche Methode entwickelt sich weiter. An dieser Stelle hat sie das meines Erachtens auch schon. Open Access veröffentlichung (mindestens als Zweitveröffentlichung) ist inzwischen state of the art. Es gibt zwar noch zahlreiche Wissenschaftler, die diesen Schritt noch nicht gegangen sind, aber ich hoffe sie sterben Stück für Stück aus. Andernfalls würde ich ernsthaft an dem Konzept der konstanten Weiterentwicklung der Wissenschaft zweifeln (Publication Bias und co. lassen Grüßen)

Tja, jetzt gibt es mit sci-hub.io eine Webseite die dieses Problem löst. Sie sorgt für Zugriff auf die Dokumente via Link bzw. DOI. (Test von meiner Seite her geben ein gemischtes Ergebnis. Teilweise funktioniert es ganz gut, aber nicht für alle Sachen). Mehr dazu auch noch hier in einem Artikel darüber:

http://bigthink.com/neurobonkers/a-pirate-bay-for-science

Link des Tages 142: Korrelationen

Tja, meine Frequenz lässt zu wünschen übrig. Aber die heutige Seite möchte ich euch nicht vorenthalten. Es handelt sich um ein Spiel um das Thema „Korrelation“ besser zu verstehen:

http://guessthecorrelation.com/

Und um zu verstehen, dass Korrelation und Kausalität nicht das gleiche sind, bietet sich die folgende Webseite an:

http://www.tylervigen.com/spurious-correlations

viel Spass mit:-)

 

Bericht von der Skepkon 2015 in Frankfurt

So, sie ist vorbei die Skepkon 2015 in Frankfurt. Hier meine persönliche Zusammenfassung und Wertung der Vorträge:
Ich bin da ja mal eher skeptisch

Ich bin da ja mal eher skeptisch

 

Weiterlesen …

Link des Tages 141: Festival of Bad Ad Hoc Hypotheses

Heute gibt es mal wieder einen eher videolastigen Link. Was passiert, wenn man versucht völlig absurde Theorien mit scheinbar wissenschaftlichen Methoden zu untersuchen. Oder anders gesagt: Man beobachtet (erfindet) ein Phänomän und erklärt es auf Basis von bestehenden wissenschaftlichen Theorien, Allgemeinwissen und klitzeklein wenig methodischem Bullshit. Das Ergebnis ist einfach genial. Macht unheimlich viel Spass anzuschauen und auch, das ganze selbst nachzumachen. Und man traininiert zu überlegen, wo eigentlich der Fehler dabei ist:

Für diejenigen meiner Leser, die lieber lesen als schauen kann ich nur zwei Seiten anbieten, die in eine ähnliche Richtung stossen (und ich glaube schon mal hier hatte):

Viel Spass damit. Ich arbeite dann mal an den Belegen der Theorie weiter, dass Wasser ein Gedächtnis hat. Ein besonders guter Beweis dafür ist ja, dass Menschen, die ähnliche Getränke trinken auch zu ähnliche Einstellungen und Erfahrungen kommen. Ich verweise hierzu nur mal auf Club Mate in der Nerd-Kultur oder Yogi-Tee in der grün-alternativen Bewegung😉 – Na gut, ist erst ein Anfang, aber hat Potential;-)

Buchreview 16: Lob der Kritik

Als Restposten in einem Berliner Trödel-Buchladen ist mir dieses Buch zugelaufen. Die Farbe: Magenta mit rosa Rahmen. Kein Augenschmaus, aber einfach zu finden im Bücherschrank. Der Inhalt hat es dafür in sich: Die ersten Kapitel sind ein Einblick in die philosophische und zugleich gesellschaftliche Entwicklung. Die Entstehung der Demokratie und das kritischen Denkens wird aufgezeigt und verknüpft. Von Locke, Spinoza, Hume, Diderot über Kant, Hegel, Bentham bis hin zu Edison, Spielberg, Heilbrunn und Judith Buddler findet sich alles was irgendwann, irgendwie zur Entwicklung beigetragen hat in dem Buch wieder. Obwohl es angenehm geschrieben ist, und ich einige Vorkenntnisse dazu hatte, war es nicht leicht diese Dichte an Information angemessen verarbeiten zu können. Ein paar Beispiele:

„Hegel konnte allerdings nicht zu der Marxschen Lösung für die Mängel des Kapitalismus gelangen, da er an den Anerkennungswillen des Individuums als Quelle der Freiheit glaubte“ „Denn wer immer solche toleranten Ansichten zulässt, wird am Ende auch Ansichten zulassen, die nicht so tolerant sind.“ „Jede Form von Macht artikuliere sich in Handlung und Sprache, schrieb Foucault, und sie brauche zu ihrer Abstützung eine bestimmte Wissensstruktur.“ „Lernen ist der Prozess, durch den man Mitglied einer bestimmten Gemeinschaft wird“ „In dem Bestreben, die Idee des rationalen Bürgers hochzuhalten, isolierten und versteckten die Zivilbehörden all jene, deren Irrationalität sie als Bedrohung empfanden und deren Unberechenbarkeit die hart erkämpfte Rationalität der sozialen Landschaft störte“

Weiterlesen …

Link des Tages 140: Zaubertricks verraten?!

Am Freitag hatte ich einen hervorragenden Workshop mit Hundini über „Mentalmagie“. Im wesentlichen haben wir dabei eine Reihe an Tricks gelernt, die vorwiegend auf psychologischen Mechanismen basieren. Es ist nicht verwunderlich, dass zahlreiche Skeptiker auch Zauberer oder zumindest zauberbegeistert sind. Denn bei wenige anderen Dingen kann man so schnell und nachhaltig verstehen, wie leicht unsere Psyche zu manipulieren ist. Die Faszination daran ist, dass es oftmals verblüffend einfach ist. Man muss nur die Aufmerksamkeit von etwas weg lenken und das tut man, indem man sie zu etwas anderem hin lenkt. Ein wunderschönes Beispiel ist im folgenden TED Vortrag zu sehen (wichtig: in einem Durchschauen ohne Unterbrechungen!):

Doch kommen wir zum eigentlichen Titel des Beitrags: Ist es akzeptabel Zaubertricks zu verraten? – Die normale Zauberethik verbietet dies ja meines Wissens. Trotzdem ist es in Zeiten von Youtube, bei der jeder um die Aufmerksamkeit buhlt keine Kunst mehr, zahlreiche Zaubertricks online zu finden. Und um Betrüger – die so tun als sei es wirklich Magie – zu entlarven ist es mit Sicherheit angebracht, wie man ja am Beispiel von James Randi gut sehen kann.

Auch schon ein paar Jahre her, aber deswegen nicht weniger aktuell ist dagegen der Masked Magician. Er hat sehr viele klassische Tricks veröffentlicht. Wenn man ein paar Tage Zeit hat, kann man sich die ganzen Folgen auch im Netz anschauen:

Weiterlesen …

Buchreview 15: Muss man wissen – Ein Interview mit Dr. Axel Stoll

Ich habe sie alle gelesen. Jede einzelne Fussnote. Und es waren viele. 181 genaugenommen. Das ist auch das besondere an dem Buch. Der Rest wäre ein nettes Interview für einen Blogartikel oder einen Podcast, aber mehr eigentlich nicht. Doch durch die Fussnoten bekommen die Aussagen einen Kontext.

Der inzwischen verstorbene Dr. Axel Stoll – so muss man wissen – war einer der bekanntesten Rechts-Esoteriker in Deutschland. Auf Youtube findet man viele Videos von ihm. Das Buch ist ein Beitrag um die Denkweisen eines solchen Menschen besser verstehen zu können ohne sie jedoch einfach nur wiederzugeben. Stattdessen wird jede zweifelhafte Aussage von ihm durch eine Fussnote mit Informationen und Verweisen ergänzt.

Ich fand das Buch anstrengend zu lesen. Ich fand es spannend und lehrreich. Aber nochmal möchte ich es nicht lesen. Man könnte es natürlich auch ohne die Fussnoten lesen. Oder diese nur ab und zu mal lesen. Aber irgendwie hätte ich das Gefühl, dass was fehlt.

Ingesamt ist es eines der zu wenigen Bücher, die sich mit dem Thema Rechtsesotherik auseinandersetzen. Dies tun sie, indem sie eine Person dieser Szene zu Wort kommen lassen. Für jemand den das Thema interessiert ein sehr lohnenswertes Buch, aber nicht gerade die gemütliche Lektüre zum Vorlesen auf der Familienfeier.

Titel: Muss man wissen – Ein Interview mit Dr. Axel Stoll

Autor: S. Bartoschek, A. Waschkau, A. Waschkau

Verlag: jmb-Verlag, 2014

ISBN: 978-3-944342-29-0

Link des Tages 139: „What we’d done in Iraq had been fairly useless“

Ich bin ja immer wieder dabei die Medien zu kritisieren. Das Problem dabei ist, dass die Wirkmechanismen bei uns – mit wenigen Ausnahmen – keine offene Zensur, keine direkte Einflussnahme etc. sind, sondern unterschwelliger laufen. Das folgende Interview erklärt die Zusammenhänge sehr treffend anhand des Irak-Kriegs:

Die wichtigsten Punkte aus meiner Sicht, die in dem Artikel stecken (ggf. leicht ergänzt oder verändert):

  • Es gibt einen Neutralitäts-Bias: das was in einer Gesellschaft als normal erachtet wird, wird bevorzugt berichtet. (Stichwort: Major Consensus Narrative). Abweichende (als extrem angesehene) Dinge, werden nicht berichtet oder durch eine Gegenposition relativiert. Die Wahrheit liegt aber nicht immer in der Mitte.
  • Unbequeme Aussagen haben eine höhere Hürde: Aussagen die dem entsprechen, was berichtet werden soll – also dem ohnehin geteilten Weltbild – werden praktisch ohne Prüfung der Fakten akzeptiert. Berichte von abweichenden Themen dagegen, müssen unverhältnismäßig hohe Hürden übersteigen um berichtet zu werden
  • Fehler haben ungleiche Konsequenzen: Wird etwas im gewünschten Sinne (i.d.R. also im Sinne der offiziellen Deutungshoheit) falsch berichtet und es stellt sich hinterher als falsch heraus, ist das für die Karriere des Journalisten i.d.R. nicht schlimm. Ein kleiner Fehler bei unerwünschter Berichterstattung kann die Karriere kosten. Durch diesen Mechanismus etablieren sich eher konforme Berichterstatter.
  • Es gibt einen Kultur-Bias: Journalisten kommen aus einer bestimmten Kultur und haben daher eine gewisse Weltsicht. (z.B.: „Der Westen sind die Guten“). Aus dieser Sicht wird auch aus anderen Ländern berichtet ohne sich (ausreichend) mit der dortigen Weltsicht auseinanderzusetzen. Das es je nach Axiomensystem (=Grundannahmen) unterschiedliche Wahrheiten geben kann, geht dabei unter.
  • Informationen ohne Kontext: Es werden oft informationen berichtet, ohne diese in einen Kontext zu stellen. Ein Rezipient, der den Kontext nicht kennt, kann diese nicht einordnen und ist daher ggf. emotional betroffen ohne aber weitere Schlüsse ziehen zu können und wendet sich vom Thema ab. Der Kontext wird dann jedoch oftmals von Regierungssprechern etc. geliefert, aber gezielt auf eine bestimmte Reaktion hin.

Ich denke gerne über Systeme in Bezug auf „Fitness“ nach. D.h. die Systeme die in Bezug auf die entscheidenden Punkte eine höhere Fitness haben, setzen sich durch. Wenn wir also Journalisten haben wollen, die möglichst nahe an der Wahrheit berichten, müssen wir die Incentives (=Anreize) anders setzen (was schwierig ist und eine eigene Diskussion wert wäre) und über diese informellen Filter-Mechanismen informieren.

Folgen

Erhalte jeden neuen Beitrag in deinen Posteingang.