Wenn die Produktionsbedingungen im Journalismus v.a. die Auswahl der Themen beeinflussen, zu denen wir Denkwerkzeuge angeboten bekommen, so haben die Produktionsbedingungen in der Forschung vor allem einen Einfluss auf die Brauchbarkeit der angebotenen Produkte[1].
1 Unreflektierte Ziele
Wie schon erwähnt, reflektieren die meisten Wissenschaftler:innen die Ziele nicht, zu deren Zweck sie ihre Denkwerkzeuge entwickeln. Die typische Haltung in der Wissenschaft ist, dass es um die Ergründung der „Wahrheit“ geht, auch wenn den meisten Wissenschaftler:innen bewusst sein dürfte, dass dies nicht möglich ist und dass ihre jeweilige „Wahrheit“ höchstens eine vorübergehende „Wahrheit“ ist.
Um herauszufinden, ob die von der Wissenschaft entwickelten Denkwerkzeuge für die eigenen Zwecke nützlich sind, braucht es daher oft ein wenig Detektivarbeit. Wie das Fallbeispiel Beim Lernen von Mathematik sind abstrakte Beispiele nützlicher als konkrete zeigt, kann man sich dabei nur bedingt darauf abstützen, was Wissenschaftler:innen sagen oder schreiben. Aussagekräftiger ist es nachzusehen, was sie tun bzw. getan haben. [2] Im Beispiel mit den Mathematikaufgaben musste ich zu diesem Zweck auf die Suche nach den Aufgaben gehen, die die Versuchspersonen zu lösen hatten.
Die Arbeit Forschender beurteilt man besser danach, was sie tun, als danach, was sie sagen.
2009 erschien die sogenannte Hattie-Studie[3]. John Hattie hatte sich die Mühe gemacht, eine riesige Menge von Untersuchungen zur Frage: „Welche Art von Schulunterricht ist am wirksamsten?“ zusammenzutragen und daraus Schlussfolgerungen zu ziehen. Die Studie wirbelte einigen Staub auf und unter Pädagog:innen wurde heftig diskutiert, ob nun dank dieser Zusammenfassung geklärt sei, wie man am wirksamsten unterrichtet.
Hattie selbst schrieb in einer methodischen Anmerkung (meine Übersetzung): „Natürlich könnte man behaupten, dass 800 Metaanalysen basierend auf vielen Millionen beobachteten Schüler[:inne]n der Gipfel der ‚Fakten basierten‘ [engl. evidence based] Entscheidungsfindung sei. Aber die aktuelle Versessenheit auf ‚Fakten basiert‘ ignoriert viel zu häufig die Brille, durch die Forschende entscheiden, was sie (als Fakten) mit einschliessen, was sie ausschliessen und wie sie diese Fakten organisieren, um ihre Geschichte zu erzählen. Es ist die Geschichte, die hier der zentrale Beitrag sein soll – es ist die Sicht durch meine Brille auf die Fakten.“[4] Dass es Hattie um eine Geschichte geht, betont er auch an verschiedenen anderen Stellen.
Hattie selbst ist sich also bewusst, dass er nicht die Wahrheit bieten kann, und sagt das auch. Er versucht nur – so seine eigenen Worte –, eine Geschichte zu erzählen, welche die Resultate der Untersuchungen möglichst überzeugend zusammenfasst. Er tut das unter anderem, weil er hofft, Lehrpersonen so ein nützlicheres Werkzeug in die Hand zu geben, als es eine alleinige Auflistung von Fakten sein könnte.[5]
In der deutschen Ausgabe[6] wurde dann aber Geschichte (story im Original) an verschiedenen Stellen völlig unzutreffend mit Theorie übersetzt. Und im Vorwort der Herausgeber heisst es sogar, Hattie hätte eine „evidenzbasierte Theorie“ produziert! Eine Theorie aber ist etwas Absolutes, nicht ein Blick durch eine Brille. Eine Theorie hat den Anspruch, wahr oder falsch zu sein.
D.h. sogar wenn ein Forscher selbst einen pragmatischen Zugang wählt und eine, nach seiner Meinung nützliche, Geschichte erzählt, besteht die Gefahr, dass er vom Wissenschaftsbetrieb nicht gehört und seine Bemühungen unter dem nebligen Ziel der Wahrheitssuche eingeordnet werden.
2 Entscheidungsgrundlagen, nicht Entscheide
Mit einem technischen Interesse erarbeitete Denkwerkzeuge machen Angaben, was wir tun müssen, um ein bestimmtes Ziel zu erreichen. Sie sagen aber nichts darüber aus, ob es sinnvoll oder wünschenswert ist, dieses Ziel anzustreben. Wenn das Theater der belagerten Stadt in Schutt und Asche geschossen werden soll, dann sagt die klassische Mechanik, wie die Kanone auszurichten ist. Ob wir das Theater wirklich zerstören wollen/sollen, dazu hat die Mechanik nichts zu sagen.
Dasselbe gilt für die Klimakrise. Wenn wir wollen, dass der Meeresspiegel nicht steigt, bis ganz Bangladesch oder ganz New York unter Wasser sind, wenn wir nicht wollen, dass ganze Gebiete austrocknen, die bisher bestens für den Getreideanbau geeignet waren, etc., dann sagen uns die Klimamodelle, dass wir das erreichen können, wenn wir unseren CO? Ausstoss drastisch reduzieren. Aber ob wir New York und Bangladesch wirklich vor dem Untergang bewahren wollen, ist eine andere Frage. Dazu haben die Klimamodelle nichts zu sagen. Genauso wie die Klimamodelle nicht sagen können, ob die CO?-Reduktion wirklich der einzig mögliche Weg ist, diese Ziele zu erreichen.
Wissenschaftliche Denkwerkzeuge können uns sagen, was wir tun könnten, wenn wir bestimmte Ziele verfolgen. Sie können aber keine Aussagen darüber machen, ob wir diese Ziele verfolgen sollen, und meist auch nicht, ob wir sie nur unter Einsatz genau dieser Denkwerkzeuge erreichen können.
Soll gehandelt werden, können Forschende daher ehrlicherweise nur zwei Dinge anbieten: a) Eine Liste möglicher Ziele, zu deren Erreichung Werkzeuge vorhanden sind, und b) geeignete Werkzeuge, um ein ausgewähltes Ziel zu erreichen.[7]
3 Publiziere oder verschwinde
Wie im Journalismus ist eines der zentralen Ziele Forschender, Aufmerksamkeit zu erregen. Auch wenn es ihnen nicht allen darum geht, berühmt zu werden, so müssen doch die meisten für ihr Leben aufkommen und sind darauf angewiesen, dass jemand sie für ihre Arbeit bezahlt. Zu diesem Zweck müssen sie die Aufmerksamkeit möglicher Geldgeber wie staatlicher Institutionen, privater Unternehmen oder Sponsoren gewinnen. Im Rahmen des Wissenschaftsbetriebs erreichen sie das, indem sie Artikel publizieren, möglichst viele Artikel.
Verschiedene Institutionen publizieren einflussreiche Ranglisten, bei denen Forschende auf den ersten Plätzen landen, die möglichst viel in möglichst angesehenen Journalen publizieren. Publizierbar sind aber praktisch nur Erfolge, also Untersuchungen, die funktioniert haben und die auch ein Resultat erbracht haben. Daher stehen Forschende unter einem ständigen Druck, möglichst sensationelle Resultate zu publizieren. Je sensationeller ein Resultat, umso grösser ist zudem die Chance, dass Journalist:innen darauf aufmerksam werden und so auch in anderen Medien als den Fachjournalen darüber berichtet wird. Das hebt weiter das Ansehen und erhöht die Chance darauf, an Geld zu gelangen. Macht man hier nicht mit, verschwindet man ganz schnell von der Bildfläche. Auf Englisch wird dieser Zwang kurz mit „publish or perish“ zusammengefasst.
Durch diesen Druck wird jedes noch so vorläufige Resultat mit viel Aufwand beworben. Dabei ist ganz klar, dass man aus dem einmaligen erfolgreichen Einsatz eines neuen Denkwerkzeugs nicht viel ableiten kann. Der Erfolg könnte reiner Zufall gewesen sein oder sich nur genau in der Situation einstellen, die untersucht wurde. Ob ein wirklich brauchbares Werkzeug vorliegt, zeigt sich erst, wenn es mehrfach und von unterschiedlichen Personen eingesetzt wurde – man nennt das: wenn die Untersuchung repliziert wurde. Nur, Replikationen sind wenig originell, tragen kaum zum Ansehen derer bei, die sie machen, und finden daher selten statt.
Es gibt einzelne Studien, in denen systematisch versucht wurde, grössere Mengen von Resultaten zu replizieren. Die Resultate sind ernüchternd. In einer Studie im Pharma-Bereich, durchgeführt von Bayer Pharmaceuticals, wurden 67 publizierte Resultate untersucht, 53 davon, also knapp 4/5, konnten nicht repliziert werden.[8] Andere ähnliche Studien kamen zum Schluss, dass von medizinischen Laboruntersuchungen mehr als die Hälfte auch nicht ein einziges Mal, geschweige denn mehrmals, repliziert werden konnten. Naomi Oreskes fasst entsprechend zusammen (meine Übersetzung): „In der Wissenschaft sollten wir gegenüber jedem einzelnen Artikel skeptisch sein. Wissenschaftliche Entdeckung ist ein Prozess, nicht ein Event.“ [9]
Für uns als mögliche Abnehmer von durch die Forschung entwickelten Denkwerkzeugen heisst das:
Berichte über wissenschaftliche Denkwerkzeuge, die bisher erst einmal erfolgreich eingesetzt wurden, können für uns Hinweise auf mögliche neue Entwicklungen sein. Ob es sich um brauchbare Werkzeuge handelt, zeigt sich aber erst, wenn sich diese Werkzeuge auf breiter Basis bewährt haben.
Wenn wir, wie ich hier vorschlage, nach nützlichen Denkwerkzeugen und nicht nach wahren Theorien oder Fakten suchen, sollte diese Empfehlung nicht überraschen. Selbstverständlich wissen wir erst, ob ein Werkzeug wirklich nützlich ist, wenn es sich an verschiedenen Orten und in den Händen verschiedener Personen bewährt hat. Also abwarten, wenn wieder einmal eine Entdeckung Schlagzeilen macht.
Weiter lesen >> Wissenschaftler:innen
[1] Oreskes, N. (2019). Why Trust Science? Princeton: Princeton University Press.
[2] Oreskes (2019), S. 48
[3] Hattie, J. (2009). Visible Learning. London: Routledge.
[4] Hattie, J. (2009). Visible Learning. London: Routledge, S. 282
[5] Herzog, W. (2014). Weshalb uns Hattie eine Geschichte erzählt. ZISU – Zeitschrift für interpretative Schul- und Unterrichtsforschung, 3, 130–143.
[6] Hattie, J. (2013). Lernen sichtbar machen: Baltmannsweiler.
[7] Pielke, R. A. (2007). The Honest Broker. Making Sense of Science in Policy and Politics. Cambridge: Cambridge University Press.
[8] Oreskes (2019), S. 206
[9] Oreskes (2019), S. 233