„Wherever there is judgement, there is noise – and more of it than you think.“
Vor einiger Zeit griff ich eine Tweet-Folge von Axel Krommer auf, der „obwohl erneut zum wiederholten Male absolut niemand danach gefragt hat“ seine aktuelle Literaturempfehlungen getweetet hatte und fragte – mit Blick auf die Sommerferien, was denn Axel Krommer so aktuell lese.
Die Antwort auf meinen Tweet kam natürlich prompt:
Aus dieser Liste habe ich mich dann nach kurzer Recherche für „Noise. A Flaw in Human Judgement“ von Kahnemann, Sibony und Sunstein entschieden. Die drei Autoren sind Professoren aller höchsten Renommees und mit höchsten Ehren bereits bedacht. Der Gegenstand „Noise“ an sich ist kein Thema von großer Aktualität. Sie selbst beziehen sich u.a. auf eine Studie mit 22 Ärzten, die jeweils die gleichen 13 Angiogramme zweimal im Abstand von mehreren Monaten untersuchten und zwischen 63 Prozent und 92 Prozent mit sich selbst nicht übereinstimmten, führen dies aber weiter „Drawing on the latest findings in psychology and behavioral economics, and the same kind of diligent, insightful research that made Thinking, Fast and Slow and Nudge groundbreaking New York Times bestsellers, Noise explains how and why humans are so susceptible to noise in judgment — and what we can do about it.“ Einen ersten Einblick kann man im folgenden Video, einer kleinen Buchbesprechung, erhalten.
Worum geht es im Kern – zumindest so, wie ich es verstanden habe? Täglich sind Entscheidungen zu treffen. Im vorliegenden Buch vor allem mit Bezug auf Richter und das Versicherungswesen, aber diese Entscheidungen – das wird ebenfalls im Buch deutlich – beziehen sich auf alle Bereiche. Beruflich, wie auch privat. Das unsere Entscheidungen und Urteile nicht immer objektiv sind, sondern immer einer gewissen Subjektivität unterworfen sind, zeigt sich schon allein darin, dass es immer größere Bemühungen und Bestrebungen, Methoden und Möglichkeiten gibt so genannte „Bias“ auszuschließen. Beziehen wir uns rein auf die Übersetzung, so schlägt PONS u.a. diese Übersetzungen vor:
Kahnemann, Sibony und Sunstein geht es allerdings nicht um diese Subjektivität und auch nicht darum, wie Bias beispielsweise in der Psychologie, Wirtschaft oder Soziologie verstanden wird. Es geht ihnen um mehr, um „NOISE“. Um die Tatsache, dass selbst wenn alle „Bias“ ausgeschlossen werden, es dennoch zu nicht unerheblichen Abweichungen in den Urteilen/Entscheidungen kommen noch. Kurz: die Persönlichkeit, der Geschmack, aber auch Dinge, wie das Wetter oder das Abschneiden des Lieblingsvereins am zurückliegenden Wochenende. „Überall, wo Urteile getroffen werden, gibt es Noise, und zwar mehr, als man denkt.“ Und diese Fehler sind in sich nicht konsistent, machen es also nahezu unmöglich diese vorherzusagen oder zu erforschen. Diese Entscheidungen sind insofern relevant, weil diese sich „anreichern“. „In noisy systems, errors do not cancel out. They add up“ (S. 29).
Wie äußert sich NOISE konkret?
Bereits eingangs bin ich auf die Urteile von Richtern eingegangen, sie sich teils extrem voneinander unterscheiden. Weiter geht es um Versicherungen, deren Mitarbeiter bei identischen Fällen um bis zu 55% abweichen. Die Vermutung der Vorstände um wie viel Prozent abgewichen wird, lag bei 10-15%. Ähnliches Bild auch bei Banken, die bei Betrachtung von Objekten hinsichtlich der Kreditvergabe um bis zu 45% voneinander abwichen. Ich habe mir erlaubt diese Gedanken weiterzuspinnen und habe im #twitterlehrerzimmer gefragt, inwiefern man davon ausgeht, dass die Schülerleistungen – abhängig vom Bewerter – abweichen.
Es fällt auf, dass auch hier eine Mehrheit eine Abweichung bei 10-25% sieht, wobei 73 Abstimmungen zugegebenermaßen nicht repräsentativ sind. Da es – sowohl bei den Versicherungen wie auch den Kreditabteilungen – klare Kriterien und Vorlagen gibt, liegt die Vermutung nahe, dass sich NOISE auch auf die Schule übertragen lässt. Dies alles schließt nicht aus, dies bestätigen auch die Autoren, dass es Menschen gibt, die ihre Arbeit sehr gut machen. Noise existiert aber und dies vor allem, wenn Intuition eine Rolle spielt. Warum ich jetzt gerade an mündliche Noten denken muss…?
Wie kann man NOISE begegnen?
Die Autoren schlagen „Noise-Audits“ vor. Ein zu fällendes Urteil wird von mehreren Fachpersonen – unabhängig voneinander – abgegeben. Außerdem sollen Prozessbeschreibungen die Qualität von „Urteilen“ verbessern. Die Idee dahinter ist eine Art menschlicher Algorithmus. Nach der Diskussion über die unterschiedlichen Urteile werden Regeln aufgestellt, an die man sich bei weiteren Entscheidungen hält. Dadurch entstehen bzw. gibt es bereits Normen und Richtlinien. Die Autoren verweisen aber auch darauf, dass es dann, wenn es um die Berücksichtigung und Verarbeitung von großen Datenmengen geht, ein Algorithmus notwendig sei, wenngleich auch dieser voreingenommen sein kann.
Noise in der Schule?
Mehr als einmal musste ich beim Lesen des Buches an die Schule und die meist vorherrschende Noten- und Prüfungskultur denken. Wie oft treffen wir möglicherweise noisy-Urteile? Wie oft summieren sich diese zum Nachteil der Lernenden? Ja, Kahnemann bezieht sich auf Unternehmen und Versicherungen. Das Auftreten von Noise bei Richtern und Ärzten lässt aber vermuten, dass ein Transfer auf die Schule nicht abwegig ist. Von daher wäre es vielleicht ein guter Schritt anzuerkennen, dass Noise ein Problem ist. In einem zweiten Schritt sollte man dann versuchen es zu messen, um daraus dann ein Noise-audit abzuleiten. Für mich bleibt ein verfestigter Eindruck, dass die Prüfungskultur, die wir bisher haben durch dieses Buch noch ungerechter geworden ist.
Literaturverzeichnis
- Daniel Kahneman. (2021, 30. August). https://scholar.princeton.edu/kahneman/home
- Noise: A Flaw in Human Judgment by Daniel Kahneman. (2021, 30. August). https://www.goodreads.com/book/show/55339408-noise
- Jakobs, H. (15. Mai 2021). „Noise“: Daniel Kahneman über zufällige Faktoren und Urteilsfindung. Handelsblatt. https://www.handelsblatt.com/arts_und_style/literatur/problemfeld-noise-wie-zufaellige-faktoren-unsere-urteilsfindung-negativ-beeinflussen/27188896.html?ticket=ST-1822652-O9SkPacUEdiWmx1lNe9Z-ap2
- Olivier Sibony. (2021, 23. Juni). About Olivier | Olivier Sibony. https://oliviersibony.com/about/
- School, H. L. (2021, 30. August). Cass R. Sunstein | Harvard Law School. https://hls.harvard.edu/faculty/directory/10871/Sunstein
- Streitbörger, W. (5. November 2020). Der Psychologe Daniel Kahneman – Warum wir uns oft falsch entscheiden. SWR2. https://www.swr.de/swr2/wissen/der-psychologe-daniel-kahneman-warum-wir-uns-oft-falsch-entscheiden-swr2-wissen-2020-11-05-100.html
- Vikas Shah MBE DL (8. Juni 2021). Noise and the Flaws in Human Judgement – A Conversation with Daniel Kahneman & Cass R Sunstein. Thought Economics. https://thoughteconomics.com/noise/
Steffen bloggt 