Scheinverständnis

Physik

Definition｜ Ursprüngliches Konzept von 2002｜ Der ursprüngliche Test｜ Testablauf｜ Testergebnisse｜ Variationen｜ Andere Domänen｜ Naturphänomene｜ Fakten, Abläufe, Filme｜ Zwischenbefund｜ Erklärungsversuche｜ a) Trügerische Bilder｜ b) Verwischte Ebenen｜ c) Kulturuelle Zuschreibungen｜ d) Erklärungsfreier Alltag｜ Fazit der Studie von 2002｜ Fußnoten

Definition

Ebbe und Flut werden in vielen Kinderbüchern, Atlanten und Museen „erklärt“. Ich bezweifle, dass auch nur ein Promille der Menschen in Deutschland das Phänomen hätten vorhersagen können, wenn Sie nicht irgendwoher wüssten, dass es es gibt. Als Scheinverständnis, auf Englisch als Illusion of explanatory depth^[1], kurz IOED, bezeichnet man das täuschende Gefühl von Verständnis. IDazu passende deutsche Worte sind auch Pseuoderklärung^[2] oder unterkomplexe Lösung^[2]. Ich halte eine weit verbreite und an Schulen tradierte Kultur von Scheinverständnissen für einen möglichen Grund für die Unbeliebtheit von Physik als Fach in der Oberstufe.

Ursprüngliches Konzept von 2002

Der Begriff einer Illusion erklärerischer Tiefe (illusion of explanatory depth) wurde im Jahr 2002 in die akademische Psychologie eingeführt. Seitdem ist das Konzept fest in der Forschung etabliert, etwa im Bezug zur KI^[12], zur Entwicklungspsychologie von Kindern^[13], bei psychischen Erkrankungen^[14], für Gegenstände des Alltags^[15], dem Dunning-Kruger-Effekt^[16], der sozialen Stellwert von Wissen^[17], dem gesunden Menschenverstand^[18], politischem Extremismus^[19], Verschwörungstheorien^[20] und der visuellen Wahrnehmung^[21]. In diesem Artikel hier wird zunächst die ursprüngliche Veröffentlichtung von 2002 kurz vorgestellt.

In der ursprünglichen Veröffentlichung von 2002 wird das Phänomen gewürzt und passend bzeichnet mit Begriffen wie volkstümliche Theorie (folk theory)^[1], Laientheorie (lay theory)^[1], Allerweltstheorie (everyday theory), gefühltem Wissen (feelings of knowing, FOK), skelettartigen Kausalerkärungen (skeletal but effective causal interpretations) oder intuitiver Theorie (intuitive theory)^[1]. Schon jüngere Kinder würden mit solchen Theorien versuchen, Ordnung in das Chaos (blooming buzzing confusion) der Welt zu bringen.^[3] Laien, anders als etwa Wissenschaftler, hätten jedoch selten einen Anlass, ihre Gedanken schriftlich und zusammenhängend formulieren zu müssen. Damit entgeht ihnen aber auch die Möglichkeit, die Lücken und Fehler in ihrem Denken zu erkennen:

ZITAT:

"Anders als manche Wissenschaftler, bleibt Laien die Unvollständigkeit ihrer Theorien meist verborgen. Laien haben selten einen Anlass für Zweifel an ihren naiven Intuitionen. Sie glauben, die Welt in der sie leben, recht gut erklären zu können."^[4]

Ein Grund für die Selbstüberschätzung (overconfidence) sehen die Autoren in der Hierarchie von Erklärungsmöglichkeiten (higher with lower levels of analysis). Als Beispiel nennen sie ein Fahrzeug. Man kann die Funktion einer Bremse als Modul verstanden haben. Aber der innere Aufbau der Bremse muss dabei nicht erkärt werden. Geht man jedoch in der Hierarchie Richtung Details, muss man plötzlich auch die Bremse selbst erklären. Die Illusion von Verständnis tritt auf, wenn man eine Schwarze Kiste (stable subassembly) als in ihrer Funktion für das Ganze (Bremse für ein Fahrzeug) verstanden hat, und dann auch glaubt, alles verstanden zu haben.

In der Studie von 2002 ging es um intuitive Theorien kausal komplexer Phänomene (intuitive theories about causally complex phenomena).

Umgekehrt könnte ein scheinbares Verständnis von Unterteilen (subassemblies) schnell dazu verleiten, das Gesamtsystem zu verstehen. Das trete vor allem dann auf, das Untersystem mit leichten Denkbildern zu erfassen sei (perceptually vivid mechanisms which may trigger a sense of understanding at higher levels). Die Autoren geben hier kein Beispiel. Aus der Physik könnte man aber die Idee von Wasserwellen als Grundbaustein der Erklärung elektromagnetischer Wellen anführen. Man glaubt schnell, die Grundidee von Wasserwellen verstanden zu haben. Doch wie weit kommt man damit bei der Erklärung einer Materiewelle am Doppelspalt?

Dass die Selbstüberschätzung vielen nicht auffalle liegt auch daran, dass wir selten genötigt sind, vollständige Erklärungen geben zu müssen (we rarely give explanations). Oft genügt das Erzählen einer Geschichte von Ereignissen (tell narratives of events) oder die Ausführung von Handlungsabfolgen (perform procedures). Vor allem der letzte Punkt macht hellhörig im Bezug auf Herbert Marcuses Befund vom eindimensionalen Menschen.^[5]

Die Autoren interessierten sich vor allem für die Illusion von Tiefenverständnis (deep understanding). Um dem Phänomen auf die Spur zu kommen wählten sie eine interessante Testmethode. Sie verglichen nicht etwa das Verständnis einer Person mit einer vorgegebenen Norm (was jede Prüfung an Schulen und Universitäten macht). Stattdessen frugen sie die Probanden vor und nach dem Test nach ihrer Selbsteinschätzung. Wo die Probanden dann etwa nach einer misslungen Verschriftlichung ihrer Erklärungen verwundet zugaben, es doch nicht so gut verstanden zu haben, konnten die Autoren dann ein Scheinverständnis diagnostizieren.

Der ursprüngliche Test

Die Autoren der Veröffentlichung von 2002 wählten zunächste 8 Themen aus Erklärtexten des Jahres 1996^[6] aus. Die Sachverhalte konnten ohne Vorwissen verstanden werden. Hier sind die 8 Themen:

Tachometer (speedometer)

Reißverschluss (zipper)

Klaviertasten (piano key)

Toilettenspülung (flush toilet)

Zylinderschloss (cylinder lock)

Hubschrauber (helicopter)

Quartzuhr (quartz watch)

Nähmaschine (sewing machine)

Testablauf

Die Probanden waren 16 Studenten der Yale University aus den USA. Zunächst wurde an zwei Beispielen (Pfeil und Bogen, Positionsbestimmung über Satelliten) gezeigt, wie die Test an sich funktionieren. Die Probanden bekamen dazu erklärende Diagramme und einen Erlärtext gezeigt. Sie sollten dann auf einer Skala von 1 (kein Verständnis) bis 7 (sehr gutes Verständnis) angeben, wie gut sie das Phänomen oder das Gerät (device) verstanden haben. Nachdem sie dieses Punktestystem kennen gelernt hatten, wurden ihnen insgesamt 48 Themen gezeigt, für die sie einzeln den Grad ihres Verständnisses angeben sollten. Es wurden ihnen nicht gesagt, dass sie das Phänomen später selbst erklären sollten. Für die 48 Themen dauerte die Selbsteinschätzung etwa 10 Minuten. Die 8 Themen von oben waren in der Liste von 48 Themen mit enthalten. Dann sollten die Probanden zu vier aus den acht Themen der Liste oben eine eigene schriftliche Erklärung verfassen. Anschließend sollten sie erneut ihr Verständnis auf der 7-Punkte-Skala einschätzen. Dann wurden ihnen Verständnisfragen zu den vier Themen gestellt. Beim Hubschrauber zum Beispiel sollten sie Schritt-für-Schritt erklären, wie er vom Schwebeflug (stehend) in den Vorwärtsflug übergeht. Und wieder sollten sie danach ihr Verständnis angeben. Zum Ende bekamen sie zu ihren vier Themen Diagramme und Texte von Experten zu lesen^[6]. Nach dem Lesen der Expertentexte wurde sie gefragt, wie gut sie das Phänomen vor und wie gut sie das Phänomen nach dem Lesen verstanden hatten. Insgesamt mussten die Probanden im Zuge ihrer Bearbeitung eines Themas also zu jedem Thema 5 mal ihr Verständnis angeben.

Testergebnisse

Mit jeder der ersten vier von fünf Selbsteinschätzung verloren die Probanden deutlich an Selbstvertrauen. Wenn sie also die Phänomene selbst erklären oder Fragen dazu beantworten sollten, ging das Verständnis zurück. Nachdem sie aber am Ende den Expertentext gelesen hatten, stieg das Verständnis nach eigener Einschätzung deutlich an, über den Wert vom Anfang, und zwar sehr deutlich.

ZITAT:

"Bemühungen die verschiedenen Phänomene zu erklären führten zu einer Abnahme des selbst eingschätzten Verständnisses."^[7]

ZITAT:

"Die Probanden deuteten an, dass ihr Verständnis nach dem Lesen von Experten-Texten drastisch anstieg."^[8]

In einer Abschlussbesprechnung (debriefing) äußerten viele (many) Probanden eine ehrliche Überraschung und neue Demut (genuine surprise and new humility). Einige wenige Probanden glaubten aber, sie hätten mit anderen Fragen deutlich besser abgeschnitten (“if only” they had received the other item-set).

Variationen

Die Studien wurden später noch auf verschiedene Weisen varriert. Sie wurden zum Beispiel mit jüngeren Studenten, Studenten weniger elitärer Universitäten wiederholt. In einer weiteren Variante wurde den Probanden ganz am Anfang schon warnend angekündigt, dass sie später Fragen zu den Themen beantworten sollten. Im letzten Fall war der Effekt des Verlusts an Selbstvertrauen zwar etwas schwächer, aber in allen Fällen konnte er sicher festgestellt werden.

Andere Domänen

Der Test wurde bisher nur mit Geräten durchgeführt, deren Funktionen zu erklären war. Hier führte der Zwang zum Verfassen von Erklärungen zu einem deutlichen Einbruch der Selbsteinschätzung. Doch könnten die Ergebnisse mit anderen Wissensgebieten oder Erklärobjekten anders sein?

Naturphänomene

Die Autoren führten den Test mit Wissen über Naturphänomene durch. Hier wurden keine Fakten oder Abläufe abgefragt. Wie beim Test mit den Geräten oben, sollten kausale Erklärungen gegeben werden. Beispielhafte Themen waren:

Wie entstehen Erdbeben?

Warum haben Kometen einen Schweif?

Wie entstehen die Gezeiten?

Wie entstehen Regenbögen?

Die Ergebnisse waren mehr oder minder dieselben wie bei den Geräten: die Probanden korrigierten ihr anfänglich hohes Selbstvertrauen in dem Maße, wie sie die Dinge wirklich erklären mussten.

Fakten, Abläufe, Filme

Stabile Selbsteinschätzung

Die Autoren führten den oben beschriebenen Test dann mit einem Test von Wissen über Fakten, Abläufe und die Handlung von Filmen (movies) durch. Fakten waren etwa die Hauptstädte von Ländern. Abläufe waren etwa ein Backrezept, eine Fahrt von New Haven nach New York oder das Binden einer Krawatte. Bei diesen Tests mussten keine Erkärungen von kausalen Beziehungen gegeben werden. Hier zeigte sich kein so deutlicher Abfall in der Selbstbewertung bei den Testaufgaben. Im Debriefing, dem Gespräch nach der Testreihen, äußerten die meisten Probanden, dass sie sich von Anfang an richtig eingeschätzt hätten (they knew as much as they expected to know).

Zwischenbefund

Wie stark das Selbstvertrauen etwas verstanden bei einem harten Test mittels schriftlicher Erklärung und Testfragen zurück geht, hängt stark von der Beschaffenheit des Wissensgebietes (Domäne) ab.

ZITAT:

"Die Studien mit Geräten und Naturphänomenen zeigten beide einen starken Abfall in der Selbstbewertung. Abläufe und Erzählungen zeigten keinen solchen Abfall, Fakten zur Geographie einen nur kleinen Abfall."^[10]

ZITAT:

"Wir glauben, dass diese Unterschiede [...] davon herrühren, wie unterschiedliche Arten von Wissen in unserem Kopf abgebildet sind."^[11]

Man kann also nicht von einer allgemeinen Selbstüberschätzung (general overconfidence) der Probanden ausgehen. Vielmehr scheint es so zu sein, dass den kausal komplexe Dinge wie Geräte oder Naturphänomene etwas anhaftet, das zu einer Selbstüberschätzung verleitet. Was könnte das sein? Dieser Frage gingen die Autoren in ihrem Versuch einer Erklärung nach.

Erklärungsversuche

Die Autoren fragen sich nun, was die anfängliche Selbstüberschätzung erklären könnte. Sie haben vier Ansätze einer Erklärung: a) man hat trügerisch einfache Denkbilder im Kopf und b) man verwischt die Grenzen zwischen verschiedenen Ebenen einer Erklärung, c) ein Kausalverständnis ist schwerer zu testen als Abläufe oder Fakten, kulturell geprägte Zuschreibungen ersetzen die Selbstprüfung, und d) es gibt für die meisten Menschen kaum Anlässe zum Erklären von Alltagsphänomen (everyday phenomena).

a) Trügerische Bilder

Sieht man ein Gerät vor sich und erkennt man alle Teile optisch gut, so legen die Form und die Anordnung der Teile oft schon eine Idee ihrer Funktionsweise nahe. So kann ein vorschnelles Gefühl tieferen Verständnisses entstehen, besonders dann, wenn sie als "innerer Film" (mental movie) gedacht werden können.

ZITAT:

"Wenn die Teile eines mechanischen Gerätes leicht vor das innere Auge gestellt und dort auch in bewegter Form gedacht werden können, können sie ein trügerisches Gefühl von ihrer Wirkungsweise erzeugen."^[9]

Ich kann hier eine Episode aus dem eigenen Erleben einfügen. In den 1990er Jahren arbeitete ich in den großen Braunkohletagebauen des rheinischen Reviers. Die Berufsgruppen der "Schlosser" und "Elektriker" bildeten dort zwei sehr unterschiedliche Fachkulturen aus. Ich erlebte Elektriker, vor allem höher ausgebildete wie Elektroningenieure, als sehr vorsichtig in ihrer Selbsteinschätzung. Kam es etwa zu einer automatischen Selbstabschaltung eines großen Elektromotors an einer Gurtförderanlage, waren sie sehr zurückhaltend in der Formulierung von Theorie über die Ursache. Anders die Schlosser und die ihnen verwandten Mechaniker und Maschinenbauingenieure. Sie erzeugten sehr schnell recht selbstbewusst vertretene Theorien. Ich erinnere mich sehr gut, dass dieses Phänomen auch von Mitarbeitern des Tagebaus genau so wahrgenommen wurde. Ein verbreitetes Erklärungsmuster war, dass Schlosser und ihnen verwandte "mechanisch denkende Menschen" - anders als Elektriker - immer in Bauteilen denken, deren Funktion "man sieht". Diese episodische Erinnerung aus meinem Berufsleben passt sehr gut auf den Erklärungsansatz der Studie von 2002.

b) Verwischte Ebenen

Weiß man, dass ein Getriebe in einem Antrieb die Drehomente verändert, dann kann das zu der Illusion führen, dass man auch weiß, wie es das tut. Oder die bloße Kenntnis von Namen der Bauteile eines Computers wie CPU, RAM oder Festplatte kann zu der Annahme verleiten, auch etwas über ihre Kausalbeziehungen (causal relationships) zu wissen. Die Autoren sagen voraus (predict), dass die Kenntnis der Namen von Komponenten eines Gerätes (device) zu einer vorschnellen Gefühl von Verständnis (illusion of understanding) führt. Ich möchte hier einfügen, wie verbreitet es im naturwissenschaftlichen Schulunterricht war oder noch ist, etwa die Bestandteile einer Skizze eines Auges zu beschriften oder die Teile im Aufbau eines physikalischen Versuches. Den Autoren der Studie zufolge könnte alleine diese Art von Unterrichtsmaterial zu einem trügerischen Gefühl von Verständnis führen.

c) Kulturuelle Zuschreibungen

Es ist sehr viel schwieriger, so die Studie von 2002, sein eigenes Verständnis von kausalen Beziehungen zu testen also etwa die Kenntnis einer Prozedur (Schritt 1, Schritt 2, Schritt 3) oder auch von bloßen Fakten. Will man sein eigenes kausales Verständnis testen, kommt man oft nicht um den aufwändigen Versuch einer schriftlichen Erklärung herum. Als Ersatz für diesen dann vielleicht oft nicht gemachten Selbsttest könnten dann vielleicht kulturell geprägte Vorstellungen davon treten, wie viel Verständnis jemand über ein Thema haben könnte.

d) Erklärungsfreier Alltag

Zuletzt nennen die Autoren als eine mögliche Erklärung für die verbreitete Selbstüberschätzung, dass man im normalen Alltag kaum einen Anlass hat, komplexe Dinge kausal zu erklären (under normal conditions most of us rarely give explicit explanations conforming to our intuitive theories of everyday phenomena). Und damit fehle uns auch die Möglichkeit, uns selbst zu kontrollieren.

Fazit der Studie von 2002

Die Autoren der Studie von 2002^[1] nennen als den womöglich wichtigsten Faktor zur Erklärung eines vorschnellen Gefühls von Verständnis trügerische innere Filme (mental movies), bildhafte, leicht gedanklich animierbare Modelle. Zum Schluss ihrer Veröffentlichung erkennen sie an, dass es unmöglich ist, die kausalen Beziehungen der Welt um uns (the world around us) erschöpfend zu verstehen (fully graps, exhaustively explain). Wir lernen deshalb, mit spärlicheren (sparser) Repräsentationen auszukommen. Sie gehen über bloße Assoziationen hinaus, erdrücken uns aber nicht mit denkerischer Masse (overwhelming, cognitive load). Um nun auf dem Weg des Verständnisses an der Stelle zur Ruhe kommen zu können, wo es für praktische Zwecke ausreichen (settle for what is enough) gibt es die Illusion des vorschnelen Verständisses. Es stoppt (terminates) eine ansonsten endlose(inexhaustible) Suche nach immer tieferen (ever-deeper) Verständnis dadurch, dass es unsere Trieb (drive) hin zu mehr Wissen befriedigt (satiates), wenn man ein skelettartiges Gerüst (skeletal leven) von kausalem Verständnis erreicht hat.

Fußnoten

[1] Rozenblit, Leonid; Keil, Frank (2002). "The misunderstood limits of folk science: an illusion of explanatory depth". Cognitive Science. 26 (5). Wiley: 521–562. doi:10.1207/s15516709cog2605_1. ISSN 0364-0213. Online: https://pmc.ncbi.nlm.nih.gov/articles/PMC3062901/

[2] Von "Pseudoerklärungen", "falscher Sicherheit", der "Illusion, schon genug kapiert zu haben", "unterkomplexen Lösungen" spricht der Wissenschaftsjournalist Heiko Ernst. Als Medikation schlägt er die "abkühlende Wirkung" der "Desillusionierung" als "sokratische Methode" vor. Bewährt habe sich, dass man Personen bittet, etwas schriftlich ausführlich zu erklären. Das Ergebnis sei oft, dass die Probanden ihre Selbsteinschätzung deutlich korrigierten. In: Heiko Ernst: Leiden auch Sie unter IOED? 17. Dezember 2017. Online: https://www.spektrum.de/kolumne/leiden-auch-sie-unter-ioed/1525515

[3] Gelman SA, Koenig MA. Theory-based categorization in early childhood. In: Rakison DH, Oakes LM, editors. Early category and concept development: Making sense of the blooming buzzing confusion. New York: Oxford University Press; 2002.

[4] "laypeople, unlike some scientists, usually remain unaware of the incompleteness of their theories [...] laypeople rarely have cause to doubt their naïve intuitions. They believe that they can explain the world they live in fairly well. " In: Rozenblit, Leonid; Keil, Frank (2002). "The misunderstood limits of folk science: an illusion of explanatory depth". Cognitive Science. 26 (5). Wiley: 521–562. doi:10.1207/s15516709cog2605_1. ISSN 0364-0213. PMC 3062901. PMID 21442007.

[5] In Marcuses Konzept vom Eindimensionalen Menschen ersetzt unsere moderne Produktionskultur das Verständnis von Konzepten und Begriffen zunehmend durch bloße Handlungen. Ein Psychiater weicht der Erkärung was eine Schizoide Persönlichkeitsstörung sein könnte aus, indem er einen fest reglementierten Test durchführt. Am Ende des Tests steht eine lapidare Diagnose mit einem Ja oder Nein. Siehe mehr dazu unter 👉 Der eindimensionale Mensch [Buch]

[6] David McCauley: The Way Things Work 2.0. CD-ROM. Kindersley, 1996.

[7] "Attempts to explain the various phenomena led to a decrease in self-rated understanding." In: Rozenblit, Leonid; Keil, Frank (2002). "The misunderstood limits of folk science: an illusion of explanatory depth". Cognitive Science. 26 (5). Wiley: 521–562. doi:10.1207/s15516709cog2605_1. ISSN 0364-0213.

[8] "Participants indicated that their knowledge increased dramatically as a result of reading the expert explanations." In: Rozenblit, Leonid; Keil, Frank (2002). "The misunderstood limits of folk science: an illusion of explanatory depth". Cognitive Science. 26 (5). Wiley: 521–562. doi:10.1207/s15516709cog2605_1. ISSN 0364-0213.

[9] "if components of a mechanical device are easy to visualize and mentally animate, they may cause a false sense of knowing the details of how the components interact." In: Rozenblit, Leonid; Keil, Frank (2002). "The misunderstood limits of folk science: an illusion of explanatory depth". Cognitive Science. 26 (5). Wiley: 521–562. doi:10.1207/s15516709cog2605_1. ISSN 0364-0213.

[10] "studies with devices and natural phenomena both show large drops in knowledge estimates. Procedures and Narratives show no drop, while Geography Facts show only a small drop." In: Rozenblit, Leonid; Keil, Frank (2002). "The misunderstood limits of folk science: an illusion of explanatory depth". Cognitive Science. 26 (5). Wiley: 521–562. doi:10.1207/s15516709cog2605_1. ISSN 0364-0213.

[11] "We argue that these differences are systematic and result from the structural properties of how different types of knowledge are represented in the mind." In: Rozenblit, Leonid; Keil, Frank (2002). "The misunderstood limits of folk science: an illusion of explanatory depth". Cognitive Science. 26 (5). Wiley: 521–562. doi:10.1207/s15516709cog2605_1. ISSN 0364-0213.

[12] Chromik, Michael; Eiband, Malin; Buchner, Felicitas; Krüger, Adrian; Butz, Andreas (13 April 2021). "I Think I Get Your Point, AI! The Illusion of Explanatory Depth in Explainable AI". 26th International Conference on Intelligent User Interfaces. New York, NY, USA: ACM. pp. 307–317. doi:10.1145/3397481.3450644. ISBN 9781450380171.

[13] Mills, Candice M; Keil, Frank C (2004). "Knowing the limits of one's understanding: The development of an awareness of an illusion of explanatory depth". Journal of Experimental Child Psychology. 87 (1). Elsevier BV: 1–32. doi:10.1016/j.jecp.2003.09.003. ISSN 0022-0965. PMID 14698687.

[14] Zeveney, Marsh, Andrew, Jessacae (2016). "The Illusion of Explanatory Depth in a Misunderstood Field: The IOED in Mental Disorders" (PDF). Cognitive Science Society: 1020.[permanent dead link]

[15] Lawson, Rebecca (2006). "The science of cycology: Failures to understand how everyday objects work". Memory & Cognition. 34 (8). Springer Science and Business Media LLC: 1667–1675. doi:10.3758/bf03195929. ISSN 0090-502X. PMID 17489293. S2CID 4998257.

[16] McIntosh, Robert D.; Fowler, Elizabeth A.; Lyu, Tianjiao; Della Sala, Sergio (November 2019). "Wise up: Clarifying the role of metacognition in the Dunning-Kruger effect". Journal of Experimental Psychology. General. 148 (11): 1882–1897. doi:10.1037/xge0000579. hdl:20.500.11820/b5c09c5f-d2f2-4f46-b533-9e826ab85585. ISSN 1939-2222. PMID 30802096. S2CID 73460013.

[17] Gaviria, Christian; Corredor, Javier (23 June 2021). "Illusion of explanatory depth and social desirability of historical knowledge". Metacognition and Learning. 16 (3). Springer Science and Business Media LLC: 801–832. doi:10.1007/s11409-021-09267-7. ISSN 1556-1623. S2CID 237878736.

[18] Stafford, Tom (February 2007). "Isn't it all just obvious?". The Psychologist. Retrieved 28 January 2022.

[19] Fernbach, Philip M.; Rogers, Todd; Fox, Craig R.; Sloman, Steven A. (25 April 2013). "Political Extremism Is Supported by an Illusion of Understanding". Psychological Science. 24 (6). SAGE Publications: 939–946. doi:10.1177/0956797612464058. ISSN 0956-7976. PMID 23620547. S2CID 6173291.

[20] Vitriol, Joseph A.; Marsh, Jessecae K. (15 June 2018). "The illusion of explanatory depth and endorsement of conspiracy beliefs". European Journal of Social Psychology. 48 (7). Wiley: 955–969. doi:10.1002/ejsp.2504. ISSN 0046-2772. S2CID 149811872.

[21] Levin, Daniel T.; Momen, Nausheen; Drivdahl, Sarah B.; Simons, Daniel J. (January 2000). "Change Blindness Blindness: The Metacognitive Error of Overestimating Change-detection Ability". Visual Cognition. 7 (1–3): 397–412. doi:10.1080/135062800394865. ISSN 1350-6285. S2CID 14623812.