Biases: An Introduction

De Racionalidade
Ir para: navegação, pesquisa

Original

It’s not a secret. For some reason, though, it rarely comes up in conversation, and few people are asking what we should do about it. It’s a pattern, hidden unseen behind all our triumphs and failures, unseen behind our eyes. What is it?

Imagine reaching into an urn that contains seventy white balls and thirty red ones, and plucking out ten mystery balls. Perhaps three of the ten balls will be red, and you’ll correctly guess how many red balls total were in the urn. Or perhaps you’ll happen to grab four red balls, or some other number. Then you’ll probably get the total number wrong.

This random error is the cost of incomplete knowledge, and as errors go, it’s not so bad. Your estimates won’t be incorrect on average, and the more you learn, the smaller your error will tend to be.

On the other hand, suppose that the white balls are heavier, and sink to the bottom of the urn. Then your sample may be unrepresentative in a consistent direction.

That sort of error is called “statistical bias.” When your method of learning about the world is biased, learning more may not help. Acquiring more data can even consistently worsen a biased prediction.

If you’re used to holding knowledge and inquiry in high esteem, this is a scary prospect. If we want to be sure that learning more will help us, rather than making us worse off than we were before, we need to discover and correct for biases in our data.

The idea of cognitive bias in psychology works in an analogous way. A cognitive bias is a systematic error in how we think, as opposed to a random error or one that’s merely caused by our ignorance. Whereas statistical bias skews a sample so that it less closely resembles a larger population, cognitive biases skew our beliefs so that they less accurately represent the facts, and they skew our decision-making so that it less reliably achieves our goals.

Maybe you have an optimism bias, and you find out that the red balls can be used to treat a rare tropical disease besetting your brother. You may then overestimate how many red balls the urn contains because you wish the balls were mostly red. Here, your sample isn’t what’s biased. You’re what’s biased.

Now that we’re talking about biased people, however, we have to be careful. Usually, when we call individuals or groups “biased,” we do it to chastise them for being unfair or partial. Cognitive bias is a different beast altogether. Cognitive biases are a basic part of how humans in general think, not the sort of defect we could blame on a terrible upbringing or a rotten personality.1

A cognitive bias is a systematic way that your innate patterns of thought fall short of truth (or some other attainable goal, such as happiness). Like statistical biases, cognitive biases can distort our view of reality, they can’t always be fixed by just gathering more data, and their effects can add up over time. But when the miscalibrated measuring instrument you’re trying to fix is you, debiasing is a unique challenge.

Still, this is an obvious place to start. For if you can’t trust your brain, how can you trust anything else?

It would be useful to have a name for this project of overcoming cognitive bias, and of overcoming all species of error where our minds can come to undermine themselves.

We could call this project whatever we’d like. For the moment, though, I suppose “rationality” is as good a name as any.

Rational Feelings

In a Hollywood movie, being “rational” usually means that you’re a stern, hyperintellectual stoic. Think Spock from Star Trek, who “rationally” suppresses his emotions, “rationally” refuses to rely on intuitions or impulses, and is easily dumbfounded and outmaneuvered upon encountering an erratic or “irrational” opponent.2

There’s a completely different notion of “rationality” studied by mathematicians, psychologists, and social scientists. Roughly, it’s the idea of doing the best you can with what you’ve got. A rational person, no matter how out of their depth they are, forms the best beliefs they can with the evidence they’ve got. A rational person, no matter how terrible a situation they’re stuck in, makes the best choices they can to improve their odds of success.

Real-world rationality isn’t about ignoring your emotions and intuitions. For a human, rationality often means becoming more self-aware about your feelings, so you can factor them into your decisions.

Rationality can even be about knowing when not to overthink things. When selecting a poster to put on their wall, or predicting the outcome of a basketball game, experimental subjects have been found to perform worse if they carefully analyzed their reasons.3,4 There are some problems where conscious deliberation serves us better, and others where snap judgments serve us better.

Psychologists who work on dual process theories distinguish the brain’s “System 1” processes (fast, implicit, associative, automatic cognition) from its “System 2” processes (slow, explicit, intellectual, controlled cognition).5 The stereotype is for rationalists to rely entirely on System 2, disregarding their feelings and impulses. Looking past the stereotype, someone who is actually being rational—actually achieving their goals, actually mitigating the harm from their cognitive biases—would rely heavily on System-1 habits and intuitions where they’re reliable.

Unfortunately, System 1 on its own seems to be a terrible guide to “when should I trust System 1?” Our untrained intuitions don’t tell us when we ought to stop relying on them. Being biased and being unbiased feel the same.6

On the other hand, as behavioral economist Dan Ariely notes: we’re predictably irrational. We screw up in the same ways, again and again, systematically.

If we can’t use our gut to figure out when we’re succumbing to a cognitive bias, we may still be able to use the sciences of mind.

The Many Faces of Bias

To solve problems, our brains have evolved to employ cognitive heuristics—rough shortcuts that get the right answer often, but not all the time. Cognitive biases arise when the corners cut by these heuristics result in a relatively consistent and discrete mistake.

The representativeness heuristic, for example, is our tendency to assess phenomena by how representative they seem of various categories. This can lead to biases like the conjunction fallacy. Tversky and Kahneman found that experimental subjects considered it less likely that a strong tennis player would “lose the first set” than that he would “lose the first set but win the match.”7 Making a comeback seems more typical of a strong player, so we overestimate the probability of this complicated-but-sensible-sounding narrative compared to the probability of a strictly simpler scenario.

The representativeness heuristic can also contribute to base rate neglect, where we ground our judgments in how intuitively “normal” a combination of attributes is, neglecting how common each attribute is in the population at large.8 Is it more likely that Steve is a shy librarian, or that he’s a shy salesperson? Most people answer this kind of question by thinking about whether “shy” matches their stereotypes of those professions. They fail to take into consideration how much more common salespeople are than librarians—seventy-five times as common, in the United States.9

Other examples of biases include duration neglect (evaluating experiences without regard to how long they lasted), the sunk cost fallacy (feeling committed to things you’ve spent resources on in the past, when you should be cutting your losses and moving on), and confirmation bias (giving more weight to evidence that confirms what we already believe).10,11

Knowing about a bias, however, is rarely enough to protect you from it. In a study of bias blindness, experimental subjects predicted that if they learned a painting was the work of a famous artist, they’d have a harder time neutrally assessing the quality of the painting. And, indeed, subjects who were told a painting’s author and were asked to evaluate its quality exhibited the very bias they had predicted, relative to a control group. When asked afterward, however, the very same subjects claimed that their assessments of the paintings had been objective and unaffected by the bias—in all groups!12,13

We’re especially loathe to think of our views as inaccurate compared to the views of others. Even when we correctly identify others’ biases, we have a special bias blind spot when it comes to our own flaws.14 We fail to detect any “biased-feeling thoughts” when we introspect, and so draw the conclusion that we must just be more objective than everyone else.15

Studying biases can in fact make you more vulnerable to overconfidence and confirmation bias, as you come to see the influence of cognitive biases all around you—in everyone but yourself. And the bias blind spot, unlike many biases, is especially severe among people who are especially intelligent, thoughtful, and open-minded.16,17

This is cause for concern.

Still . . . it does seem like we should be able to do better. It’s known that we can reduce base rate neglect by thinking of probabilities as frequencies of objects or events. We can minimize duration neglect by directing more attention to duration and depicting it graphically.18 People vary in how strongly they exhibit different biases, so there should be a host of yet-unknown ways to influence how biased we are.

If we want to improve, however, it’s not enough for us to pore over lists of cognitive biases. The approach to debiasing in Rationality: From AI to Zombies is to communicate a systematic understanding of why good reasoning works, and of how the brain falls short of it. To the extent this volume does its job, its approach can be compared to the one described in Serfas, who notes that “years of financially related work experience” didn’t affect people’s susceptibility to the sunk cost bias, whereas “the number of accounting courses attended” did help.

As a consequence, it might be necessary to distinguish between experience and expertise, with expertise meaning “the development of a schematic principle that involves conceptual understanding of the problem,” which in turn enables the decision maker to recognize particular biases. However, using expertise as countermeasure requires more than just being familiar with the situational content or being an expert in a particular domain. It requires that one fully understand the underlying rationale of the respective bias, is able to spot it in the particular setting, and also has the appropriate tools at hand to counteract the bias.19

The goal of this book is to lay the groundwork for creating rationality “expertise.” That means acquiring a deep understanding of the structure of a very general problem: human bias, self-deception, and the thousand paths by which sophisticated thought can defeat itself.

A Word About This Text

Rationality: From AI to Zombies began its life as a series of essays by Eliezer Yudkowsky, published between 2006 and 2009 on the economics blog Overcoming Bias and its spin-off community blog Less Wrong. I’ve worked with Yudkowsky for the last year at the Machine Intelligence Research Institute (MIRI), a nonprofit he founded in 2000 to study the theoretical requirements for smarter-than-human artificial intelligence (AI).

Reading his blog posts got me interested in his work. He impressed me with his ability to concisely communicate insights it had taken me years of studying analytic philosophy to internalize. In seeking to reconcile science’s anarchic and skeptical spirit with a rigorous and systematic approach to inquiry, Yudkowsky tries not just to refute but to understand the many false steps and blind alleys bad philosophy (and bad lack-of-philosophy) can produce. My hope in helping organize these essays into a book is to make it easier to dive in to them, and easier to appreciate them as a coherent whole.

The resultant rationality primer is frequently personal and irreverent—drawing, for example, from Yudkowsky’s experiences with his Orthodox Jewish mother (a psychiatrist) and father (a physicist), and from conversations on chat rooms and mailing lists. Readers who are familiar with Yudkowsky from Harry Potter and the Methods of Rationality, his science-oriented take-off of J.K. Rowling’s Harry Potter books, will recognize the same irreverent iconoclasm, and many of the same core concepts.

Stylistically, the essays in this book run the gamut from “lively textbook” to “compendium of thoughtful vignettes” to “riotous manifesto,” and the content is correspondingly varied. Rationality: From AI to Zombies collects hundreds of Yudkowsky’s blog posts into twenty-six “sequences,” chapter-like series of thematically linked posts. The sequences in turn are grouped into six books, covering the following topics:

Book 1—Map and Territory. What is a belief, and what makes some beliefs work better than others? These four sequences explain the Bayesian notions of rationality, belief, and evidence. A running theme: the things we call “explanations” or “theories” may not always function like maps for navigating the world. As a result, we risk mixing up our mental maps with the other objects in our toolbox.

Book 2—How to Actually Change Your Mind. This truth thing seems pretty handy. Why, then, do we keep jumping to conclusions, digging our heels in, and recapitulating the same mistakes? Why are we so bad at acquiring accurate beliefs, and how can we do better? These seven sequences discuss motivated reasoning and confirmation bias, with a special focus on hard-to-spot species of self-deception and the trap of “using arguments as soldiers.”

Book 3—The Machine in the Ghost. Why haven’t we evolved to be more rational? Even taking into account resource constraints, it seems like we could be getting a lot more epistemic bang for our evidential buck. To get a realistic picture of how and why our minds execute their biological functions, we need to crack open the hood and see how evolution works, and how our brains work, with more precision. These three sequences illustrate how even philosophers and scientists can be led astray when they rely on intuitive, non-technical evolutionary or psychological accounts. By locating our minds within a larger space of goal-directed systems, we can identify some of the peculiarities of human reasoning and appreciate how such systems can “lose their purpose.”

Book 4—Mere Reality. What kind of world do we live in? What is our place in that world? Building on the previous sequences’ examples of how evolutionary and cognitive models work, these six sequences explore the nature of mind and the character of physical law. In addition to applying and generalizing past lessons on scientific mysteries and parsimony, these essays raise new questions about the role science should play in individual rationality.

Book 5—Mere Goodness. What makes something valuable—morally, or aesthetically, or prudentially? These three sequences ask how we can justify, revise, and naturalize our values and desires. The aim will be to find a way to understand our goals without compromising our efforts to actually achieve them. Here the biggest challenge is knowing when to trust your messy, complicated case-by-case impulses about what’s right and wrong, and when to replace them with simple exceptionless principles.

Book 6—Becoming Stronger. How can individuals and communities put all this into practice? These three sequences begin with an autobiographical account of Yudkowsky’s own biggest philosophical blunders, with advice on how he thinks others might do better. The book closes with recommendations for developing evidence-based applied rationality curricula, and for forming groups and institutions to support interested students, educators, researchers, and friends.

The sequences are also supplemented with “interludes,” essays taken from Yudkowsky’s personal website, http://www.yudkowsky.net. These tie in to the sequences in various ways; e.g., The Twelve Virtues of Rationality poetically summarizes many of the lessons of Rationality: From AI to Zombies, and is often quoted in other essays.

Clicking the asterisk at the bottom of an essay will take you to the original version of it on Less Wrong (where you can leave comments) or on Yudkowsky’s website. You can also find a glossary for Rationality: From AI to Zombies terminology online, at http://wiki.lesswrong.com/wiki/RAZ_Glossary.

Map and Territory

This, the first book, begins with a sequence on cognitive bias: “Predictably Wrong.” The rest of the book won’t stick to just this topic; bad habits and bad ideas matter, even when they arise from our minds’ contents as opposed to our minds’ structure. Thus evolved and invented errors will both be on display in subsequent sequences, beginning with a discussion in “Fake Beliefs” of ways that one’s expectations can come apart from one’s professed beliefs.

An account of irrationality would also be incomplete if it provided no theory about how rationality works—or if its “theory” only consisted of vague truisms, with no precise explanatory mechanism. The “Noticing Confusion” sequence asks why it’s useful to base one’s behavior on “rational” expectations, and what it feels like to do so.

Mysterious Answers” next asks whether science resolves these problems for us. Scientists base their models on repeatable experiments, not speculation or hearsay. And science has an excellent track record compared to anecdote, religion, and ... pretty much everything else. Do we still need to worry about “fake” beliefs, confirmation bias, hindsight bias, and the like when we’re working with a community of people who want to explain phenomena, not just tell appealing stories?

This is then followed by The Simple Truth, a stand-alone allegory on the nature of knowledge and belief.

It is cognitive bias, however, that provides the clearest and most direct glimpse into the stuff of our psychology, into the shape of our heuristics and the logic of our limitations. It is with bias that we will begin.

There is a passage in the Zhuangzi, a proto-Daoist philosophical text, that says: “The fish trap exists because of the fish; once you’ve gotten the fish, you can forget the trap.”20

I invite you to explore this book in that spirit. Use it like you’d use a fish trap, ever mindful of the purpose you have for it. Carry with you what you can use, so long as it continues to have use; discard the rest. And may your purpose serve you well.

Acknowledgments

I am stupendously grateful to Nate Soares, Elizabeth Tarleton, Paul Crowley, Brienne Strohl, Adam Freese, Helen Toner, and dozens of volunteers for proofreading portions of this book.

Special and sincere thanks to Alex Vermeer, who steered this book to completion, and Tsvi Benson-Tilsen, who combed through the entire book to ensure its readability and consistency.


Footnotes

1. The idea of personal bias, media bias, etc. resembles statistical bias in that it’s an error. Other ways of generalizing the idea of “bias” focus instead on its association with nonrandomness. In machine learning, for example, an inductive bias is just the set of assumptions a learner uses to derive predictions from a data set. Here, the learner is “biased” in the sense that it’s pointed in a specific direction; but since that direction might be truth, it isn’t a bad thing for an agent to have an inductive bias. It’s valuable and necessary. This distinguishes inductive “bias” quite clearly from the other kinds of bias.

2. A sad coincidence: Leonard Nimoy, the actor who played Spock, passed away just a few days before the release of this book. Though we cite his character as a classic example of fake “Hollywood rationality,” we mean no disrespect to Nimoy’s memory.

3. Timothy D. Wilson et al., “Introspecting About Reasons Can Reduce Post-choice Satisfaction,” Personality and Social Psychology Bulletin 19 (1993): 331–331.

4. Jamin Brett Halberstadt and Gary M. Levine, “Effects of Reasons Analysis on the Accuracy of Predicting Basketball Games,” Journal of Applied Social Psychology 29, no. 3 (1999): 517–530.

5. Keith E. Stanovich and Richard F. West, “Individual Differences in Reasoning: Implications for the Rationality Debate?,” Behavioral and Brain Sciences 23, no. 5 (2000): 645–665, [2].

6. Timothy D. Wilson, David B. Centerbar, and Nancy Brekke, “Mental Contamination and the Debiasing Problem,” in Heuristics and Biases: The Psychology of Intuitive Judgment, ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman (Cambridge University Press, 2002).

7. Amos Tversky and Daniel Kahneman, “Extensional Versus Intuitive Reasoning: The Conjunction Fallacy in Probability Judgment,” Psychological Review 90, no. 4 (1983): 293–315, doi:10.1037/0033-295X.90.4.293.

8. Richards J. Heuer, Psychology of Intelligence Analysis (Center for the Study of Intelligence, Central Intelligence Agency, 1999).

9. Wayne Weiten, Psychology: Themes and Variations, Briefer Version, Eighth Edition (Cengage Learning, 2010).

10. Raymond S. Nickerson, “Confirmation Bias: A Ubiquitous Phenomenon in Many Guises,” Review of General Psychology 2, no. 2 (1998): 175.

11. Probability neglect is another cognitive bias. In the months and years following the September 11 attacks, many people chose to drive long distances rather than fly. Hijacking wasn’t likely, but it now felt like it was on the table; the mere possibility of hijacking hugely impacted decisions. By relying on black-and-white reasoning (cars and planes are either “safe” or “unsafe,” full stop), people actually put themselves in much more danger. Where they should have weighed the probability of dying on a cross-country car trip against the probability of dying on a cross-country flight—the former is hundreds of times more likely—they instead relied on their general feeling of worry and anxiety (the affect heuristic). We can see the same pattern of behavior in children who, hearing arguments for and against the safety of seat belts, hop back and forth between thinking seat belts are a completely good idea or a completely bad one, instead of trying to compare the strengths of the pro and con considerations.21

Some more examples of biases are: the peak/end rule (evaluating remembered events based on their most intense moment, and how they ended); anchoring (basing decisions on recently encountered information, even when it’s irrelevant)22 and self-anchoring (using yourself as a model for others’ likely characteristics, without giving enough thought to ways you’re atypical);23 and status quo bias (excessively favoring what’s normal and expected over what’s new and different).24

12. Katherine Hansen et al., “People Claim Objectivity After Knowingly Using Biased Strategies,” Personality and Social Psychology Bulletin 40, no. 6 (2014): 691–699.

13. Similarly, Pronin writes of gender bias blindness:

In one study, participants considered a male and a female candidate for a police-chief job and then assessed whether being “streetwise” or “formally educated” was more important for the job. The result was that participants favored whichever background they were told the male candidate possessed (e.g., if told he was “streetwise,” they viewed that as more important). Participants were completely blind to this gender bias; indeed, the more objective they believed they had been, the more bias they actually showed.25

Even when we know about biases, Pronin notes, we remain “naive realists” about our own beliefs. We reliably fall back into treating our beliefs as distortion-free representations of how things actually are.26

14. In a survey of 76 people waiting in airports, individuals rated themselves much less susceptible to cognitive biases on average than a typical person in the airport. In particular, people think of themselves as unusually unbiased when the bias is socially undesirable or has difficult-to-notice consequences.27 Other studies find that people with personal ties to an issue see those ties as enhancing their insight and objectivity; but when they see other people exhibiting the same ties, they infer that those people are overly attached and biased.

15. Joyce Ehrlinger, Thomas Gilovich, and Lee Ross, “Peering Into the Bias Blind Spot: People’s Assessments of Bias in Themselves and Others,” Personality and Social Psychology Bulletin 31, no. 5 (2005): 680–692.

16. Richard F. West, Russell J. Meserve, and Keith E. Stanovich, “Cognitive Sophistication Does Not Attenuate the Bias Blind Spot,” Journal of Personality and Social Psychology 103, no. 3 (2012): 506.

17. . . Not to be confused with people who think they’re unusually intelligent, thoughtful, etc. because of the illusory superiority bias.

18. Michael J. Liersch and Craig R. M. McKenzie, “Duration Neglect by Numbers and Its Elimination by Graphs,” Organizational Behavior and Human Decision Processes 108, no. 2 (2009): 303–314.

19. Sebastian Serfas, Cognitive Biases in the Capital Investment Context: Theoretical Considerations and Empirical Experiments on Violations of Normative Rationality (Springer, 2010).

20. Zhuangzi and Burton Watson, The Complete Works of Zhuangzi (Columbia University Press, 1968).

21. Cass R. Sunstein, “Probability Neglect: Emotions, Worst Cases, and Law,” Yale Law Journal (2002): 61–107.

22. Dan Ariely, Predictably Irrational: The Hidden Forces That Shape Our Decisions (HarperCollins, 2008).

23. Boaz Keysar and Dale J. Barr, “Self-Anchoring in Conversation: Why Language Users Do Not Do What They ‘Should,’” in Heuristics and Biases: The Psychology of Intuitive Judgment, ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman (New York: Cambridge University Press, 2002), 150–166, doi:10.2277/0521796792.

24. Scott Eidelman and Christian S. Crandall, “Bias in Favor of the Status Quo,” Social and Personality Psychology Compass 6, no. 3 (2012): 270–281.

25. Eric Luis Uhlmann and Geoffrey L. Cohen, “‘I think it, therefore it’s true’: Effects of Self-perceived Objectivity on Hiring Discrimination,” Organizational Behavior and Human Decision Processes 104, no. 2 (2007): 207–223.

26. Emily Pronin, “How We See Ourselves and How We See Others,” Science 320 (2008): 1177–1180, [3].

27. Emily Pronin, Daniel Y. Lin, and Lee Ross, “The Bias Blind Spot: Perceptions of Bias in Self versus Others,” Personality and Social Psychology Bulletin 28, no. 3 (2002): 369–381.

  

Vieses: Uma introdução, por Rob Bensinger

Não é um segredo. Por alguma razão, no entanto, raramente surge nas conversas, e poucas pessoas estão perguntando o que devemos fazer sobre isso. É um padrão, escondido invisível por trás de todos os nossos triunfos e fracassos, invisível por trás dos nossos olhos. O que é?

Imagine colocar seu braço em uma urna que contém setenta bolas brancas e trinta bolas vermelhas, e retirar dez bolas misteriosas. Talvez três das dez bolas sejam vermelhas, e você vai adivinhar corretamente quantas esferas vermelhas, no total, havia na urna. Ou talvez aconteça de você pegar quatro bolas vermelhas, ou algum outro número. Então você provavelmente vai errar o número total.

Este erro aleatório é o preço do conhecimento incompleto, e, para um erro, até que não é tão ruim. Na média, suas estimativas não serão incorretas, e quanto mais você aprender, menor o seu erro tenderá a ser.

Por outro lado, suponhamos que as bolas brancas fossem mais pesadas, e afundassem para o fundo de urna. Então a sua amostra poderia ser pouco representativa em uma direção consistente.

Este tipo de erro é chamado de "viés estatístico". Quando o seu método de aprendizagem do mundo é tendencioso, aprender mais pode não ajudar. Adquirir mais dados podem até mesmo piorar consistentemente uma previsão tendenciosa.

Se você está acostumado a ter em alta estima o conhecimento e a investigação, esta é uma perspectiva assustadora. Se queremos ter certeza de que aprender mais vai nos ajudar, em vez de nos deixar pior do que estávamos antes, precisamos descobrir e corrigir os desvios em nossos dados.

A idéia de viés cognitivo em psicologia funciona de forma análoga. Um viés cognitivo é um erro sistemático na maneira como pensamos, ao contrário de um erro aleatório ou um que é apenas causado por nossa ignorância. Enquanto um viés estatístico distorce uma amostra de modo que ela se aproxime menos estreitamente de uma população maior, vieses cognitivos distorcem nossas crenças, de modo que elas representam os fatos com menor precisão, e distorcem nossa tomada de decisão, fazendo com que ela seja menos confiável em alcançar nossos objetivos.

Talvez você tenha um viés de otimismo, e você descubra que as bolas vermelhas podem ser usadas para tratar uma doença tropical rara que aflige seu irmão. Então, você poderá superestimar o número de bolas vermelhas contidas na urna porque você deseja que a maioria das bolas fossem vermelhas. Aqui, não é a sua amostra que é enviesada. Você é que é enviesado.

Agora que estamos falando de pessoas enviesadas, no entanto, temos de ter cuidado. Normalmente, quando nós chamamos indivíduos ou grupos de "tendenciosos" ou "enviesados", nós fazemos isso para repreendê-los por serem injustos ou parciais. Um viés cognitivo é um bicho completamente diferente. Vieses cognitivos são uma parte fundamental de como os seres humanos pensam em geral, não o tipo de defeito que decorre de uma educação péssima ou uma personalidade ruim [1].

Um viés cognitivo é uma forma sistemática pela qual seus padrões inatos do pensamento ficam aquém da verdade (ou de algum outro objetivo atingível, como a felicidade). Como os vieses estatísticos, os vieses cognitivos podem distorcer nossa visão da realidade, nem sempre podem ser consertados simplesmente recolhendo mais dados, e seus efeitos podem se acumular com o tempo. Mas quando o instrumento de medição descalibrado que você está tentando consertar é você, eliminar o viés é um desafio único.

Ainda assim, este é um lugar óbvio para começar. Porque, se você não pode confiar em seu cérebro, como você pode confiar em qualquer outra coisa?

Seria útil ter um nome para este projeto de superação de viéses cognitivos, e de superação de todas as espécies de erro em que nossas mentes possam vir a prejudicar a si mesmas.

Poderíamos chamar esse projeto de qualquer coisa que querêssemos. Para ora, porém, eu acredito que "racionalidade" é um nome tão bom quanto qualquer outro.

Sentimentos racionais

Nos filmes de Hollywood, ser "racional" normalmente significa que você é um estóico severo e hiperintelectual. Pense no Spock de Star Trek , que "racionalmente" suprime suas emoções, "racionalmente" se recusa a confiar em intuições ou impulsos, e é facilmente confundido e passado para trás ao encontrar um oponente errático ou "irracional" [2].

Há uma noção completamente diferente de "racionalidade", estudada por matemáticos, psicólogos e cientistas sociais. A grosso modo, é a idéia de fazer o melhor que pode com o que você tem. Uma pessoa racional, não importa o quão desnorteada e perdida esteja, forma as melhores crenças possíveis com as evidências que têm. Uma pessoa racional, não importa o quão terrível a situação em que ela esteja, faz as melhores escolhas que pode para melhorar suas chances de sucesso.

Racionalidade do mundo real não se trata de ignorar suas emoções e intuições. Para um ser humano, a racionalidade muitas vezes significa tornar-se mais auto-consciente sobre seus sentimentos, para que possa levá-los em conta em suas decisões.

A racionalidade pode até significar saber quando não pensar demais. Ao escolher um cartaz para colocar em sua parede, ou ao prever o resultado de um jogo de basquete, observou-se que participantes de experimentos se davam pior caso analisassem cuidadosamente as suas razões [3][4]. Existem alguns problemas onde a deliberação consciente nos serve melhor, e outros em que julgamentos momentâneos nos servem melhor.

Os psicólogos que trabalham em teorias de duplo processo traçam uma distinção entre os processos cerebrais do "Sistema 1" (cognição rápida, implícita, associativa, automática) e os do "Sistema 2" (cognição lenta, explícita, intelectual, controlada) [5]. O estereótipo é que racionalistas confiam inteiramente no Sistema 2, desconsiderando seus sentimentos e impulsos. Olhando para além do estereótipo, alguém que estivesse sendo realmente racional - realmente alcançando seus objetivos, realmente mitigando os danos de seus vieses cognitivos - dependeria fortemente dos hábitos e intuições do Sistema 1, nos casos em que eles fossem confiáveis.

Infelizmente, o Sistema 1 sozinho parece ser um guia terrível para decidir "quando devo confiar no Sistema 1?" Nossas intuições destreinadas não nos avisam quando devemos parar de confiar nelas. O sentimento de se estar enviesado ou não é o mesmo [6].

Por outro lado, como observa o economista comportamental Dan Ariely: somos previsivelmente irracionais. Nós fazemos besteiras sempre das mesmas formas, repetida e sistematicamente.

Embora não possamos usar nossa intuição para descobrir quando estamos sucumbindo a um viés cognitivo, talvez sejamos capazes de usar as ciências da mente.

As Muitas Faces do Viés

Para resolver problemas, nossos cérebros evoluíram para empregar heurísticas cognitivas - atalhos rudimentares que obtêm a resposta certa frequentemente, mas nem sempre. Vieses cognitivos surgem quando as aproximações feitas por estas heurísticas produzem um erro relativamente consistente e bem delimitado.

A heurística da representatividade, por exemplo, é a nossa tendência de avaliar fenômenos segundo o quão representativos de várias categorias eles são. Isso pode levar a vieses, como a falácia da conjunção. Tversky e Kahneman descobriram que participantes de um experimento consideravam menos provável que um tenista habilidoso iria "perder o primeiro set" do que que ele iria "perder o primeiro set, mas ganhar o jogo." [7]. Ganhar de virada parece mais típico de um jogador habilidoso, por isso superestimamos a probabilidade dessa narrativa complicada-mas-que-soa-razoável, em comparação com a probabilidade de um cenário estritamente mais simples.

A heurística da representatividade também pode contribuir para a negligência da frequência basal [ou das taxas-base], onde baseamos nossas decisões em quão intuitivamente "normal" uma combinação de atributos é, negligenciando o quão comum cada atributo é na população em geral [8]. É mais provável que Steve seja um bibliotecário tímido, ou que ele seja um vendedor tímido? A maioria das pessoas respondem a esse tipo de pergunta pensando sobre se "tímido" corresponde a seus estereótipos dessas profissões. Eles não levam em consideração o quão mais comuns os vendedores são que os bibliotecários - setenta e cinco vezes mais comuns, nos Estados Unidos [9].

Outros exemplos de vieses incluem a negligência da duração (avaliar de experiências sem levar em conta o tempo que elas duraram), a falácia do custo afundado [ou custo irrecuperável] (sentir-se comprometidos com coisas nas quais você despendeu recursos no passado, quando você deveria limitar suas perdas e seguir em frente), e o viés de confirmação (dar mais peso às evidências que confirmam o que já acreditamos) [10][11].

Saber sobre um viés, no entanto, raramente é suficiente para protegê-lo dele. Em um estudo sobre a cegueira a vieses, sujeitos experimentais previram que, se eles soubessem que uma pintura era o trabalho de um artista famoso, eles teriam mais dificuldade para avaliar, de forma neutra, a qualidade da pintura. E, de fato, os indivíduos que foram informados o autor de uma pintura e solicitados a avaliar a sua qualidade exibiram o exato viés que eles mesmos haviam previsto, em comparação com um grupo de controle. Quando perguntados depois, no entanto, os mesmos indivíduos afirmaram que suas avaliações das pinturas tinha sido objetivas e não afetadas pelo viés - em todos os grupos![12][13]

Temos uma aversão especial de pensar em nossos pontos de vista como imprecisos em comparação com os pontos de vista dos outros. Mesmo quando identificamos corretamente os vieses dos outros, temos um ponto cego para vieses especial quando se trata de nossas próprias falhas [14]. Nós não conseguimos detectar quaisquer "pensamentos que parecem enviesados" quando refletimos internamente, e, assim, concluímos que somos simplesmente mais objetivos do que todos as outras pessoas [15].

Estudar vieses pode, na verdade, torná-lo mais vulnerável ao excesso de confiança e ao viés de confirmação, quando que você começa a ver a influência dos vieses cognitivos em todos ao seu redor - em todos exceto em si mesmo. E o ponto cego, ao contrário de muitos vieses, é especialmente grave entre as pessoas que são especialmente inteligentes, atenciosas, e de mente aberta [16][17].

Isso é motivo de preocupação.

Ainda assim... parece que devemos ser capazes de melhorar. Sabe-se que podemos reduzir a negligência da frequência basal ao pensar em probabilidades como freqüências de objetos ou eventos. Podemos minimizar a negligência da duração, direcionando mais atenção à duração e a representando graficamente [18]. As pessoas variam em quão fortemente exibem diferentes vieses, portanto deve haver uma série de formas ainda desconhecidas de influenciar o quão enviesados nós somos.

Se queremos melhorar, no entanto, não é suficiente nos debruçarmos sobre as listas de vieses cognitivos. A abordagem para superar vieses em Racionalidade: De AI a Zumbis é comunicar uma compreensão sistemática de por que o raciocínio correto funciona, e de como o cérebro fica aquém disso. Na medida em que este livro alcança esse objetivo, a sua abordagem pode ser comparado com o descrito por Serfas, que nota que "anos de experiência de trabalho envolvendo finanças" não afetaram a suscetibilidade das pessoas ao viés do custo afundado, ao passo que "o número cursos de contabilidade frequentados" ajudava.

Como conseqüência, pode ser necessário distinguir entre experiência e perícia, perícia significando "o desenvolvimento de um princípio esquemático que envolve a compreensão conceitual do problema", a qual, por sua vez, permite que o tomador de decisão reconheça determinados vieses. No entanto, usar a perícia como contramedida exige mais do que apenas estar familiarizado com o conteúdo da situação ou ser um especialista em um domínio específico. Exige que a pessoa entenda completamente a lógica subjacente do respectivo viés, seja capaz de detectá-lo no ambiente específico, e também que tenha à mão as ferramentas adequadas para combater o viés [19].

O objetivo deste livro é o de estabelecer as bases para a criação de uma "perícia" da racionalidade. Isso significa adquirir uma compreensão profunda da estrutura de um problema muito geral: o viés humano, o auto-engano, e os mil caminhos pelos quais o pensamento sofisticado pode derrotar a si mesmo.

Uma palavra sobre este texto

Racionalidade: De AI a Zumbis começou sua vida como uma série de ensaios de Eliezer Yudkowsky, publicado entre 2006 e 2009 no blog de economia Overcoming Bias [Superando o Viés] e no blog comunitário dele derivado Less Wrong. Eu trabalhei com Yudkowsky durante o ano passado no Machine Intelligence Research Institute (MIRI), uma organização sem fins lucrativos fundada por ele em 2000 para estudar os requisitos teóricos para uma inteligência artificial (AI [artificial intelligence]) mais inteligente do que a humana.

Ler seus posts no blog fez com que me interessasse pelo seu trabalho. Ele me impressionou com sua capacidade de comunicar de forma concisa compreensões que eu levara anos de estudo de filosofia analítica para internalizar. Na tentativa de reconciliar o espírito anárquico e cético da ciência com uma abordagem rigorosa e sistemática à indagação, Yudkowsky tenta não apenas refutar, mas entender os muitos passos em falso e becos sem saída que a má filosofia (e a má falta-de-filosofia) pode produzir. Ao ajudar a organizar estes ensaios em um livro, minha esperança é tornar mais fácil mergulhar neles, e mais fácil apreciá-los como um todo coerente.

O manual de racionalidade resultante é frequentemente pessoal e irreverente, tendo como pontos de partida, por exemplo, as experiências de Yudkowsky com sua mãe (uma psiquiatra) e pai (um físico) judeus ortodoxos e conversas em salas de chat e listas de discussão. Os leitores que conhecem Yudkowsky de Harry Potter e os Métodos da Racionalidade, sua abordagem cientificamente orientada da série Harry Potter, de J.K. Rowling, vão reconhecer a mesma iconoclastia irreverente, e muitos dos mesmos conceitos fundamentais.

Estilisticamente, os ensaios deste livro percorrem toda a gama de "livro didático divertido" a "compêndio de vinhetas inteligentes" a "manifesto rebelde", e o conteúdo é correspondentemente variado. Racionalidade: De AI a Zumbis congrega centenas de posts de ​​Yudkowsky em vinte e seis "sequências", séries de posts ligados tematicamente, que funcionam como capítulos. As sequências, por sua vez, são agrupadas em seis livros, abrangendo os seguintes tópicos:

Livro 1 - Mapa e território. O que é uma crença, e que faz com que algumas crenças funcionem melhor do que os outras? Essas quatro sequências explicam as noções Bayesianas de racionalidade, crença e evidência. Um tema comum: as coisas que chamamos de "explicações" ou "teorias" podem nem sempre funcionar como mapas de navegação do mundo. Como resultado, corremos o risco de misturar nossos mapas mentais com os outros objetos em nossa caixa de ferramentas.

Livro 2 - Como alterar sua mente de verdade. Essa tal de verdade parece bastante útil. Por que, então, nós insistimos em tirar conclusões precipitadas, fincar nossos pés, e recapitular os mesmos erros? Por que somos tão ruins em adquirir crenças precisas, e como podemos ser melhores? Estas sete sequências discutem raciocínio motivado e viés de confirmação, com um foco especial em espécies de auto-engano difíceis de reconhecer e na armadilha de "usar argumentos como soldados."

Livro 3- A máquina no fantasma. Por que nós não evoluímos para ser mais racionais? Mesmo levando em conta as limitações de recursos, parece que poderíamos estar ganhando muito mais conhecimento com as evidências que temos disponíveis. Para obter uma imagem realista de como e porque nossas mentes executam as suas funções biológicas, precisamos abrir o capô e ver como funciona a evolução, e como nossos cérebros funcionam, com mais precisão. Estas três sequências esclarecem como até filósofos e cientistas podem errar quando confiam em noções evolutivas ou psicológicas intuitivas, não técnicas. Ao localizar nossas mentes dentro de um espaço maior de sistemas guiados por objetivos, podemos identificar algumas das peculiaridades do raciocínio humano e compreender como tais sistemas podem "perder o seu propósito."

Livro 4- Mera realidade. Em que tipo de mundo vivemos? Qual é o nosso lugar nesse mundo? Baseando-se nos exemplos das sequências anteriores de como modelos evolutivos e cognitivos funcionam, estas seis sequências exploram a natureza da mente e das leis da física. Além de aplicar e generalizar lições anteriores sobre mistérios científicos e parcimônia, esses ensaios levantam novas questões sobre o papel que a ciência deve desempenhar na racionalidade individual.

Livro 5- Mera bondade. O que torna algo valioso - moralmente, ou esteticamente, ou prudencialmente? Essas três sequências perguntam como podemos justificar, revisar, e naturalizar nossos valores e desejos. O objetivo é encontrar uma maneira de compreender os nossos objetivos sem comprometer os nossos esforços para realmente alcançá-los. Aqui, o maior desafio é saber quando confiar em seus confusos e complexos impulsos sobre o que é certo e errado caso a caso, e quando substituí-los por princípios simples e sem exceção.

Livro 6- Ficando mais forte. Como indivíduos e comunidades podem colocar tudo isso em prática? Estas três sequências começam com um relato autobiográfico dos maiores erros filosóficos do próprio Yudkowsky, com conselhos sobre como ele acha que os outros podem fazer melhor. O livro termina com recomendações para o desenvolvimento de currículos de racionalidade aplicada baseada em evidências, e para a formação de grupos e instituições para apoiar os estudantes interessados, educadores, pesquisadores e amigos.

As sequências são complementadas com "interlúdios", ensaios extraídos do site pessoal de Yudkowsky, http://www.yudkowsky.net. Eles se ligam às sequências de várias maneiras; por exemplo, As Doze Virtudes da Racionalidade resume poeticamente muitas das lições de Racionalidade: De AI a Zumbis, e é frequentemente citado em outros ensaios.

Clicando no asterisco na parte inferior de um ensaio irá levá-lo para a sua versão original no Less Wrong (onde você pode deixar comentários) ou no site de Yudkowsky. Você também pode encontrar um glossário para a terminologia de Racionalidade: De AI a Zumbis online, em http://wiki.lesswrong.com/wiki/RAZ_Glossary [Tradução em Glossário_RAZ] .

Mapa e território

Este, o primeiro livro, começa com uma sequência sobre vieses cognitivos: "Previsivelmente errado". O resto do livro não vai se ater apenas a este tema; maus hábitos e más idéias importam, mesmo quando eles surgem do conteúdo de nossas mentes, e não da estrutura. Assim, erros tanto evoluídos quanto inventados serão expostos nessas sequências, começando com uma discussão, em "Falsas crenças", sobre as maneiras que as expectativas de uma pessoa podem se separar das crenças por ela professadas.

Um relato da irracionalidade também estaria incompleto se não fornecesse qualquer teoria sobre como a racionalidade funciona, ou se a sua "teoria" consistisse apenas de obviedades vagas, sem nenhum mecanismo explicativo preciso. A sequência "Percebendo confusão" investiga por que é útil basear seu comportamento em expectativas "racionais", qual e a sensação de se fazer isto.

A seguir, "Respostas misteriosas" pergunta se a ciência resolve esses problemas por nós. Os cientistas baseiam seus modelos em experimentos reproduzíveis, não em especulações ou boatos. E a ciência tem um excelente histórico, comparada com anedotas, religião, e ... basicamente todo o resto. Será que, mesmo assim, ainda precisamos nos preocupar com "falsas" crenças, viés de confirmação, viés de retrospectiva e similares, quando estamos trabalhando com uma comunidade de pessoas que buscam explicar fenômenos, e não apenas contar histórias atraentes?

Esta sequência é seguida por A simples verdade, uma alegoria independente sobre a natureza do conhecimento e da crença.

É o viés cognitivo, no entanto, que fornece a visão mais clara e direta sobre a matéria da nossa psicologia, na forma de nossas heurísticas e da lógica das nossas limitações. É com o viés que vamos começar.

Há uma passagem no Zhuangzi , um texto filosófico proto-taoísta, que diz: "A armadilha para peixes existe por causa do peixe; uma vez que você tenha obtido o peixe, você pode esquecer a armadilha." [20].

Eu convido você a explorar este livro com esse espírito. Use-o como você usaria uma armadilha para peixes, tendo sempre em mente o objetivo que você tem para ela. Leve com você o que puder usar, enquanto continuar sendo útil; descarte o resto. E que o seu propósito lhe sirva bem.

Agradecimentos

Eu sou grato estupendamente grato a Nate Soares, Elizabeth Tarleton, Paul Crowley, Brienne Strohl, Adam Freese, Helen Toner e dezenas de voluntários por revisar partes deste livro.

Agradecimentos especiais e sinceros para Alex Vermeer, que dirigiu este livro até o fim, e Tsvi Benson-Tilsen, que vasculhou o livro inteiro para garantir a sua legibilidade e consistência.


Notas de Rodapé

  1. A idéia da viés pessoal, viés da imprensa etc. se assemelha ao viés estatístico no fato de ser um erro. Outras formas de generalizar a ideia "viés" se focam em sua associação com a não-aleatoriedade. No aprendizado de máquina, por exemplo, um viés indutivo é apenas o conjunto de suposições que um agente usa para derivar previsões de um conjunto de dados. Aqui, o agente é "enviesado" no sentido de que ele foi orientado em uma direção específica; mas, uma vez que aquela direção pode ser a verdade, não é uma coisa ruim para um agente ter um viés indutivo. É valioso e necessário. Isto distingue o "viés" indutivo muito claramente dos outros tipos de viés.
  2. Uma triste coincidência:. Leonard Nimoy, o ator que interpretou Spock, faleceu poucos dias antes do lançamento deste livro. Apesar de citar seu personagem como um exemplo clássico da falsa "racionalidade de Hollywood", não queremos desrespeitar, de forma alguma, a memória de Nimoy.
  3. Timothy D. Wilson et al., “Introspecting About Reasons Can Reduce Post-choice Satisfaction,” Personality and Social Psychology Bulletin 19 (1993): 331–331.
  4. Jamin Brett Halberstadt and Gary M. Levine, “Effects of Reasons Analysis on the Accuracy of Predicting Basketball Games,” Journal of Applied Social Psychology 29, no. 3 (1999): 517–530.
  5. Keith E. Stanovich and Richard F. West, “Individual Differences in Reasoning: Implications for the Rationality Debate?,” Behavioral and Brain Sciences 23, no. 5 (2000): 645–665, [1].
  6. Timothy D. Wilson, David B. Centerbar, and Nancy Brekke, “Mental Contamination and the Debiasing Problem,” in Heuristics and Biases: The Psychology of Intuitive Judgment, ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman (Cambridge University Press, 2002).
  7. Amos Tversky and Daniel Kahneman, “Extensional Versus Intuitive Reasoning: The Conjunction Fallacy in Probability Judgment,” Psychological Review 90, no. 4 (1983): 293–315, doi:10.1037/0033-295X.90.4.293.
  8. Richards J. Heuer, Psychology of Intelligence Analysis (Center for the Study of Intelligence, Central Intelligence Agency, 1999).
  9. Wayne Weiten, Psychology: Themes and Variations, Briefer Version, Eighth Edition (Cengage Learning, 2010).
  10. Raymond S. Nickerson, “Confirmation Bias: A Ubiquitous Phenomenon in Many Guises,” Review of General Psychology 2, no. 2 (1998): 175.
  11. Negligência da probabilidade é um outro viés cognitivo. Nos meses e anos que se seguiram ao 11 de Setembro, muitas pessoas optaram por dirigir longas distâncias ao invés de voar. Sequestro não era algo provável, mas agora parecia que era uma carta sobre a mesa; a mera possibilidade de sequestro impactava as decisões enormemente. Ao confiar em um raciocínio preto-e-branco (carros e aviões são "seguros" ou "inseguros", ponto final), as pessoas na verdade se colocavam em um perigo muito maior. Embora eles devessem ter pesado a probabilidade de morrer em uma viagem de carro através do país contra a probabilidade de morrer em um vôo através do país - a primeira morte é centenas de vezes mais provável -, eles contaram com o seu sentimento geral de preocupação e ansiedade (a heurística do afeto). Podemos ver o mesmo padrão de comportamento em crianças que, ao ouvir os argumentos a favor e contra a segurança dos cintos de segurança, vão e voltam em sua opinião sobre se cintos de segurança são uma ideia completamente boa ou completamente ruim, em vez de tentar comparar os pesos das considerações a favor e contra 21.
    Alguns outros exemplos de vieses são: a regra do pico/final (avaliar eventos relembrados com base em seu momento mais intenso, e em como eles acabaram); ancoragem (basear suas decisões em informações recentemente encontradas, mesmo quando irrelevantes) 22 e auto-ancoragem (usar a si próprio como um modelo de características prováveis dos outros sem ponderar suficientemente os sentidos nos quais você é atípico) 23; e o viés do status quo (favorecer excessivamente o que é normal e esperado contra o que é novo e diferente) 24.
  12. Katherine Hansen et al., “People Claim Objectivity After Knowingly Using Biased Strategies,” Personality and Social Psychology Bulletin 40, no. 6 (2014): 691–699.
  13. Da mesma forma, Pronin escreve a respeito da cegueira ao viés de gênero:

    Em um estudo, os participantes consideraram um candidato e uma candidata a um emprego de chefe de polícia e, em seguida, avaliaram se "ser malandro" [streetwise no original] ou "ter educação formal" era mais importante para o trabalho. O resultado foi que os participantes favoreceram aquela característica que, segundo haviam sido informados, era possuída pelo candidato do sexo masculino (por exemplo, se lhes havia sido dito que ele era "malandro", eles viam isso como mais importante). Os participantes eram completamente cegos para esse viés de gênero; de fato, quanto mais objetivos eles achavam que tinham sido, maior era o viés que eles realmente demonstravam 25.

    Mesmo quando sabemos sobre vieses, Pronin observa, continuamos sendo "realistas ingênuos" a respeito de nossas próprias crenças. Consistentemente tornamos a tratar nossas crenças como se fossem representações sem distorção de como as coisas realmente são 26.

  14. Em uma pesquisa com 76 pessoas à espera nos aeroportos, os indivíduos classificaram-se como muito menos suscetíveis a vieses cognitivos, em média, do que uma pessoa normal no aeroporto. Em particular, as pessoas se acham especialmente imparciais quando o viés é socialmente indesejável ​ou tem consequências difíceis de notar.27 Outros estudos constataram que as pessoas com laços pessoais em relação a um problema acreditam que esses laços melhoram a sua compreensão e objetividade; mas quando vêem outras pessoas que exibem os mesmos laços, eles inferem que essas pessoas estão excessivamente apegadas e enviesadas.
  15. Joyce Ehrlinger, Thomas Gilovich, and Lee Ross, “Peering Into the Bias Blind Spot: People’s Assessments of Bias in Themselves and Others,” Personality and Social Psychology Bulletin 31, no. 5 (2005): 680–692.
  16. Richard F. West, Russell J. Meserve, and Keith E. Stanovich, “Cognitive Sophistication Does Not Attenuate the Bias Blind Spot,” Journal of Personality and Social Psychology 103, no. 3 (2012): 506.
  17. Não devem ser confundidas com as pessoas que pensam que são especialmente inteligentes, atenciosas etc. por causa do viés da superioridade ilusória.
  18. Michael J. Liersch and Craig R. M. McKenzie, “Duration Neglect by Numbers and Its Elimination by Graphs,” Organizational Behavior and Human Decision Processes 108, no. 2 (2009): 303–314.
  19. Sebastian Serfas, Cognitive Biases in the Capital Investment Context: Theoretical Considerations and Empirical Experiments on Violations of Normative Rationality (Springer, 2010).
  20. Zhuangzi and Burton Watson, The Complete Works of Zhuangzi (Columbia University Press, 1968).

21. Cass R. Sunstein, “Probability Neglect: Emotions, Worst Cases, and Law,” Yale Law Journal (2002): 61–107.

22. Dan Ariely, Predictably Irrational: The Hidden Forces That Shape Our Decisions (HarperCollins, 2008).

23. Boaz Keysar and Dale J. Barr, “Self-Anchoring in Conversation: Why Language Users Do Not Do What They ‘Should,’” in Heuristics and Biases: The Psychology of Intuitive Judgment, ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman (New York: Cambridge University Press, 2002), 150–166, doi:10.2277/0521796792.

24. Scott Eidelman and Christian S. Crandall, “Bias in Favor of the Status Quo,” Social and Personality Psychology Compass 6, no. 3 (2012): 270–281.

25. Eric Luis Uhlmann and Geoffrey L. Cohen, “‘I think it, therefore it’s true’: Effects of Self-perceived Objectivity on Hiring Discrimination,” Organizational Behavior and Human Decision Processes 104, no. 2 (2007): 207–223.

26. Emily Pronin, “How We See Ourselves and How We See Others,” Science 320 (2008): 1177–1180, [4].

27. Emily Pronin, Daniel Y. Lin, and Lee Ross, “The Bias Blind Spot: Perceptions of Bias in Self versus Others,” Personality and Social Psychology Bulletin 28, no. 3 (2002): 369–381.