Hindsight Devalues Science
OriginalThis essay is closely based on an excerpt from Meyers’s Exploring Social Psychology;1 the excerpt is worth reading in its entirety. Cullen Murphy, editor of The Atlantic, said that the social sciences turn up “no ideas or conclusions that can’t be found in [any] encyclopedia of quotations . . . Day after day social scientists go out into the world. Day after day they discover that people’s behavior is pretty much what you’d expect.” Of course, the “expectation” is all hindsight. (Hindsight bias: Subjects who know the actual answer to a question assign much higher probabilities they “would have” guessed for that answer, compared to subjects who must guess without knowing the answer.) The historian Arthur Schlesinger, Jr. dismissed scientific studies of World War II soldiers’ experiences as “ponderous demonstrations” of common sense. For example:
How many of these findings do you think you could have predicted in advance? Three out of five? Four out of five? Are there any cases where you would have predicted the opposite—where your model takes a hit? Take a moment to think before continuing . . .
. . .
In this demonstration (from Paul Lazarsfeld by way of Meyers), all of the findings above are the opposite of what was actually found.2 How many times did you think your model took a hit? How many times did you admit you would have been wrong? That’s how good your model really was. The measure of your strength as a rationalist is your ability to be more confused by fiction than by reality. Unless, of course, I reversed the results again. What do you think? Do your thought processes at this point, where you really don’t know the answer, feel different from the thought processes you used to rationalize either side of the “known” answer? Daphna Baratz exposed college students to pairs of supposed findings, one true (“In prosperous times people spend a larger portion of their income than during a recession”) and one the truth’s opposite.3 In both sides of the pair, students rated the supposed finding as what they “would have predicted.” Perfectly standard hindsight bias. Which leads people to think they have no need for science, because they “could have predicted” that. (Just as you would expect, right?) Hindsight will lead us to systematically undervalue the surprisingness of scientific findings, especially the discoveries we understand—the ones that seem real to us, the ones we can retrofit into our models of the world. If you understand neurology or physics and read news in that topic, then you probably underestimate the surprisingness of findings in those fields too. This unfairly devalues the contribution of the researchers; and worse, will prevent you from noticing when you are seeing evidence that doesn’t fit what you really would have expected. We need to make a conscious effort to be shocked enough. http://lesswrong.com/lw/im/hindsight_devalues_science/ Footnotes1. David G. Meyers, Exploring Social Psychology (New York: McGraw-Hill, 1994), 15–19. 2. Paul F. Lazarsfeld, “The American Solidier—An Expository Review,” Public Opinion Quarterly 13, no. 3 (1949): 377–404. 3. Daphna Baratz, How Justified Is the “Obvious” Reaction? (Stanford University, 1983). |
Retrospectiva Desvaloriza a CiênciaEste ensaio é fortemente baseado em um trecho de Exploring Social Psychology de Meyers1; vale a pena ler o trecho na íntegra. Cullen Murphy, editor do The Atlantic, disse que as ciências sociais não revelam "nenhuma ideia ou conclusão que não possa ser encontrada em [qualquer] enciclopédia de citações... Dia após dia os cientistas sociais saem pelo mundo. Dia após dia eles descobrem que o comportamento das pessoas é basicamente o que você esperaria ". Naturalmente, a "expectativa" é apenas retrospectiva. (Viés de Retrospectiva: Sujeitos que conhecem a verdadeira resposta a uma pergunta atribuem probabilidades muito maiores de que eles "teriam" adivinhado a resposta, em comparação com indivíduos que precisavam adivinhar sem saber a resposta). O historiador Arthur Schlesinger, Jr. desprezou estudos científicos sobre as experiências de soldados da Segunda Guerra Mundial como "pesadas demonstrações" do senso comum. Por exemplo:
Quantos destes resultados que você acha que poderia ter previsto com antecedência? Três dos cinco? Quatro dos cinco? Existem casos em que você teria previsto o oposto, onde o seu modelo levou uma pancada? Pense por um momento antes de continuar...
...
Nesta demonstração (de Paul Lazarsfeld por meio de Meyers), todos os resultados acima são o oposto do que realmente foi descoberto.2 Quantas vezes você pensou que seu modelo tinha levado um golpe? Quantas vezes você admitiu que teria sido errado? Isso é o quão bom seu modelo realmente era. A medida de sua força como um racionalista é sua capacidade de ficar mais confuso diante da ficção do que diante da realidade. A não ser, é claro, que eu tenha invertido os resultados de novo. O que você acha? Os seus processos de pensamento neste ponto, em que você realmente não sabe a resposta, parecem diferentes dos processos de pensamento que você usou para racionalizar ambos os lados da resposta "já conhecida"? Daphna Baratz expôs estudantes universitários a pares de supostas descobertas, uma verdadeira ("Em tempos de prosperidade as pessoas gastam uma parcela maior de sua renda do que durante uma recessão") e uma oposta à verdade.3 Em ambos os lados do par, os alunos julgaram que o suposto achado era o que eles "teriam previsto." Viés de retrospectiva perfeitamente padrão. O que leva as pessoas a pensar que elas não têm nenhuma necessidade da ciência, porque elas "poderiam ter previsto" aquilo. (Exatamente como você esperava, certo?) A retrospectiva vai nos levar a subestimar sistematicamente o quão surpreendentes são as descobertas científicas, especialmente as descobertas que entendemos - aquelas que parecem reais para nós, que podemos encaixar retroativamente em nossos modelos do mundo. Se você entender de neurologia ou física e ler notícias sobre tópico, então você provavelmente subestimará o quão surpreendentes são os achados nessas áreas também. Isso desvaloriza injustamente a contribuição dos pesquisadores; e pior, vai impedir que você perceba quando está vendo evidências de que não se encaixam ao que você realmente teria previsto. Nós precisamos fazer um esforço consciente para ficar chocados o suficiente. http://lesswrong.com/lw/im/hindsight_devalues_science/ Notas de Rodapé1. David G. Meyers, Exploring Social Psychology (New York: McGraw-Hill, 1994), 15–19. 2. Paul F. Lazarsfeld, “The American Solidier—An Expository Review,” Public Opinion Quarterly 13, no. 3 (1949): 377–404. 3. Daphna Baratz, How Justified Is the “Obvious” Reaction? (Stanford University, 1983). |