Positive Bias: Look into the Dark

De Racionalidade
Revisão de 02h48min de 5 de maio de 2015 por Gusbicalho (Discussão | contribs) (Viés Positivo: Olhe no Escuro)
(dif) ← Edição anterior | Revisão atual (dif) | Versão posterior → (dif)
Ir para: navegação, pesquisa

Original

I am teaching a class, and I write upon the blackboard three numbers: 2-4-6. “I am thinking of a rule,” I say, “which governs sequences of three numbers. The sequence 2-4-6, as it so happens, obeys this rule. Each of you will find, on your desk, a pile of index cards. Write down a sequence of three numbers on a card, and I’ll mark it ‘Yes’ for fits the rule, or ‘No’ for not fitting the rule. Then you can write down another set of three numbers and ask whether it fits again, and so on. When you’re confident that you know the rule, write down the rule on a card. You can test as many triplets as you like.”

Here’s the record of one student’s guesses:

4-6-2  No

4-6-8  Yes

10-12-14  Yes

At this point the student wrote down their guess at the rule. What do you think the rule is? Would you have wanted to test another triplet, and if so, what would it be? Take a moment to think before continuing.

The challenge above is based on a classic experiment due to Peter Wason, the 2-4-6 task. Although subjects given this task typically expressed high confidence in their guesses, only 21% of the subjects successfully guessed the experimenter’s real rule, and replications since then have continued to show success rates of around 20%.1

The study was called “On the failure to eliminate hypotheses in a conceptual task.” Subjects who attempt the 2-4-6 task usually try to generate positive examples, rather than negative examples—they apply the hypothetical rule to generate a representative instance, and see if it is labeled “Yes.”

Thus, someone who forms the hypothesis “numbers increasing by two” will test the triplet 8-10-12, hear that it fits, and confidently announce the rule. Someone who forms the hypothesis X-2X-3X will test the triplet 3-6-9, discover that it fits, and then announce that rule.

In every case the actual rule is the same: the three numbers must be in ascending order.

But to discover this, you would have to generate triplets that shouldn’t fit, such as 20-23-26, and see if they are labeled “No.” Which people tend not to do, in this experiment. In some cases, subjects devise, “test,” and announce rules far more complicated than the actual answer.

This cognitive phenomenon is usually lumped in with “confirmation bias.” However, it seems to me that the phenomenon of trying to test positive rather than negative examples, ought to be distinguished from the phenomenon of trying to preserve the belief you started with. “Positive bias” is sometimes used as a synonym for “confirmation bias,” and fits this particular flaw much better.

It once seemed that phlogiston theory could explain a flame going out in an enclosed box (the air became saturated with phlogiston and no more could be released), but phlogiston theory could just as well have explained the flame not going out. To notice this, you have to search for negative examples instead of positive examples, look into zero instead of one; which goes against the grain of what experiment has shown to be human instinct.

For by instinct, we human beings only live in half the world.

One may be lectured on positive bias for days, and yet overlook it in-the-moment. Positive bias is not something we do as a matter of logic, or even as a matter of emotional attachment. The 2-4-6 task is “cold,” logical, not affectively “hot.” And yet the mistake is sub-verbal, on the level of imagery, of instinctive reactions. Because the problem doesn’t arise from following a deliberate rule that says “Only think about positive examples,” it can’t be solved just by knowing verbally that “We ought to think about both positive and negative examples.” Which example automatically pops into your head? You have to learn, wordlessly, to zag instead of zig. You have to learn to flinch toward the zero, instead of away from it.

I have been writing for quite some time now on the notion that the strength of a hypothesis is what it can’t explain, not what it can—if you are equally good at explaining any outcome, you have zero knowledge. So to spot an explanation that isn’t helpful, it’s not enough to think of what it does explain very well—you also have to search for results it couldn’t explain, and this is the true strength of the theory.

So I said all this, and then I challenged the usefulness of “emergence” as a concept. One commenter cited superconductivity and ferromagnetism as examples of emergence. I replied that non-superconductivity and non-ferromagnetism were also examples of emergence, which was the problem. But be it far from me to criticize the commenter! Despite having read extensively on “confirmation bias,” I didn’t spot the “gotcha” in the 2-4-6 task the first time I read about it. It’s a subverbal blink-reaction that has to be retrained. I’m still working on it myself.

So much of a rationalist’s skill is below the level of words. It makes for challenging work in trying to convey the Art through words. People will agree with you, but then, in the next sentence, do something subdeliberative that goes in the opposite direction. Not that I’m complaining! A major reason I’m writing this is to observe what my words haven’t conveyed.

Are you searching for positive examples of positive bias right now, or sparing a fraction of your search on what positive bias should lead you to not see? Did you look toward light or darkness?

http://lesswrong.com/lw/iw/positive_bias_look_into_the_dark/

Footnotes

1. Peter Cathcart Wason, “On the Failure to Eliminate Hypotheses in a Conceptual Task,” Quarterly Journal of Experimental Psychology 12, no. 3 (1960): 129–140, DOI:10.1080/17470216008416717.

Viés Positivo: Olhe no Escuro

Eu estou dando uma aula, e escrevo três números no quadro-negro: 2-4-6. "Estou pensando em uma regra", eu digo, "que rege sequências de três números. A sequência 2-4-6 obedece a essa regra. Cada um de vocês vai encontrar, em sua mesa, uma pilha de cartões. Escreva uma sequência de três números em um cartão, e eu vou marcar 'Sim' se ela estiver de acordo com regra, ou 'Não' se ela não estiver de acordo com a regra. Em seguida, você pode escrever um outro conjunto de três números e perguntar se ele se encaixa de novo, e assim por diante. Quando você estiver confiante de que sabe a regra, anote a regra em um cartão. Você pode testar quantos trios de números quiser."

Aqui está o registro de tentativas de um aluno:

4-6-2  Não

4-6-8  Sim

10-12-14  Sim

Nesse ponto, o estudante anotou seu palpite sobre a regra. Qual você acha que é regra? Você teria preferido testar outro trio, e, em caso afirmativo, qual seria? Pense por um momento antes de continuar.

O desafio acima é baseado em um experimento clássico desenvolvido por Peter Wason, a tarefa de 2-4-6. Embora os sujeitos que receberam essa tarefa tipicamente afirmassem ter muita confiança em seus palpites, apenas 21% dos indivíduos adivinhou com sucesso a verdadeira regra do experimentador, e replicações posteriores, desde então, continuaram a mostrar taxas de sucesso de cerca de 20%.1

O estudo se entitulava "Sobre o fracasso em eliminar hipóteses em uma tarefa conceitual" ["On the failure to eliminate hypotheses in a conceptual task", no original]. Os indivíduos que tentam a tarefa de 2-4-6 geralmente tentam gerar exemplos positivos, em vez de exemplos negativos - eles aplicam a regra hipotética para gerar uma instância representativa, e ver se ela recebe a marca "Sim".

Assim, alguém que formula a hipótese "números aumentando de dois em dois" irá testar o trio 8-10-12, descobrir que ele se encaixa, e com confiança anunciar a regra. Alguém que formula a hipótese de X-2X-3X irá testar o trio 3-6-9, descobrir que ele se encaixa, e, em seguida, anunciar que a regra.

Em todos os casos, a regra verdadeira é a mesma: os três números devem estar em ordem crescente.

Mas, para descobrir isso, você teria que gerar trios que não deveriam se encaixar, como 20-23-26, e ver se eles recebem a marca "Não". O que as pessoas tendem a não fazer, nesse experimento. Em alguns casos, os indivíduos concebem, "testam", e anunciam regras muito mais complicadas do que a resposta correta.

Este fenômeno cognitivo é geralmente considerado em conjunto com o "viés de confirmação". No entanto, parece-me que o fenômeno de tentar testar exemplos positivos ao invés de negativos deve ser distinguido do fenômeno de tentar preservar a crença com a qual você começou. "Viés positivo" às vezes é usado como sinônimo de "viés de confirmação", e se adequa muito melhor a essa falha específica.

No passado, parecia que a teoria do flogisto poderia explicar uma chama se apagando dentro de uma caixa fechada (o ar se tornava saturado com flogisto e não era possível liberar mais), mas a teoria do flogisto poderia muito bem ter explicado a chama não se apagar. Para perceber isso, você tem que procurar por exemplos negativos ao invés de exemplos positivos, olhar para o zero em vez do um; que vai na contramão do que os experimentos mostraram ser o instinto humano.

Porque, por instinto, nós, seres humanos, só vivemos em metade do mundo.

Uma pessoa pode ter aulas sobre o viés positivo por dias, e ainda assim deixar de notá-lo no momento em que ocorre. Viés positivo não é algo que fazemos por uma questão de lógica, ou até mesmo por uma questão de apego emocional. A tarefa de 2-4-6 é "fria", lógica, não emocionalmente "quente". E ainda assim o erro é sub-verbal, no nível das imagens mentais, das reações instintivas. Uma vez que o problema não acontece por causa de uma regra deliberada que diz "só pense em exemplos positivos," ele não pode ser resolvido apenas sabendo verbalmente que "Devemos pensar tanto em exemplos positivos quanto negativos." Qual exemplo aparece automaticamente em sua cabeça? Você tem que aprender, sem palavras, a fazer um "zag" ao invés de um "zig". Você tem que aprender a se esquivar em direção ao zero, em vez de para longe dele.

Tenho escrito já por algum tempo sobre a noção de que a força de uma hipótese é aquilo que ela não pode explicar, não aquilo que ela pode - se você for igualmente bom em explicar qualquer resultado, você tem zero conhecimento. Então, para detectar uma explicação que não é útil, não basta pensar sobre o que ela explica muito bem - você também tem que procurar por resultados que ela não poderia explicar, e essa é a verdadeira força da teoria.

Então, eu disse tudo isso, e depois eu desafiei a utilidade de "emergência" como um conceito . Um leitor citou em um comentário supercondutividade e ferromagnetismo como exemplos de emergência. Eu respondi que não-supercondutividade e não-ferromagnetismo também eram exemplos de emergência, o que era exatamente o problema. Mas longe de mim criticar o autor do comentário! Apesar de ter lido muito sobre "viés de confirmação", eu não notei a "pegadinha" na tarefa de 2-4-6 na primeira vez que li sobre o assunto. É uma reação-relâmpago subverbal que tem que ser retreinada. Eu mesmo ainda estou trabalhando nisso.

Tanto da habilidade de um racionalista está abaixo do nível das palavras. Isso torna a tentativa de transmitir a Arte através de palavras um trabalho desafiador. As pessoas vão concordar com você, mas, em seguida, na frase seguinte, fazer algo subdeliberativo que vai na direção oposta. Não que eu esteja reclamando! Uma das principais razões porque eu estou escrevendo isso é para observar o que as minhas palavras não transmitiram.

Você está procurando por exemplos positivos de viés positivo agora, ou reservando uma parte da sua pesquisa para descobrir o que o viés positivo deve levá-lo a não ver? Você olhou para a luz ou para a escuridão?

http://lesswrong.com/lw/iw/positive_bias_look_into_the_dark/

Notas de Rodapé

1. Peter Cathcart Wason, “On the Failure to Eliminate Hypotheses in a Conceptual Task,” Quarterly Journal of Experimental Psychology 12, no. 3 (1960): 129–140, DOI:10.1080/17470216008416717.