Lawful Uncertainty

De Racionalidade
Ir para: navegação, pesquisa

Original

In Rational Choice in an Uncertain World, Robyn Dawes describes an experiment by Tversky:1,2

Many psychological experiments were conducted in the late 1950s and early 1960s in which subjects were asked to predict the outcome of an event that had a random component but yet had base-rate predictability—for example, subjects were asked to predict whether the next card the experimenter turned over would be red or blue in a context in which 70% of the cards were blue, but in which the sequence of red and blue cards was totally random.

In such a situation, the strategy that will yield the highest proportion of success is to predict the more common event. For example, if 70% of the cards are blue, then predicting blue on every trial yields a 70% success rate.

What subjects tended to do instead, however, was match probabilities—that is, predict the more probable event with the relative frequency with which it occurred. For example, subjects tended to predict 70% of the time that the blue card would occur and 30% of the time that the red card would occur. Such a strategy yields a 58% success rate, because the subjects are correct 70% of the time when the blue card occurs (which happens with probability .70) and 30% of the time when the red card occurs (which happens with probability .30); (.70 × .70) + (.30 × .30) = .58.

In fact, subjects predict the more frequent event with a slightly higher probability than that with which it occurs, but do not come close to predicting its occurrence 100% of the time, even when they are paid for the accuracy of their predictions . . . For example, subjects who were paid a nickel for each correct prediction over a thousand trials . . . predicted [the more common event] 76% of the time.

Do not think that this experiment is about a minor flaw in gambling strategies. It compactly illustrates the most important idea in all of rationality.

Subjects just keep guessing red, as if they think they have some way of predicting the random sequence. Of this experiment Dawes goes on to say, “Despite feedback through a thousand trials, subjects cannot bring themselves to believe that the situation is one in which they cannot predict.”

But the error must go deeper than that. Even if subjects think they’ve come up with a hypothesis, they don’t have to actually bet on that prediction in order to test their hypothesis. They can say, “Now if this hypothesis is correct, the next card will be red”—and then just bet on blue. They can pick blue each time, accumulating as many nickels as they can, while mentally noting their private guesses for any patterns they thought they spotted. If their predictions come out right, then they can switch to the newly discovered sequence.

I wouldn’t fault a subject for continuing to invent hypotheses—how could they know the sequence is truly beyond their ability to predict? But I would fault a subject for betting on the guesses, when this wasn’t necessary to gather information, and literally hundreds of earlier guesses had been disconfirmed.

Can even a human be that overconfident?

I would suspect that something simpler is going on—that the all-blue strategy just didn’t occur to the subjects.

People see a mix of mostly blue cards with some red, and suppose that the optimal betting strategy must be a mix of mostly blue cards with some red.

It is a counterintuitive idea that, given incomplete information, the optimal betting strategy does not resemble a typical sequence of cards.

It is a counterintuitive idea that the optimal strategy is to behave lawfully, even in an environment that has random elements.

It seems like your behavior ought to be unpredictable, just like the environment—but no! A random key does not open a random lock just because they are “both random.”

You don’t fight fire with fire; you fight fire with water. But this thought involves an extra step, a new concept not directly activated by the problem statement, and so it’s not the first idea that comes to mind.

In the dilemma of the blue and red cards, our partial knowledge tells us—on each and every round—that the best bet is blue. This advice of our partial knowledge is the same on each and every round. If 30% of the time we go against our partial knowledge and bet on red instead, then we will do worse thereby—because now we’re being outright stupid, betting on what we know is the less probable outcome.

If you bet on red every round, you would do as badly as you could possibly do; you would be 100% stupid. If you bet on red 30% of the time, faced with 30% red cards, then you’re making yourself 30% stupid.

When your knowledge is incomplete—meaning that the world will seem to you to have an element of randomness—randomizing your actions doesn’t solve the problem. Randomizing your actions takes you further from the target, not closer. In a world already foggy, throwing away your intelligence just makes things worse.

It is a counterintuitive idea that the optimal strategy can be to think lawfully, even under conditions of uncertainty.

And so there are not many rationalists, for most who perceive a chaotic world will try to fight chaos with chaos. You have to take an extra step, and think of something that doesn’t pop right into your mind, in order to imagine fighting fire with something that is not itself fire.

You have heard the unenlightened ones say, “Rationality works fine for dealing with rational people, but the world isn’t rational.” But faced with an irrational opponent, throwing away your own reason is not going to help you. There are lawful forms of thought that still generate the best response, even when faced with an opponent who breaks those laws. Decision theory does not burst into flames and die when faced with an opponent who disobeys decision theory.

This is no more obvious than the idea of betting all blue, faced with a sequence of both blue and red cards. But each bet that you make on red is an expected loss, and so too with every departure from the Way in your own thinking.

How many Star Trek episodes are thus refuted? How many theories of AI?

http://lesswrong.com/lw/vo/lawful_uncertainty/

Footnotes

1. Dawes, Rational Choice in An Uncertain World; Yaacov Schul and Ruth Mayo, “Searching for Certainty in an Uncertain World: The Difficulty of Giving Up the Experiential for the Rational Mode of Thinking,” Journal of Behavioral Decision Making 16, no. 2 (2003): 93–106, DOI:10.1002/bdm.434.

2. Amos Tversky and Ward Edwards, “Information versus Reward in Binary Choices,” Journal of Experimental Psychology 71, no. 5 (1966): 680–683, DOI:10.1037/h0023123.

Incerteza Regular

Em Escolha Racional em um Mundo Incerto, Robin Dawes descreve um experimento por feito por Tversky:[1][2]

Muitos experimentos psicológicos foram conduzidos no final dos anos 50 e início dos anos 60 em que indivíduos eram convidados a prever o resultado de um evento que tinha um componente aleatório, mas com uma taxa básica de previsibilidade — por exemplo, indivíduos eram convidados a prever se a próxima carta que o experimentador viraria seria vermelha ou azul, em um contexto em que 70% das cartas eram azuis, mas em uma sequência totalmente aleatória de cartas vermelhas e azuis.

Em tal situação, a estratégia que produzirá a maior proporção de acertos é prever o evento mais comum. Por exemplo, se 70% das cartas são azuis, prever azul em cada tentativa garante uma taxa de 70% de acerto.

O que os indivíduos tendiam a fazer, entretanto, era equiparar as probabilidades — isto é, predizer o evento mais provável a mesma frequência com que ele ocorria. Por exemplo, indivíduos tendiam a prever 70% das vezes que a carta azul seria virada e 30% das vezes que seria a vermelha. Uma estratégia desse tipo produz uma taxa de acerto de 58%, porque os indivíduos estão corretos 70% das vezes em que as cartas azuis são viradas (o que acontece com probabilidade de 0.70) e 30% do tempo quando as cartas vermelhas são viradas (o que acontece com probabilidade de 0.30); (0.70 x .070) + (0.30 x 0.30) = 0.58.

Na verdade, os indivíduos preveem o evento mais frequente com uma probabilidade um pouco maior do que aquela em que ele ocorre, mas nem chegam perto de prever sua ocorrência 100% das vezes, mesmo se são pagos pela precisão de suas previsões... Por exemplo, indivíduos que receberam um níquel para cada predição certa em mais de mil tentativas... previram [o evento mais comum] 76% das vezes.

Não pense que esse experimento é sobre uma pequena falha em estratégias de um jogo de azar. Ele ilustra de forma compacta a ideia mais importante de toda a racionalidade.

Indivíduos simplesmente continuam prevendo vermelho, como se pensassem ter uma maneira de prever a sequência aleatória. Sobre esse experimento, Dawes afirma ainda que “Apesar do feedback ao longo de mil tentativas, os indivíduos não conseguiam se convencer de que se tratava de uma situação que eles não podiam prever.”

Mas o erro deve ser mais profundo que esse. Mesmo que os indivíduos pensem ter encontrado uma hipótese, eles não têm de realmente apostar naquela previsão para testar a sua hipótese. Eles podem dizer “Na próxima rodada, se essa hipótese estiver correta, o próximo cartão será vermelho” — mas apostar no azul. Eles podem escolher azul todas as vezes, acumulando tantas moedas quanto puderem, enquanto mentalmente anotam seus palpites privados de um padrão qualquer que imaginam ter observado. Se acertarem suas previsões, então podem mudar para a sequência recém descoberta.

Eu não culparia um indivíduo que continuasse a inventar hipóteses — como poderiam saber que a sequência está realmente além da sua capacidade preditiva? Mas eu culparia um indivíduo por apostar nos palpites, quando isso não era necessário para colher informação, e quando literalmente centenas de palpites anteriores tinham sido refutados.

Pode mesmo um ser humano ser tão super-confiante?

Eu suspeitaria que algo mais simples estava acontecendo — os sujeitos sequer pensaram em usar a estratégia de apostar sempre no azul.

As pessoas veem um misto de cartas com maioria azul e um pouco de vermelho, e supõem que a estratégia ótima de palpite deve ser um misto de maioria de cartas azuis com um pouco de vermelho.

É uma ideia contra intuitiva que, dada uma informação incompleta, a estratégia ótima de palpites não se assemelha a uma sequência típica de cartas.

É uma ideia contra intuitiva que a estratégia ótima é se comportar regularmente, mesmo em um ambiente com elementos aleatórios.

Parece que o seu comportamento deve ser imprevisível, assim como o ambiente — mas não! Uma chave aleatória não abre um cadeado aleatório só porque eles são “ambos aleatórios”.

Você não combate fogo com fogo; combate fogo com água. Mas esse pensamento envolve um passo extra, um novo conceito não diretamente ativado pelo enunciado do problema, logo não é a primeira ideia que vem à mente.

No dilema das cartas azuis e vermelhas, nosso conhecimento parcial nos diz — em cada uma das rodadas — que o melhor palpite é azul. Esse conselho advindo do nosso conhecimento parcial é o mesmo em cada rodada. Se em 30% das vezes nós vamos contra o nosso conhecimento parcial e apostamos no vermelho, nos saímos pior — porque agora estamos sendo definitivamente estúpidos, apostando no que nós sabemos que é o resultado menos provável.

Se você apostasse no vermelho em todas as rodadas, teria o pior resultado possível; você seria 100% estúpido. Se apostar em 30% das vezes, diante de 30% de cartas vermelhas, então está sendo 30% estúpido.

Quando o seu conhecimento é incompleto — o que quer dizer que o mundo parecerá ter um elemento de aleatoriedade — aleatorizar as suas ações não resolve o problema. Randomizar as suas ações o leva para mais longe do alvo, não mais perto. Em um mundo já nebuloso, jogar fora a sua inteligência só torna as coisas piores.

É uma ideia contra intuitiva que a estratégia ótima seja pensar regularmente, mesmo sob condições de incerteza.

E assim não há muitos racionalistas, porque muitos que percebem um mundo caótico tentam combater o caos com caos. Você tem que tomar um passo extra, e pensar em algo que não aparece imediatamente em sua mente, para conseguir imaginar combater incêndios com algo que não seja fogo.

Você já ouviu pessoas mal-informadas dizerem: “A Racionalidade funciona bem para lidar com pessoas racionais, mas o mundo não é racional.” Mas diante de um oponente irracional, jogar fora a sua própria razão não vai te ajudar. Há regras de raciocínio que continuam gerando a melhor resposta, mesmo diante de oponentes que quebram essas regras. A teoria da decisão não explode em chamas e morre diante de um adversário que desobedece a teoria da decisão.

Isso não é mais óbvio que a ideia de apostar sempre em azul, diante de uma sequência de cartas azuis e vermelhas. Mas cada aposta que você faz no vermelho é uma perda esperada, assim como cada afastamento do Caminho em seu próprio pensamento.

Quantos episódios de Star Trek são, assim, refutados? Quantas teorias de Inteligência Artificial?

http://lesswrong.com/lw/vo/lawful_uncertainty/

Notas de Rodapé

  1. Dawes, Rational Choice in An Uncertain World; Yaacov Schul and Ruth Mayo, Searching for Certainty in an Uncertain World: The Difficulty of Giving Up the Experiential for the Rational Mode of Thinking Journal of Behavioral Decision Making 16, no. 2 (2003): 93–106, DOI:10.1002/bdm.434.
  2. Amos Tversky and Ward Edwards, “Information versus Reward in Binary Choices” Journal of Experimental Psychology 71, no. 5 (1966): 680–683, DOI:10.1037/h0023123.