Conservation of Expected Evidence

De Racionalidade
Ir para: navegação, pesquisa

Original

Friedrich Spee von Langenfeld, a priest who heard the confessions of condemned witches, wrote in 1631 the Cautio Criminalis (“prudence in criminal cases”), in which he bitingly described the decision tree for condemning accused witches: If the witch had led an evil and improper life, she was guilty; if she had led a good and proper life, this too was a proof, for witches dissemble and try to appear especially virtuous. After the woman was put in prison: if she was afraid, this proved her guilt; if she was not afraid, this proved her guilt, for witches characteristically pretend innocence and wear a bold front. Or on hearing of a denunciation of witchcraft against her, she might seek flight or remain; if she ran, that proved her guilt; if she remained, the devil had detained her so she could not get away.

Spee acted as confessor to many witches; he was thus in a position to observe every branch of the accusation tree, that no matter what the accused witch said or did, it was held as proof against her. In any individual case, you would only hear one branch of the dilemma. It is for this reason that scientists write down their experimental predictions in advance.

But you can’t have it both ways—as a matter of probability theory, not mere fairness. The rule that “absence of evidence is evidence of absence” is a special case of a more general law, which I would name Conservation of Expected Evidence: The expectation of the posterior probability, after viewing the evidence, must equal the prior probability.

P(H) = P(H,E) + P(H,¬E)

P(H) = P(H|E) × P(E) + P(H,¬E) × P(¬E)

Therefore, for every expectation of evidence, there is an equal and opposite expectation of counterevidence.

If you expect a strong probability of seeing weak evidence in one direction, it must be balanced by a weak expectation of seeing strong evidence in the other direction. If you’re very confident in your theory, and therefore anticipate seeing an outcome that matches your hypothesis, this can only provide a very small increment to your belief (it is already close to 1); but the unexpected failure of your prediction would (and must) deal your confidence a huge blow. On average, you must expect to be exactly as confident as when you started out. Equivalently, the mere expectation of encountering evidence—before you’ve actually seen it—should not shift your prior beliefs. (Again, if this is not intuitively obvious, see An Intuitive Explanation of Bayesian Reasoning.)

So if you claim that “no sabotage” is evidence for the existence of a Japanese-American Fifth Column, you must conversely hold that seeing sabotage would argue against a Fifth Column. If you claim that “a good and proper life” is evidence that a woman is a witch, then an evil and improper life must be evidence that she is not a witch. If you argue that God, to test humanity’s faith, refuses to reveal His existence, then the miracles described in the Bible must argue against the existence of God.

Doesn’t quite sound right, does it? Pay attention to that feeling of this seems a little forced, that quiet strain in the back of your mind. It’s important.

For a true Bayesian, it is impossible to seek evidence that confirms a theory. There is no possible plan you can devise, no clever strategy, no cunning device, by which you can legitimately expect your confidence in a fixed proposition to be higher (on average) than before. You can only ever seek evidence to test a theory, not to confirm it.

This realization can take quite a load off your mind. You need not worry about how to interpret every possible experimental result to confirm your theory. You needn’t bother planning how to make any given iota of evidence confirm your theory, because you know that for every expectation of evidence, there is an equal and oppositive expectation of counterevidence. If you try to weaken the counterevidence of a possible “abnormal” observation, you can only do it by weakening the support of a “normal” observation, to a precisely equal and opposite degree. It is a zero-sum game. No matter how you connive, no matter how you argue, no matter how you strategize, you can’t possibly expect the resulting game plan to shift your beliefs (on average) in a particular direction.

You might as well sit back and relax while you wait for the evidence to come in.

. . . Human psychology is so screwed up.

http://lesswrong.com/lw/ii/conservation_of_expected_evidence/

Conservação da Evidência Esperada

Friedrich Spee von Langenfeld, um padre que ouvia confissões de bruxas condenadas, escreveu em 1631 o Cautio Criminalis (“prudência em casos criminais”), no qual descreveu mordazmente a árvore de decisão para condenar acusadas de bruxaria: Se a bruxa tivesse levado uma vida má e imprópria, ela era culpada; se tivesse levado uma vida boa e própria, isso também era uma prova, pois bruxas dissimulam e tentam parecer especialmente virtuosas. Depois de a mulher ser colocada na prisão: se ela estivesse com medo, isso provava a sua culpa; se ela não estivesse com medo, isso provava sua culpa, porque bruxas caracteristicamente fingem inocência e mantém uma fachada corajosa. Ou, ao saber de uma denúncia de bruxaria contra ela, ela pode tentar fugir ou permanecer; se ela fugisse, isso provava a sua culpa; se ela ficasse, o diabo a havia detido para que não pudesse fugir.

Spee agiu como confessor de muitas bruxas; ele estava, portanto, em posição de observar cada ramo da árvore de acusação, em que não importava o que a acusada de bruxaria dissesse ou fizesse, sempre serviria como prova contra ela. Em cada caso individual, você só ouviria um ramo do dilema. É por essa razão que os cientistas escrevem as suas previsões experimentais antecipadamente.

Mas você não pode ter as duas coisas – como uma questão de teoria da probabilidade, e não de mera justiça. A regra que “ausência de evidência é evidência da ausência” é um caso especial de uma lei mais geral, que eu chamaria de “Conservação da Evidência Esperada”: A expectativa da probabilidade posterior, depois de ver as evidências, tem de ser igual à probabilidade prévia.

P(H) = P(H,E) + P(H,¬E)

P(H) = P(H|E) × P(E) + P(H|¬E) × P(¬E)

Portanto, para toda expectativa de evidência, há uma expectativa igual e oposta de contra-evidência.

Se você espera uma forte probabilidade de encontrar evidências fracas em uma direção, isso deve ser balanceado por uma expectativa fraca de encontrar fortes evidências na outra direção. Se você está muito confiante na sua teoria e, portanto, antecipa ver um resultado que confirme a sua hipótese, isso só pode fornecer um pequeno incremento em sua crença (que já está próxima de 1); mas o fracasso inesperado da sua predição pode (e deve) dar em sua confiança um grande golpe. Na média, você deve esperar estar exatamente tão confiante quanto estava quando começou. De forma equivalente, a mera expectativa de encontrar evidência – antes de realmente encontrá-la – não deveria mudar as suas crenças prévias. (Novamente, se isso não é intuitivamente óbvio, ver Uma explicação intuitiva da razão Bayesiana.)

Então, se você afirma que “não sabotagem” é evidência favorável de uma Quinta Coluna Nipo-Americana, você deve considerar, inversamente, que a ocorrência de uma sabotagem seria um argumento contra uma Quinta Coluna. Se você alega que “uma vida boa e própria” é evidência de que uma mulher é uma bruxa, então uma vida má e imprópria deve ser evidência de que ela não é uma bruxa. Se você argumenta que Deus, para testar a fé da humanidade, recusa-se a revelar a Sua existência, então os milagres descritos na Bíblia devem servir de argumento contra a existência de Deus.

Isso não soa muito bem, não é? Preste atenção àquele sentimento de isso parece um pouco forçado, que silenciosamente pesa no fundo da sua mente. É importante.

Para um verdadeiro Bayesiano, é impossível procurar evidência que confirme uma teoria. Não há qualquer plano possível que você possa inventar, nenhuma estratégia inteligente, nenhum dispositivo astucioso pelo qual possa legitimamente esperar que a sua confiança em uma proposição fixa venha a ser maior (em média) do que antes. Você pode apenas procurar evidências para testar uma teoria, não para confirmá-la.

Essa percepção pode aliviar bastante a sua mente. Você não precisa se preocupar com como interpretar cada possível resultado experimental de modo a confirmar a teoria. Não precisa se preocupar em planejar como fazer com que todos os pedacinhos de evidência confirmem a sua teoria, porque você sabe que para cada expectativa de evidência, há uma expectativa igual e oposta de contra-evidência. Se você tentar enfraquecer a contra-evidência decorrente de uma possível observação “anormal”, só poderá fazer isso enfraquecendo o suporte que poderá extrair de uma observação “normal”, a um grau precisamente igual e oposto. É um jogo de soma zero. Não importa o quão conivente você seja, não importa o quanto argumente, não importa que estratégias crie, você não pode esperar que o seu plano acabe mudando as suas crenças (em média) em uma direção específica.

Você pode muito bem sentar e relaxar enquanto espera as evidências chegarem.

... A psicologia humana é tão mal-feita.

http://lesswrong.com/lw/ii/conservation_of_expected_evidence/