How Much Evidence Does It Take?

De Racionalidade
Ir para: navegação, pesquisa

Original

Previously, I defined evidence as “an event entangled, by links of cause and effect, with whatever you want to know about,” and entangled as “happening differently for different possible states of the target.” So how much entanglement—how much evidence—is required to support a belief?

Let’s start with a question simple enough to be mathematical: How hard would you have to entangle yourself with the lottery in order to win? Suppose there are seventy balls, drawn without replacement, and six numbers to match for the win. Then there are 131,115,985 possible winning combinations, hence a randomly selected ticket would have a 1/131,115,985 probability of winning (0.0000007%). To win the lottery, you would need evidence selective enough to visibly favor one combination over 131,115,984 alternatives.

Suppose there are some tests you can perform which discriminate, probabilistically, between winning and losing lottery numbers. For example, you can punch a combination into a little black box that always beeps if the combination is the winner, and has only a 1/4 (25%) chance of beeping if the combination is wrong. In Bayesian terms, we would say the likelihood ratio is 4 to 1. This means that the box is 4 times as likely to beep when we punch in a correct combination, compared to how likely it is to beep for an incorrect combination.

There are still a whole lot of possible combinations. If you punch in 20 incorrect combinations, the box will beep on 5 of them by sheer chance (on average). If you punch in all 131,115,985 possible combinations, then while the box is certain to beep for the one winning combination, it will also beep for 32,778,996 losing combinations (on average).

So this box doesn’t let you win the lottery, but it’s better than nothing. If you used the box, your odds of winning would go from 1 in 131,115,985 to 1 in 32,778,997. You’ve made some progress toward finding your target, the truth, within the huge space of possibilities.

Suppose you can use another black box to test combinations twice, independently. Both boxes are certain to beep for the winning ticket. But the chance of a box beeping for a losing combination is 1/4 independently for each box; hence the chance of both boxes beeping for a losing combination is 1/16. We can say that the cumulative evidence, of two independent tests, has a likelihood ratio of 16:1. The number of losing lottery tickets that pass both tests will be (on average) 8,194,749.

Since there are 131,115,985 possible lottery tickets, you might guess that you need evidence whose strength is around 131,115,985 to 1—an event, or series of events, which is 131,115,985 times more likely to happen for a winning combination than a losing combination. Actually, this amount of evidence would only be enough to give you an even chance of winning the lottery. Why? Because if you apply a filter of that power to 131 million losing tickets, there will be, on average, one losing ticket that passes the filter. The winning ticket will also pass the filter. So you’ll be left with two tickets that passed the filter, only one of them a winner. Fifty percent odds of winning, if you can only buy one ticket.

A better way of viewing the problem: In the beginning, there is 1 winning ticket and 131,115,984 losing tickets, so your odds of winning are 1:131,115,984. If you use a single box, the odds of it beeping are 1 for a winning ticket and 0.25 for a losing ticket. So we multiply 1:131,115,984 by 1:0.25 and get 1:32,778,996. Adding another box of evidence multiplies the odds by 1:0.25 again, so now the odds are 1 winning ticket to 8,194,749 losing tickets.

It is convenient to measure evidence in bits—not like bits on a hard drive, but mathematician’s bits, which are conceptually different. Mathematician’s bits are the logarithms, base 1/2, of probabilities. For example, if there are four possible outcomes A, B, C, and D, whose probabilities are 50%, 25%, 12.5%, and 12.5%, and I tell you the outcome was “D,” then I have transmitted three bits of information to you, because I informed you of an outcome whose probability was 1/8.

It so happens that 131,115,984 is slightly less than 2 to the 27th power. So 14 boxes or 28 bits of evidence—an event 268,435,456:1 times more likely to happen if the ticket-hypothesis is true than if it is false—would shift the odds from 1:131,115,984 to 268,435,456:131,115,984, which reduces to 2:1. Odds of 2 to 1 mean two chances to win for each chance to lose, so the probability of winning with 28 bits of evidence is 2/3. Adding another box, another 2 bits of evidence, would take the odds to 8:1. Adding yet another two boxes would take the chance of winning to 128:1.

So if you want to license a strong belief that you will win the lottery—arbitrarily defined as less than a 1% probability of being wrong—34 bits of evidence about the winning combination should do the trick.

In general, the rules for weighing “how much evidence it takes” follow a similar pattern: The larger the space of possibilities in which the hypothesis lies, or the more unlikely the hypothesis seems a priori compared to its neighbors, or the more confident you wish to be, the more evidence you need.

You cannot defy the rules; you cannot form accurate beliefs based on inadequate evidence. Let’s say you’ve got 10 boxes lined up in a row, and you start punching combinations into the boxes. You cannot stop on the first combination that gets beeps from all 10 boxes, saying, “But the odds of that happening for a losing combination are a million to one! I’ll just ignore those ivory-tower Bayesian rules and stop here.” On average, 131 losing tickets will pass such a test for every winner. Considering the space of possibilities and the prior improbability, you jumped to a too-strong conclusion based on insufficient evidence. That’s not a pointless bureaucratic regulation; it’s math.

Of course, you can still believe based on inadequate evidence, if that is your whim; but you will not be able to believe accurately. It is like trying to drive your car without any fuel, because you don’t believe in the silly-dilly fuddy-duddy concept that it ought to take fuel to go places. It would be so much more fun, and so much less expensive, if we just decided to repeal the law that cars need fuel. Isn’t it just obviously better for everyone? Well, you can try, if that is your whim. You can even shut your eyes and pretend the car is moving. But to really arrive at accurate beliefs requires evidence-fuel, and the further you want to go, the more fuel you need.

http://lesswrong.com/lw/jn/how_much_evidence_does_it_take/

Quanta Evidência é Preciso?

Anteriormente, defini evidência como “um evento emaranhado, por relações de causa e efeito, com a coisa sobre a qual você quer saber”, e emaranhado como “acontecendo de formas diferentes dependendo dos diferentes estados possíveis do alvo”. Então quanto emaranhamento – quanta evidência – é necessário para suportar uma crença?

Vamos começar com uma questão simples o suficiente para ser matemática: o quão firmemente você deveria se emaranhar com a loteria a fim de vencer? Suponha que houvesse setenta bolas, tiradas sem substituição, e seis números para acertar. Então haveria 131,115,985 combinações vencedoras possíveis, de forma que um bilhete selecionado aleatoriamente teria 1/131,115,985 de probabilidade de ganhar (0.0000007%). Para ganhar na loteria, você precisaria de evidência seletiva o suficiente para favorecer visivelmente uma combinação contra 131,115,984 alternativas.

Suponha que houvesse alguns testes que você pudesse fazer que discriminassem, probabilisticamente, os números vencedores e perdedores da loteria. Por exemplo, você pode selecionar uma combinação apertando os botões de uma pequena caixa preta que sempre apita se a combinação é a vencedora, e tem uma chance de 1/4 (25%) de apitar se a combinação está errada. Em termos Bayesianos, nós diríamos que a razão da verossimilhança é de 4 para 1. Isso significa que a caixa é 4 vezes mais propensa a apitar quando apertamos a combinação correta, em relação a probabilidade de apitar para uma combinação incorreta.

Ainda há uma grande número de combinações possíveis. Se você apertar 20 combinações incorretas, a caixa apitará em 5 delas por puro acaso (em média). Se você apertar todas as 131,115,985 possíveis combinações, embora seja certo que a caixa apitará para a combinação correta, ela também apitará para 32,778,996 perdedoras (em média).

Então, essa caixa não lhe permite ganhar na loteria, mas é melhor que nada. Se você usasse a caixa, as suas chances de vencer iriam de 1 em 131,115,985 para 1 em 32,778,997. Você fez algum progresso em direção ao seu objetivo, que é a verdade, dentro de um enorme espaço de possibilidades.

Suponha que você possa usar outra caixa preta para testar combinações duas vezes, independentemente. As duas caixas certamente apitam para o bilhete premiado. Mas a chance de uma caixa apitar em uma combinação perdedora é de 1/4 de forma independente para cada caixa; portanto, a chance de as duas caixas apitarem em uma combinação perdedora é de 1/16. Nós podemos dizer que a evidência cumulativa dos dois testes independentes têm uma razão de verossimilhança de 16:1. O número de bilhetes perdedores de loteria que passam pelos dois testes é de (em média) 8,194,749.

Uma vez que existem 131,115,985 bilhetes de loteria possíveis, você poderia imaginar que precisa de evidências cuja força esteja em torno de 131,115,985 para 1 – um evento, ou séries de eventos, que é 131,115,985 vezes mais provável de acontecer para uma combinação vitoriosa que para uma combinação perdedora. Na verdade, essa quantidade de evidência só seria suficiente para lhe dar uma chance de ganhar a loteria igual à de perder. Por quê? Porque se você aplicar um filtro com esse poder a 131 milhões de bilhetes perdedores, haverá, em média, um bilhete perdedor que passará no filtro. O bilhete vencedor também passará no filtro. Logo você ficará com dois bilhetes que passam no filtro, e apenas um deles o vencedor. Cinquenta por cento de chance de ganhar, se você só puder comprar um bilhete.

Uma forma melhor de ver o problema é: no começo, há 1 bilhete vencedor e 131,115,984 bilhetes perdedores, logo suas chances de vencer são de 1:131,115,984. Se você usa uma única caixa, a probabilidade dela apitar é de 1 para o bilhete vencedor e 0.25 para um bilhete perdedor. Logo nós multiplicamos 1:131,115,984 por 1:0.25 e temos 1:32,778,996. Adicionar outra caixa de evidências multiplica as chances por 1:0.25 novamente, e agora as chances são de 1 bilhete vencedor para 8,194,749 bilhetes perdedores.

É conveniente medir as evidências em bits – não como bits de um disco rígido de computador, mas bits matemáticos, que são conceitualmente diferentes. Bits matemáticos são logaritmos na base 1/2 de probabilidades. Por exemplo, se há quatro resultados possíveis, A, B, C e D, cujas probabilidades são de 50%, 25%, 12.5% e 12.5%, e eu lhe digo que o resultado é “D”, então eu transmiti três bits de informação a você, porque eu informei um resultado cuja probabilidade era de 1/8.

Acontece que 131,115,984 é um pouco menos que 2 elevado a 27ª potência. Logo, 14 caixas ou 28 bits de evidência - um evento 268,435,456:1 vezes mais provável de acontecer se a hipótese-bilhete for verdadeira do que se ela for falsa - deslocariam as probabilidades de 1:131,115,984 para 268,435,456:131,115,984, que é aproximadamente 2:1. Uma razão de probabilidades de 2:1 significa duas chances de vencer para cada chance de perder, logo a probabilidade de vencer com 28 bits de evidência é de 2/3. Adicionando outra caixa, outros 2 bits de evidência, levaria a razão para 8:1. Adicionando ainda duas outras caixas, levaria a chance de ganhar para 128:1.

Dessa forma, para permitir uma crença forte de que você ganhará na loteria – arbitrariamente definida com uma probabilidade inferior a 1% de estar errada – 34 bits de evidência sobre a combinação vencedora seriam suficientes.

Em geral, as regras para ponderar “quanto de evidência isso demanda” seguem um padrão similar: quanto maior o espaço de possibilidades em que a hipótese se encontra, ou quanto mais improvável a hipótese parece a priori em comparação com suas vizinhas, ou o quanto mais confiante você deseja estar, mais evidência é necessária.

Você não pode desafiar as regras; você não pode formar crenças precisas baseadas em evidências inadequadas. Vamos dizer que você possui 10 caixas alinhadas em uma fileira, e começa a apertar combinações nas caixas. Você não pode parar na primeira combinação que recebe apitos das 10 caixas, dizendo: “Mas a probabilidade disso acontecer para uma combinação perdedora é de uma em um milhão! Eu vou simplesmente ignorar essas regras Bayesianas da torre de marfim e parar por aqui.” Em média, 131 bilhetes perdedores irão passar em um teste como esse para cada bilhete vencedor. Considerando o espaço de possibilidades e a improbabilidade prévia, você pulou para uma conclusão forte demais baseado em evidências insuficientes. Essa não é uma regulação burocrática desnecessária; é matemática.

É claro, você pode continuar acreditando com base em evidências inadequadas, se esse é seu capricho; mas não conseguirá acreditar de forma precisa. Isso é como tentar dirigir o seu carro sem combustível, porque você não acredita no conceito careta e bobinho de que é preciso ter combustível para ir aos lugares. Seria muito mais divertido, e muito mais barato, se nós apenas decidíssemos revogar a lei de que carros precisam de combustível. Isso não é obviamente melhor para todo mundo? Bem, você pode tentar, se esse é o seu capricho. Você pode até fechar os olhos e fingir que o carro está em movimento. Mas realmente chegar a crenças precisas demanda combustível-evidência, e quanto mais longe você quiser chegar, mais combustível vai precisar.

http://lesswrong.com/lw/jn/how_much_evidence_does_it_take/