Applause Lights

De Racionalidade
Revisão de 21h40min de 6 de maio de 2015 por Gusbicalho (Discussão | contribs) (Original)
(dif) ← Edição anterior | Revisão atual (dif) | Versão posterior → (dif)
Ir para: navegação, pesquisa

Original

At the Singularity Summit 2007, one of the speakers called for democratic, multinational development of Artificial Intelligence. So I stepped up to the microphone and asked:

Suppose that a group of democratic republics form a consortium to develop AI, and there’s a lot of politicking during the process—some interest groups have unusually large influence, others get shafted—in other words, the result looks just like the products of modern democracies. Alternatively, suppose a group of rebel nerds develops an AI in their basement, and instructs the AI to poll everyone in the world—dropping cellphones to anyone who doesn’t have them—and do whatever the majority says. Which of these do you think is more “democratic,” and would you feel safe with either?

I wanted to find out whether he believed in the pragmatic adequacy of the democratic political process, or if he believed in the moral rightness of voting. But the speaker replied:

The first scenario sounds like an editorial in Reason magazine, and the second sounds like a Hollywood movie plot.

Confused, I asked:

Then what kind of democratic process did you have in mind?

The speaker replied:

Something like the Human Genome Project—that was an internationally sponsored research project.

I asked:

How would different interest groups resolve their conflicts in a structure like the Human Genome Project?

And the speaker said:

I don’t know.

This exchange puts me in mind of a quote from some dictator or other, who was asked if he had any intentions to move his pet state toward democracy:

We believe we are already within a democratic system. Some factors are still missing, like the expression of the people’s will.

The substance of a democracy is the specific mechanism that resolves policy conflicts. If all groups had the same preferred policies, there would be no need for democracy—we would automatically cooperate. The resolution process can be a direct majority vote, or an elected legislature, or even a voter-sensitive behavior of an Artificial Intelligence, but it has to be something. What does it mean to call for a “democratic” solution if you don’t have a conflict-resolution mechanism in mind?

I think it means that you have said the word “democracy,” so the audience is supposed to cheer. It’s not so much a propositional statement, as the equivalent of the “Applause” light that tells a studio audience when to clap.

This case is remarkable only in that I mistook the applause light for a policy suggestion, with subsequent embarrassment for all. Most applause lights are much more blatant, and can be detected by a simple reversal test. For example, suppose someone says:

We need to balance the risks and opportunities of AI.

If you reverse this statement, you get:

We shouldn’t balance the risks and opportunities of AI.

Since the reversal sounds abnormal, the unreversed statement is probably normal, implying it does not convey new information. There are plenty of legitimate reasons for uttering a sentence that would be uninformative in isolation. “We need to balance the risks and opportunities of AI” can introduce a discussion topic; it can emphasize the importance of a specific proposal for balancing; it can criticize an unbalanced proposal. Linking to a normal assertion can convey new information to a bounded rationalist—the link itself may not be obvious. But if no specifics follow, the sentence is probably an applause light.

I am tempted to give a talk sometime that consists of nothing but applause lights, and see how long it takes for the audience to start laughing:

I am here to propose to you today that we need to balance the risks and opportunities of advanced Artificial Intelligence. We should avoid the risks and, insofar as it is possible, realize the opportunities. We should not needlessly confront entirely unnecessary dangers. To achieve these goals, we must plan wisely and rationally. We should not act in fear and panic, or give in to technophobia; but neither should we act in blind enthusiasm. We should respect the interests of all parties with a stake in the Singularity. We must try to ensure that the benefits of advanced technologies accrue to as many individuals as possible, rather than being restricted to a few. We must try to avoid, as much as possible, violent conflicts using these technologies; and we must prevent massive destructive capability from falling into the hands of individuals. We should think through these issues before, not after, it is too late to do anything about them . . .

http://lesswrong.com/lw/jb/applause_lights/

Luzes de Aplauso

No Singularity Summit 2007[N/T 1], um dos oradores apelou por um desenvolvimento democrático e multinacional da Inteligência Artificial. Então eu me aproximei do microfone e perguntei:

Suponha que um grupo de repúblicas democráticas formem um consórcio para desenvolver IA, e haja um monte de politicagem durante o processo – alguns grupos de interesse exercem uma grandíssima influência, enquanto outros são postos de lado – em outras palavras, o resultado se parece exatamente com os produtos da democracia moderna. Alternativamente, suponha que um grupo de nerds rebeldes desenvolva uma IA em seu porão, e instruam a IA a contar os votos de todas as pessoas no mundo – entregando celulares a quem não tenha um – e fazer aquilo que a maioria disser. Qual desses você considera mais “democrático”, e você se sentiria seguro com algum deles?

Eu queria saber se ele acreditava na adequação pragmática do processo de política democrática, ou se ele acreditava na retidão moral da votação. Mas o orador respondeu:

O primeiro cenário soa como um editorial da revista Reason[N/T 2], e o segundo soa como o enredo de um filme de Hollywood.

Confuso, perguntei:

Então que tipo de processo democrático você tinha em mente?

O orador respondeu:

Algo como o Projeto Genoma – que foi um projeto de pesquisa patrocinado internacionalmente.

Perguntei:

Como grupos com interesses diferentes resolveriam seus conflitos em uma estrutura semelhante ao Projeto Genoma?

E o orador disse:

Eu não sei.

Esta troca me faz lembrar uma citação de algum ditador ou outro, que foi questionado se ele tinha qualquer intenção de conduzir seu estado de estimação para democracia:

Nós acreditamos que já estamos em um sistema democrático. Alguns fatores ainda faltam, como a expressão da vontade das pessoas.

A substância de uma democracia é o mecanismo específico que resolve os conflitos políticos. Se todos os grupos tivessem as mesmas preferências políticas, não haveria necessidade de democracia – nós cooperaríamos automaticamente. O processo de resolução pode ser o voto direto da maioria, ou uma legislatura eleita, ou mesmo um comportamento sensível ao eleitor de uma Inteligência Artificial, mas precisa ser alguma coisa. O que significa clamar por uma solução “democrática” sem ter um mecanismo de resolução de conflitos em mente?

Eu acho que significa que já que você disse a palavra “democracia”, o auditório deve aplaudir. Não é bem uma afirmação proposicional, está mais para o equivalente à luz de “Aplauso” que diz a uma audiência de estúdio quando bater palmas.

Esse caso é notável apenas porque eu confundi a luz de aplauso com uma sugestão de política, com subsequente constrangimento para todos. A maioria das luzes de aplauso são muito mais evidentes, e podem ser detectadas por um simples teste de inversão. Por exemplo, suponha que alguém diga:

Precisamos equilibrar os riscos e as oportunidades da IA.

Se você inverter esta declaração, obtém:

Nós não devemos equilibrar os riscos e as oportunidades da IA.

Uma vez que a inversão soa anormal, a declaração desinvertida é provavelmente normal, implicando que ela não transmite informação nova. Há muitas razões legítimas para proferir uma sentença que seria não-informativa isoladamente. “Nós precisamos equilibrar os riscos e as oportunidades da IA” pode introduzir um tópico de discussão; ela pode enfatizar a importância de uma proposta específica para esse equilíbrio; ela pode criticar uma proposta desequilibrada. Fazer referência a uma afirmação normal pode transmitir informação nova a um racionalista limitado[N/T 3] – o vínculo entre um assunto e outro em si pode não ser óbvio. Mas se nenhuma especificidade se segue, a sentença é provavelmente uma luz de aplauso.

Me sinto tentado a dar uma palestra em algum momento que consista em nada além de luzes de aplauso, e ver quanto tempo leva para o público começar a rir:

Estou aqui para propor a vocês hoje que nós precisamos equilibrar os riscos e as oportunidades da Inteligência Artificial avançada. Devemos evitar os riscos e, na medida do possível, perceber as oportunidades. Nós não devemos desnecessariamente confrontar riscos absolutamente dispensáveis. Para alcançar esses objetivos, devemos planejar com sabedoria e racionalidade. Não devemos agir com medo e pânico, ou ceder à tecnofobia; mas também não devemos agir com entusiasmo cego. Devemos respeitar os interesses de todas as partes que têm interesses em jogo na Singularidade. Temos de tentar garantir que os benefícios das tecnologias avançadas advenham para a maior quantidade de indivíduos possível, em vez de ficarem restritos a poucos. Temos de tentar evitar, tanto quanto possível, conflitos violentos usando essa tecnologia; e precisamos prevenir que capacidade de destruição em massa caia nas mãos de indivíduos. Devemos tentar pensar nessas questões antes, não depois, que seja tarde demais para fazer qualquer coisa a respeito...

http://lesswrong.com/lw/jb/applause_lights/


Notas de Tradução

  1. “Singularity Summit é uma conferência anual de ciência, tecnologia e futuro coproduzida pelo MIRI (Instituto de Pesquisa de Inteligência da Máquina) e Singularity University (Universidade de Singularidade)”. Tradução livre da página do Singularity Summit. Disponível em: <https://intelligence.org/singularitysummit/> Acesso em 1 de abril de 2015.
  2. “Reason é uma revista mensal libertária impressa, cobrindo política, cultura e idéias por meio de um mix provocativo de notícias, análises, comentários e crônicas.” Tradução livre da página da revista. Disponível em: <http://reason.com> Acesso em 1 de abril de 2015
  3. Em inglês, “bounded rationalist”, é um termo cunhado por Herbert A. Simon. Representa indivíduos que, ao tomar decisões racionais, são limitados pelas informações que possuem, as limitações cognitivas de seus cérebros e o tempo disponível para tomar a decisão. Bounded Rationality. In: Wikipédia: a enciclopédia livre. Disponível em: http://en.wikipedia.org/wiki/Bounded_rationality Acesso em 1 de abril de 2015