Applause Lights

De Racionalidade
Revisão de 17h45min de 16 de março de 2015 por Gusbicalho (Discussão | contribs) (Criou página com '{| cellspacing=10 |- valign=top | == Original == At the Singularity Summit 2007, one of the speakers called for democratic, multinational development of Artificial Intelligenc...')
(dif) ← Edição anterior | Revisão atual (dif) | Versão posterior → (dif)
Ir para: navegação, pesquisa

Original

At the Singularity Summit 2007, one of the speakers called for democratic, multinational development of Artificial Intelligence. So I stepped up to the microphone and asked:

Suppose that a group of democratic republics form a consortium to develop AI, and there’s a lot of politicking during the process—some interest groups have unusually large influence, others get shafted—in other words, the result looks just like the products of modern democracies. Alternatively, suppose a group of rebel nerds develops an AI in their basement, and instructs the AI to poll everyone in the world—dropping cellphones to anyone who doesn’t have them—and do whatever the majority says. Which of these do you think is more “democratic,” and would you feel safe with either?

I wanted to find out whether he believed in the pragmatic adequacy of the democratic political process, or if he believed in the moral rightness of voting. But the speaker replied:

The first scenario sounds like an editorial in Reason magazine, and the second sounds like a Hollywood movie plot.

Confused, I asked:

Then what kind of democratic process did you have in mind?

The speaker replied:

Something like the Human Genome Project—that was an internationally sponsored research project.

I asked:

How would different interest groups resolve their conflicts in a structure like the Human Genome Project?

And the speaker said:

I don’t know.

This exchange puts me in mind of a quote from some dictator or other, who was asked if he had any intentions to move his pet state toward democracy:

We believe we are already within a democratic system. Some factors are still missing, like the expression of the people’s will.

The substance of a democracy is the specific mechanism that resolves policy conflicts. If all groups had the same preferred policies, there would be no need for democracy—we would automatically cooperate. The resolution process can be a direct majority vote, or an elected legislature, or even a voter-sensitive behavior of an Artificial Intelligence, but it has to be something. What does it mean to call for a “democratic” solution if you don’t have a conflict-resolution mechanism in mind?

I think it means that you have said the word “democracy,” so the audience is supposed to cheer. It’s not so much a propositional statement, as the equivalent of the “Applause” light that tells a studio audience when to clap.

This case is remarkable only in that I mistook the applause light for a policy suggestion, with subsequent embarrassment for all. Most applause lights are much more blatant, and can be detected by a simple reversal test. For example, suppose someone says:

We need to balance the risks and opportunities of AI.

If you reverse this statement, you get:

We shouldn’t balance the risks and opportunities of AI.

Since the reversal sounds abnormal, the unreversed statement is probably normal, implying it does not convey new information. There are plenty of legitimate reasons for uttering a sentence that would be uninformative in isolation. “We need to balance the risks and opportunities of AI” can introduce a discussion topic; it can emphasize the importance of a specific proposal for balancing; it can criticize an unbalanced proposal. Linking to a normal assertion can convey new information to a bounded rationalist—the link itself may not be obvious. But if no specifics follow, the sentence is probably an applause light.

I am tempted to give a talk sometime that consists of nothing but applause lights, and see how long it takes for the audience to start laughing:

I am here to propose to you today that we need to balance the risks and opportunities of advanced Artificial Intelligence. We should avoid the risks and, insofar as it is possible, realize the opportunities. We should not needlessly confront entirely unnecessary dangers. To achieve these goals, we must plan wisely and rationally. We should not act in fear and panic, or give in to technophobia; but neither should we act in blind enthusiasm. We should respect the interests of all parties with a stake in the Singularity. We must try to ensure that the benefits of advanced technologies accrue to as many individuals as possible, rather than being restricted to a few. We must try to avoid, as much as possible, violent conflicts using these technologies; and we must prevent massive destructive capability from falling into the hands of individuals. We should think through these issues before, not after, it is too late to do anything about them . . .

http://lesswrong.com/lw/jb/applause_lights/

Luzes de Aplauso

Na Cimeira Singularity de 2007, um dos oradores chamados para o desenvolvimento democrático, multinacional de Inteligência Artificial. Então, eu se aproximou do microfone e perguntou:

Suponha-se que um grupo de repúblicas democráticas formar um consórcio para desenvolver AI, e há um monte de politicagem durante o processo de alguns grupos de interesse têm invulgarmente grande influência, outros se shafted, em outras palavras, o resultado se parece com os produtos das democracias modernas . Como alternativa, suponha que um grupo de nerds rebeldes desenvolve um AI em seu porão, e instrui o AI para consultar todos os celulares de cair o mundo para quem não os têm e fazer o que a maioria diz. Qual desses você acha que é mais "democrático", e você se sentiria seguro com qualquer um?

Eu queria saber se ele acreditava na adequação pragmática do processo político democrático, ou se ele acreditava na retidão moral da votação. Mas o orador respondeu:

O primeiro cenário soa como um editorial no Reason revista, eo segundo soa como um filme de enredo Hollywood.

Confuso, perguntei:

Então que tipo de processo democrático que você tem em mente?

O orador respondeu:

Algo como o Projeto Genoma Humano, que era um projeto de pesquisa patrocinado internacionalmente.

Perguntei:

Como diferentes grupos de interesse iria resolver seus conflitos de uma estrutura como o Projeto Genoma Humano?

E o orador disse:

Eu não sei.

Esta troca me faz lembrar de uma citação de algum ditador ou outro, que foi perguntado se ele tinha qualquer intenção de mover seu estado animal de estimação para a democracia:

Acreditamos que já estão dentro de um sistema democrático. Alguns fatores ainda estão desaparecidas, como a expressão da vontade do povo.

A substância de uma democracia é o mecanismo específico que resolve os conflitos políticos. Se todos os grupos tiveram as mesmas políticas preferenciais, não haveria necessidade de democracia de que iria cooperar automaticamente. O processo de resolução pode ser um voto direto maioria, ou uma legislatura eleita, ou até mesmo um comportamento sensível ao eleitor de uma Inteligência Artificial, mas ele tem que ser alguma coisa. O que isso significa para pedir uma solução "democrática" se você don ' t têm um mecanismo de resolução de conflitos em mente?

Eu acho que isso significa que você disse a palavra "democracia", para que o público é suposto a aplaudir. Não é tanto uma declaração proposicional, como o equivalente da luz "Aplauso" que conta uma platéia no estúdio quando a bater palmas.

Este caso é notável apenas no que eu confundi a luz aplausos para uma sugestão de política, com embaraço subseqüente para todos. A maioria das luzes aplauso são muito mais evidente, e pode ser detectada por um teste simples inversão. Por exemplo, suponha que alguém diz:

Precisamos equilibrar os riscos e as oportunidades da AI.

Se você inverter esta declaração, você obtém:

Não devemos equilibrar os riscos e as oportunidades da AI.

Desde a reversão soa ab normal, a declaração unreversed é provavelmente normal, o que implica que não transmite informações novas. Há uma abundância de razões legítimas para proferir uma sentença que seria uninformative isoladamente. "Precisamos equilibrar os riscos e as oportunidades da AI" pode introduzir um tópico de discussão; ele pode enfatizar a importância de uma proposta específica para o balanceamento; ele pode criticar uma proposta desequilibrado. Ligar a uma afirmação normal pode transmitir novas informações a uma limitada racionalista-o link em si pode não ser óbvio. Mas se não há especificidades seguir, a sentença é, provavelmente, uma luz aplausos.

Estou tentado a dar uma palestra em algum momento, que consiste em nada além de luzes de aplausos, e ver quanto tempo leva para o público começar a rir:

Estou aqui para propor a vocês hoje que é preciso equilibrar os riscos e oportunidades de avançadas de inteligência artificial. Devemos evitar os riscos e, na medida em que é possível, perceber as oportunidades. Não devemos desnecessariamente enfrentar perigos totalmente desnecessários. Para alcançar esses objetivos, devemos planejar com sabedoria e racionalmente. Não devemos agir de medo e pânico, ou ceder a tecnofobia; mas também não devemos agir de entusiasmo cego. Devemos respeitar os interesses de todas as partes com uma participação na Singularity. Temos de tentar garantir que os benefícios das tecnologias avançadas acumular a tantos indivíduos quanto possível, em vez de ser restrito a poucos. Temos de tentar evitar, tanto quanto possível, os conflitos violentos que utilizam estas tecnologias; e devemos evitar maciça capacidade destrutiva de cair nas mãos de indivíduos. Devemos pensar sobre estas questões antes, não depois, já é tarde demais para fazer qualquer coisa sobre eles. . .

http://lesswrong.com/lw/jb/applause_lights/