Não é seu amigo

Upam com seus próprios interesses

CONFUSÕES Mas, de fato, como saber? Tanto do que está acontecendo entre o público e o Vale do Silício não é visível —estamos falando de algoritmos escritos e controlados por magos capazes de extrair valor da sua identidade de formas que você jamais seria capaz de fazer.

Quando Brin, Page e Zuckerberg voltaram atrás quanto à busca de lucros, eles perceberam algo de estranho: o público parecia não se incomodar.

“Você sabe qual a reação mais comum, honestamente?”, Brin disse em 2002 quando lhe perguntaram como o público reagia à presença de publicidade no Google. “É: ‘que anúncios?’. As pessoas ou não fizeram buscas que resultaram em anúncios ou não perceberam sua presença. Uma terceira possibilidade é que tenham visto anúncios durante suas buscas, mas logo se esqueceram disso —o que me parece o cenário mais provável”.

As interações entre pessoas e seus computadores sempre estiveram destinadas a ser confusas e, para programadores, seria fácil explorar essa confusão.

John McCarthy, pioneiro da ciência da computação que cultivou os primeiros hackers no Instituto de Tecnologia de Massachusetts (MIT) e depois gerenciou o laboratório de inteligência artificial na Universidade Stanford, preocupava-se com o fato de os programadores não compreenderem suas responsabilidades.

“Os computadores terminarão com uma psicologia conveniente para os seus designers (e eles serão bastardos fascistas se os designers não pararem para pensar)”, ele escreveu em 1983. “Os criadores de programas têm a tendência de pensar nos usuários como idiotas que precisam ser controlados. Mas na verdade deveriam pensar em seus programas como servos, cujo mestre, o usuário, deveria ser capaz de controlar.” IGNORÂNCIA Podemos definir o dilema como o “problema Eliza”. Em 1966, Joseph Weizenbaum, professor do MIT, revelou um programa de computador, o Eliza, que imitava o comportamento de um psicoterapeuta.

O programa, seguindo um roteiro, interrogava o interlocutor sobre os seus sentimentos em relação aos pais ou tentava estimulá-lo a reformular o que havia dito em forma de pergunta.

O programa imediatamente tocou um nervo e se tornou uma espécie de fenômeno nacional, para surpresa de Weizenbaum. O jornal “The New York Times”, por exemplo, perdeu o fôlego: “Computador está sendo ensinado a falar inglês”.

Eliza não entendia nada, na verdade, e nunca seria capaz alcançar uma percepção compartilhada com um “paciente”. Eliza mecanicamente respondia o que quer que aparecesse em sua tela. Uma típica sessão de terapia logo se tornava um quadro de Monty Python. (Paciente: Você não é muito agressiva, mas eu acho que você não quer que eu perceba isso. Eliza: O que te faz pensar que eu não sou muito agressiva? Paciente: Você não discute comigo. Eliza: Por que você acha que não discuto com você? Paciente: Você tem medo de mim. Eliza: Te dá prazer acreditar que eu tenho medo de você?)

Imagine a surpresa de Weizenbaum quando sua secretária interrompeu um diálogo com Eliza, olhou para ele e disse “Você se incomodaria de sair, por favor?”. Ela queria privacidade para conversar com a máquina!

Weizenbaum, chocado, percebeu o potencial de estrago por programadores que poderiam manipular os computadores e, potencialmente, todos nós. Ele, rapidamente, mudou de rumo e dedicou seus anos restantes a protestar contra o que considerava a imoralidade de seus colegas na ciência da computação, frequentemente se referindo às suas experiências como um jovem refugiado da Alemanha nazista. MANIPULAÇÕES Em sua épica obra anti-inteligência artificial da metade dos anos 70, “Computer Power and Human Reason” (poder da computação e razão humana), Weizenbaum descrevia o cenário dos laboratórios de computação. “Homens jovens e brilhantes de aparência desmazelada, frequentemente com olhos afundados e brilhantes, podem ser vistos diante de seus consoles, braços tensos e dedos preparados para o ataque aos botões e teclas que parecem controlar sua atenção da mesma forma que dados controlam as atenções de apostadores ao serem rolados”. “Eles existem, ao menos quando estão tão envolvidos, somente através e para os computadores. Eles são como parasitas de computadores, programadores compulsivos.”

Weizenbaum se preocupava com eles enquanto jovens estudantes desprovidos de perspectiva sobre a vida e se inquietava com a possibilidade de que aquelas almas perturbadas se tornassem nossos novos líderes. Nem Weizenbaum e nem McCarthy mencionaram, embora fosse difícil ignorar, que aquela geração ascendente era quase toda formada por homens brancos com forte preferência por pessoas como eles próprios. Em uma palavra: eles eram incorrigíveis, acostumados com controle total do que aparecia em suas telas. “Nenhum dramaturgo, nenhum diretor de teatro, nenhum imperador, por mais poderoso que seja”, escreveu Weizenbaum, “jamais exerceu tamanha autoridade para organizar um palco ou um campo de batalha e comandou atores ou soldados tão inflexivelmente obedientes.”

Bem-vindo ao Vale do Silício em 2017.

Como temia Weizenbaum, os atuais líderes da tecnologia descobriram que as pessoas confiam em seus computadores e ficam lambendo os beiços diante das possibilidades. Os exemplos de manipulação pelo Vale do Silício são numerosos demais para listar: notificações forçadas, preços de horário de pico, recomendações de possíveis amigos, sugestões de filmes, pessoas que compraram isso também compraram aquilo.

Bem cedo o Facebook percebeu que era difícil convencer as pessoas a ficarem conectadas. “Chegamos a esse número mágico de que você precisava encontrar dez amigos”, lembrou Zuckerberg em 2011. “E uma vez que você tivesse dez amigos, haveria conteúdo suficiente em seu feed de notícias para que em intervalos razoáveis valesse a pena voltar para o site”. O Facebook projetaria seu site para novas chegadas de modo que tudo girasse em torno de encontrar pessoas para adicionar como amigos. EFEITO REDE Aregradosdez amigos é exemplo de uma forma de manipulação muito querida das empresas de tecnologia, o efeito rede. Pessoas usarão o seu serviço —por mais cretino que ele seja— se outros o usarem. Trata-se de um raciocínio tautológico que se provou verdadeiro: se todo mundo está no Facebook, então todo mundo está no Facebook. É preciso fazer o que for preciso para que as pessoas continuem conectadas e, se rivais surgirem, eles devem ser esmagados ou, caso se provem persistentes, adquiridos.

Crescimento se torna a motivação suprema —algo que é apreciado em si e por si, e não por qualquer coisa que propicie ao mundo. Facebook e Google podem invocar uma utilidade maior que deriva de serem repositórios essenciais de todas as pessoas, toda a informação, mas tamanho domínio de mercado tem suas óbvias desvantagens, e não só a falta de concorrência. Como temos visto, a extrema concentração de riqueza e poder é uma ameaça à nossa democracia por eximir certas pessoas e empresas de responsabilidade.

Além de seu poder, as empresas de tecnologia têm uma ferramenta que as demais indústrias poderosas não têm: o sentimento em ge-