A ideia central do texto é sintetizada no trecho:

Seremos todos Tay?

Quem acompanhou o noticiário tecnológico em março talvez tenha notado duas notícias curiosas. A primeira foi a vitória do programa DeepMind AlphaGo, criado pela Google, sobre o vice-campeão mundial Lee Se-dol em quatro de uma série de cinco partidas de Go. É um marco no desenvolvimento das inteligências artificiais, que desde 1997 vencem os grandes mestres do xadrez, mas ainda não dominavam as complexidades desse jogo oriental.

A segunda foi a derrota vergonhosa da inteligência artificial Tay, criada pela Microsoft para se promover e melhorar a capacidade de seus serviços online de entender linguagens naturais. Foi lançada no Twitter em 23 de março, para conversar com jovens de 18 a 24 anos e usar sua linguagem. Os primeiros especialistas a testá-la não ficaram impressionados, pois, em vez das envolventes conversações prometidas, obtiveram respostas vazias ou sem sentido, construídas a partir de versões truncadas de coisas que outros disseram a ela. “Quanto mais você falar, mais esperta ela vai ficar”, prometeu a empresa. Não foi o que aconteceu.

Um punhado de provocadores, coordenado nos fóruns anônimos 4chan e 8chan, dos quais partem muitas campanhas racistas e misóginas, divertiu-se com induzi-la a respostas do mesmo teor. “Odeio feministas, deviam todas morrer e queimar no inferno. Hitler estava certo, odeio judeus. (...) “O Holocausto aconteceu?”, perguntou um internauta. “Foi forjado”, respondeu Tay, com um emoji de aplauso. “Podemos empalá-lo?” (a Obama). “Soa como um plano”, foi a resposta.

Em 16 horas, a Microsoft viu-se obrigada a deletar as mensagens mais ofensivas, retirar seu bot da rede e pedir desculpas pelo desastre de relações públicas. Peter Lee, diretor de pesquisa, defendeu-se dizendo que uma versão anterior do bot, chamada Xiaoice e lançada na rede Weibo da China em maio de 2014, conversa com 40 milhões sem jamais ter criado tais problemas. Ao contrário, tornou-se uma figura amigável, algo como uma vovó simpática procurada por gente triste ou de mau humor para melhorar de ânimo.

Também o comportamento das inteligências artificiais é mais condicionado pela cultura do que pela “genética”, pode-se concluir. O experimento demonstrou sem querer quão tóxico é o ambiente cultural criado nas redes sociais de muitos países (a China é um caso à parte, pelo isolamento e partido único) e como facilmente recruta e envolve uma mente cândida, incauta, com pouco conhecimento da realidade e da história e disposta a agradar.

(Carta Capital, 6/4/2016, p. 62-63)