Racismo algorítmico é uma espécie de transposição do racismo estrutural da sociedade para ambientes digitais. A discriminação acontece principalmente por meio de ferramentas de inteligência artificial, que são alimentadas por algoritmos.
“Sistemas algorítmicos, às vezes chamados de inteligência artificial, são sistemas que tomam algum tipo de decisão a partir de alguns objetivos definidos: ranquear um conteúdo, classificar uma pessoa ou mesmo transformar um tipo de conteúdo ou de imagem ou de mídia. O problema é: temos um histórico de séculos de violência racial e de discriminação. Então, por exemplo, se um sistema de IA [inteligência artificial] generativa, que faz uma foto aparentemente de forma automatizada, se baseia no histórico de fotos sobre pessoas negras no Brasil, vai haver uma representação muito negativa, relacionada à criminalidade, relacionada à violência, relacionada à pobreza”, explica o mestre em comunicação e cultura contemporâneas pela Universidade Federal da Bahia (UFBA) Tarcízio Silva.
Autor do livro “Racismo Algorítmico: Inteligência artificial e Discriminação nas Redes Digitais”, o pesquisador reflete nesse podcast sobre o que acontece quando as máquinas e programas apresentam resultados discriminatórios. No áudio, Silva comenta que é falsa a ideia de que tecnologias digitais seriam neutras.
“Quando a gente pensa a internet, que foi muito festejada como a infovia do conhecimento, de fato revolucionou como a gente circula conhecimento, mas ao mesmo tempo aumentou a insegurança sobre o que é verdade e o que não é verdade. E a desinformação passou cada vez mais a ser estratégica para alguns grupos que preferem que a desinformação circule para diferentes fins: ganhos políticos, financeiros etc.”, argumenta.
Um exemplo de racismo algorítmico é quando uma pessoa negra é representada de forma negativa no resultado da busca de imagens na internet ou a partir de ferramentas de inteligência artificial. A doutora em ciência política pela Universidade Federal de Minas Gerais (UFMG) e pesquisadora do Data Privacy Brasil Johanna Monagreda cita o caso da deputada estadual Renata Souza (Psol-RJ) que, em outubro de 2023, relatou ter passado por esse tipo de discriminação ao gerar uma imagem via inteligência artificial.
“Ela deu as instruções para o aplicativo: ‘Ah, eu quero que você faça a imagem de uma mulher negra com cabelo black na favela’. Ela descreveu a imagem que queria, e a inteligência artificial devolveu para ela a imagem de uma mulher negra com cabelo black na favela e incorporou uma arma na mão daquele desenho. Esse é um claro exemplo de racismo algorítmico, porque estereótipos sobre pessoas negras e sobre estar na favela ou a vida em comunidade acabaram sendo imbricados na tecnologia, de forma que, na produção dessa imagem, a própria tecnologia fez a relação que a humanidade faz, que é aquela relação de a favela como um território de violência”, explica Monagreda.
Os pesquisadores trazem também outros exemplos com consequências que podem ser ainda mais prejudiciais. “Como um aplicativo de transporte, que estabelece preços maiores para comunidades onde mais pessoas negras e pobres moram ou mesmo no caso do reconhecimento facial, que tem uma precisão inferior quando se pensa em pessoas não brancas de modo geral”, afirma Silva.
Monagreda comenta ainda o caso do torcedor do time de futebol Confiança, que, em 13 de abril de 2024, foi detido por agentes da polícia militar por erro de reconhecimento facial. A situação aconteceu na final do Campeonato Sergipano. “Ele foi identificado pela câmera de reconhecimento facial como uma pessoa em conflito com a lei, e ele teve que passar por uma abordagem policial, saiu do estádio algemado. Mas, além disso, ele teve um constrangimento público muito grande, porque foi num estádio, na frente de todo mundo”, argumenta a pesquisadora.
Após o episódio, foi suspenso o uso de reconhecimento facial no estádio durante os jogos do time sergipano. Silva acredita que situações assim fazem uma parcela das pessoas perceber a necessidade de ter um olhar mais crítico sobre o que é acessado online.
“Isso é importante, é positivo, em alguma medida. E se a gente conseguir transformar a educação para que cada vez mais, enquanto cidadãos, possamos desenvolver essas habilidades – pesquisar a veracidade de informações e interagir online –, podemos ter um futuro mais produtivo, justo e seguro para todos, conclui o pesquisador.
Veja mais:
Crédito da imagem: VioletaStoimenova – Getty Images
Música: “The Bucket List”, de Quincas Moreira, fica de fundo.
Tarcízio Silva:
Muitos sistemas algorítmicos hoje se baseiam em técnicas de aprendizado de máquina, um sistema que vai tomar decisões ou produzir coisas a partir de dados históricos na saúde, na habitação, na mídia social.
O problema é: temos um histórico de séculos de violência racial e de discriminação. Então, por exemplo, se um sistema de IA generativa, que faz uma foto aparentemente de forma automatizada, se baseia no histórico de fotos sobre pessoas negras no Brasil, vai haver uma representação muito intensa negativa relacionada à criminalidade, relacionada à violência, relacionada à pobreza. Aí a pergunta é: a gente quer intensificar todos os erros do passado? Não queremos.
Sou Tarcízio Silva, um pesquisador em tecnologia e sociedade. Atualmente, eu faço uma pesquisa apoiada pela Fundação Mozilla. Como um dos resultados dessa pesquisa, lançamos recentemente a versão impressa do livro “Racismo Algorítmico: Inteligência Artificial e Discriminação nas Redes Digitais”, publicada pela Edições Sesc.
Vinheta: Instituto Claro – Cidadania
Música de Reynaldo Bessa, instrumental, fica de fundo
Marcelo Abud
Para Tarcízio Silva, as tecnologias de comunicação e informação têm sido uma forma de reprodução do racismo estrutural para o ambiente digital. Ele explica que essas manifestações de discriminação acontecem por meio de sistemas algorítmicos.
Tarcízio Silva:
Sistemas algorítmicos, às vezes chamados de inteligência artificial, são sistemas que tomam algum tipo de decisão a partir de alguns objetivos definidos: ranquear um conteúdo, classificar uma pessoa ou mesmo transformar um tipo de conteúdo ou de imagem ou de mídia.
E o racismo algoritmo é esse termo que foi desenvolvido para falarmos de coisas problemáticas, tais como filtros do Instagram que embranquecem as pessoas, um reconhecimento facial enviesado ou a moderação de conteúdo que pode excluir influenciadores negros.
Marcelo Abud:
Um outro exemplo comum de racismo algorítmico é quando, em uma busca de imagens ou a partir de ferramentas de inteligência artificial, uma pessoa negra é representada de forma negativa. A doutora em Ciência Política pela Universidade Federal de Minas Gerais Johanna Monagreda comenta uma dessas situações.
Johanna Monagreda:
As pessoas estavam usando um dos aplicativos para produzir imagens como se fosse um desenho da Disney. E aí teve o caso da deputada Renata Sousa, que ela foi usar esse aplicativo, ela deu as instruções para o aplicativo: ‘Ah, eu quero que você faça a imagem de uma mulher negra com cabelo black, na favela’, né, descreveu a imagem que ela queria, e a inteligência artificial devolveu para ela a imagem de uma mulher negra com cabelo black na favela e incorporou uma arma na mão daquele desenho. Esse é um claro exemplo de racismo algorítmico, porque estereótipos sobre pessoas negras e estereótipos sobre o estar na favela ou a vida em comunidade acabaram sendo imbricados na tecnologia, de forma que na produção dessa imagem a própria tecnologia fez a relação que a humanidade faz, que é aquela relação de a favela como um território de violência. A tecnologia também faz essa relação. E aí incorporou essa arma no desenho solicitado.
Tarcízio Silva:
Talvez um dos casos mais famosos são buscadores como o Google, que podem representar pessoas negras de uma forma desproporcionalmente negativa, por exemplo, imagens relacionadas a uma busca como “cabelo feio” que mostram prioritariamente fotos de mulheres negras. Esse é um exemplo mais visual, digamos assim, mas há estudos que mostram também casos relacionados, por exemplo, coisas mais difíceis de identificar, como um aplicativo de transporte que estabelece preços maiores para comunidades onde mais pessoas negras e pessoas pobres moram ou mesmo no caso do reconhecimento facial, que tem uma precisão inferior quando se pensa em pessoas não brancas, de modo geral.
Johanna Monagreda:
Recentemente, inclusive, teve um caso de um jovem que foi assistir um jogo de futebol no estádio. Ele foi identificado pela câmera de reconhecimento facial como uma pessoa em conflito com a lei e ele teve que passar por uma abordagem policial, ele saiu do estádio algemado. Mas, além disso, ele teve o constrangimento público muito grande, porque foi num estádio, na frente de todo mundo. Ele saiu de lá algemado, saiu nos meios de comunicação etc.
A imagem dele sofreu um dano muito grave naquele momento. Ele poderia ter sido privado da sua liberdade por um tempo maior por causa de um erro da máquina. Então, um outro caso de racismo que tem implicações muito graves é sobre o reconhecimento facial na segurança pública.
Marcelo Abud:
Silva defende uma maior participação social nas decisões que envolvem recursos de inteligência artificial como forma de diminuir o racismo algorítmico.
Tarcízio Silva:
Afinal de contas, não são só empresas e governo que deveriam opinar sobre o que é melhor para a sociedade, mas também grupos da sociedade civil, coletivos, sindicatos, pesquisadores e pesquisadoras. E também o estabelecimento de algumas tecnologias banidas ou em moratórias, né, durante algum período, que elas não sejam implementadas até que realmente se analise a sua capacidade de impacto, seja negativo, seja positivo.
Marcelo Abud:
De acordo com Silva, há uma falsa ideia de que as tecnologias digitais são objetivas ou expressam decisões neutras.
Tarcízio Silva:
Qualquer decisão, seja sobre desenvolver a tecnologia, é uma decisão política. E aí quando a gente pensa a internet, né, que foi muito festejada como a infovia do conhecimento, de fato, revolucionou como a gente circula conhecimento, mas ao mesmo tempo aumentou a insegurança sobre o que é verdade, o que não é verdade. E a desinformação passou a cada vez mais ser estratégica para alguns grupos que preferem que a desinformação circule para ganhos de diferentes fins: ganhos políticos, ganhos financeiros etc.
Mas me parece que estamos num momento de aumento de desconfiança sobre o que vemos online. Isso é importante, é positivo, em alguma medida. E se a gente conseguir transformar a educação para que cada vez mais, enquanto cidadãos, possamos desenvolver essas habilidades, pesquisar a veracidade de informações e poder interagir online, podemos ter um futuro mais produtivo, justo e seguro para todos.
Marcelo Abud:
O pesquisador em tecnologia e sociedade compartilha alguns questionamentos que devem ser feitos diante de consultas nas redes digitais ou de respostas apresentadas por algum tipo de inteligência artificial.
Tarcízio Silva:
A principal questão é sempre se perguntar, né, qual o outro tipo de conteúdo poderia estar aparecendo pra mim, poderia estar surgindo nesse buscador e por que é que ele não está? E esse tipo de comparação ainda é incomum na nossa cultura. A gente não aprende a analisar a mídia de forma complexa.
Música de Reynaldo Bessa, instrumental, fica de fundo
Marcelo Abud:
Tarcízio Silva e Johanna Monagreda acreditam que individualmente muito pouco pode ser feito para evitar o racismo algorítmico. Por isso, defendem que a sociedade civil deve estar atenta e participar das consultas públicas sobre inteligência artificial.
Marcelo Abud para o podcast de cidadania do Instituto Claro.