Peões e motoristas nalgumas ruas de Varsóvia, Mannheim, Toulouse ou Kortrijk são constantemente monitorizados quanto a comportamento anormal. A polícia nessas cidades, e em muitas outras, ligou os “feeds” de vídeo das câmaras de vigilância a sistemas automatizados que alegam detectar movimentos suspeitos, como conduzir em faixas bus, roubo, assalto ou o ajuntamento de grupos agressivos.

Pelo menos 11 cidades usam vigilância automatizada na UE:
BL – Bruxelas (One Télécom): detecção de despejo de lixo ilegal, roubo.
FR – Cannes (Datakalab): detecta se os pedestres usam máscaras faciais.
BL – Kortrijk (BriefCam)
AL – Mannheim (Frauenhofer IOSB): detecção de movimentos corporais que constituem agressão.
SP – Marbelha (Avigilon)
FR – Marselha (Snef)
FR – Nice (Two-I): ainda não implementado.
FR – Nîmes (BriefCam)
RC – Praga (BriefCam): concurso a decorrer.
RC – Prostějov (BriefCam)
FR – Roubaix (BriefCam)
FR – Toulouse (IBM)
PL – Varsóvia (BriefCam)
FR – Yvelines: Vigilância de escolas secundárias e um corpo de bombeiros.

Todas as técnicas de vigilância automatizada em uso nas cidades acima listadas confiam na Machine Learning. Essa abordagem requer que os programadores de software alimentem grandes quantidades de cenas mostrando a normalidade e outras representando situações consideradas anormais aos programas de computador. Os programas vão depois encontrar padrões específicos para cada tipo de situação.

Correlações espúrias
A Machine Learning tem muitas aplicações que agora são usadas ​​de modo rotineiro, como pesquisa reversa de imagens ou tradução automática. Mas as desvantagens dessa técnica são bem conhecidas. O software não entende uma situação no sentido humano, apenas encontra inferências nos dados que lhe foram fornecidos. É por isso que, após décadas de controvérsia, o Google Translates ainda transforma os termos neutros noutros de género como “eles são médicos” em alemão como “sie sind Ärtze” (masculino) e “eles são enfermeiros” como “sie sind Krankenschwestern” (feminino). O Google Translate não foi programado para ser sexista. O corpus de textos que recebeu passou a conter mais casos de médicos e de enfermeiras.

O que é verdade para a tradução automática também o é para o reconhecimento automático de imagens, conhecido como visão por computador. A 7 de Abril, o AlgorithmWatch revelou que a Google Vision, um serviço de classificação de imagens, considerou um termómetro como uma “ferramenta” numa mão com um tom de pele claro e como “arma” numa pele escura. (A Google mudou entretanto o seu sistema).

A 3 de Abril, a Google Vision Cloud produziu classificações totalmente diferentes após a adição de uma sobreposição.

Resultados fornecidos pela Google Vision Cloud antes de 6 de Abril.

As correlações espúrias podem ter várias causas, de acordo com Agathe Balayn, candidato a PhD na Universidade de Tecnologia de Delft, sobre o tópico do viés em sistemas automatizados, mas a maioria delas provavelmente provém dos conjuntos de dados de treino. Os sistemas de visão automática dependem da anotação manual de milhões de imagens. Esse trabalho geralmente é feito por trabalhadores a quem pagam alguns centavos por cada tarefa. Eles têm fortes incentivos para serem rápidos e se adaptarem às expectativas dos seus clientes, escreveu Balayn ao AlgorithmWatch. Diversidade e sutileza no conjunto de dados de formação sofrem em resultado disso.

Equívocos
O AlgorithmWatch perguntou a vários fornecedores de soluções de visão computacional para as forças policiais que dados de formação usavam e como garantiam que os seus programas não fossem discriminatórios.

Um porta-voz do BriefCam, usado pelas forças policiais de Varsóvia a Roubaix, declarou por email que, como o software não usava o tom de pele como variável, não era possível discriminar. Este é um equívoco comum. O software de Machine Learning foi desenvolvido para encontrar padrões que não são especificados pelos seus programadores para alcançar os resultados. É por isso que o Google Translate produz resultados sexistas e o Google Vision produz resultados racistas, embora não tenham sido explicitamente programados para ter em consideração o sexo ou a cor da pele.

O porta-voz da BriefCam acrescentou que usavam “conjuntos de dados de treino que consistem em amostras de vários géneros, idades e raças sem enviesamento minoritário”, mas recusou fornecer qualquer evidência ou detalhe.

A polícia de Etterbek, em Bruxelas, usa a visão automática para detectar automaticamente o despejo ilegal de lixo. Um porta-voz da cidade escreveu que o sistema não tem em consideração o tom de pele ou qualquer outra característica individual, mas não forneceu informações sobre os dados de formação com que o seu software foi desenvolvido.

Um porta-voz do Frauenhofer IOSB, que administra a vigilância automatizada de Mannheim, na Alemanha, alegou que o seu software não podia ser discriminatório porque se baseava numa modelação 3D das formas do corpo. Ele analisou movimentos, não imagens, e portanto não usou a cor da pele, acrescentou. Detalhes sobre o conjunto de dados de treino e a sua diversidade não foram fornecidos.

A Avigilon recusou-se a comentar. A One Télécom, Two-I e Snef não responderam a inúmeros emails.

Problema invisível
A vigilância automatizada é difícil de detectar. As forças policiais não têm obrigação de divulgar que o usam e os editais dos concursos raramente são publicados. Na Polónia, por exemplo, o AlgorithmWatch foi informado de que qualquer informação sobre o assunto era “confidencial”. Os detalhes da sua operação de vigilância automatizada estavam disponíveis apenas num artigo da sua publicação interna, a Police Magazine – disponível online.

Essa invisibilidade dificulta o peso das organizações da sociedade civil. O AlgorithmWatch conversou com várias organizações anti-discriminação aos níveis local e nacional. Embora os seus porta-vozes reconheçam a importância do assunto, disseram que não poderiam tratá-lo por falta de atenção da população e por falta de ferramentas de monitorização.

Entretanto, a vigilância automatizada tem o potencial de aumentar drasticamente as práticas discriminatórias de policiamento.

Não auditado
Não se sabe quanta vigilância automatizada afecta a discriminação no policiamento. Nenhum dos fornecedores ou cidades que o AlgorithmWatch contactou realizou auditorias para garantir que os resultados dos seus sistemas fosse o mesmo para todos os cidadãos.

Nicole Romain, porta-voz da Agência dos Direitos Fundamentais da União Europeia, escreveu que qualquer instituição que implante essas tecnologias deve realizar uma “avaliação abrangente do impacto dos direitos fundamentais para identificar possíveis enviesamentos”.

Relativamente à visão automática no policiamento, ela desconhece se uma avaliação desse tipo foi alguma vez feita.

* Texto original de Nicolas Kayser-Bril, publicado na Algorithm Watch (CC BY 4.0). Fotografias de niv singer e Peter Pivák na Unsplash.