Ao conseguir enganar o sistema para pretender que a pessoa visualizada é outra que nem sequer necessita de estar presente, a empresa consegue demonstrar a fragilidade destas ferramentas.

O sistema recorre à “machine learning” para criar “uma imagem que parece de uma pessoa aos olhos humanos, mas foi identificada como outra pessoa pelo algoritmo de reconhecimento de rosto – o equivalente a enganar a máquina para permitir que alguém embarque num voo”, apesar de poder constar de uma lista em que não está autorizado a voar.

Se a imagem for comparada com uma foto de passaporte, “podemos de forma realista e repetida causar esse tipo de classificação incorrecta”, afirma um dos co-autores do estudo, Steve Povolny. Para eles, o objectivo do projecto é demonstrar as “fragilidades inerentes nestes sistemas de inteligência artificial”, mostrando a necessidade de manter seres humanos neste tipo de tarefas de vigilância.

Num outro exemplo, um sistema consegue alterar as “selfies” para parecerem imagens captadas por terceiros.

As fragilidades são tão evidentes que um grupo de entidades, entre as quais a Adobe, o Twitter e o New York Times revelaram um plano para garantir alguma veracidade nas fotografias e vídeos “perante a crescente vaga da falsidade digital” no que é vulgarmente conhecido por “deepfakes”.

A Content Authenticity Initiative quer impor uma norma aberta para a autenticação destes formatos, usando uma assinatura digital ao nível do hardware (em smartphones, por exemplo) ou em programas de software, como o Photoshop.