© ACLU

Rekognition, l'outil de surveillance d'Amazon, a inculpé des politiciens américains... qui étaient innocents

27 juillet 2018

Amazon Rekognition est un outil de reconnaissance faciale capable de retrouver des visages parmi des milliers de photos. Certains gouvernements souhaitent utiliser cette intelligence artificielle comme moyen de surveillance. L'ACLU l'a testé. Rekognition a identifié à tort 28 membres du Congrès américain comme des suspects.

Bienvenue dans un futur sombre où la surveillance de masse s’opère avec des intelligences artificielles qui font des erreurs qui pourront coûter la vie aux gens.

L'IA la plus plébiscitée pour cet usage est Rekognition, une création d'Amazon capable de détecter des visages en temps réels sur des dizaines de millions de visages et de reconnaître jusqu'à 100 individus dans des photos de foule. Le géant du stockage de données est fier de cet outil qu'il tente de revendre aux gouvernements et aux entreprises spécialisées dans la surveillance de masse.

Mais cet outil fait flipper organisations des défenses des droits de l'homme et organismes de surveillance des libertés civiles. En mai déjà, plusieurs ONG avaient écrit une lettre demandant à Amazon et aux gouvernements de faire très attention à cet outil à la croisée du "Big Brother", imaginé par George Orwell dans 1984, et des "precog", pensés par Philip K. Dick dans The Minority Report. Dans les deux livres de science-fiction, l'usage de ces outils menait à des dérives catastrophiques sur le plan humain.

L'Union américaine des libertés civiles (ACLU) a été plus loin dans la dénonciation de cet outil. L'association a dépensé 12,33 dollars pour tester Rekognition. Elle a comparé les photos officielles de membres du Congrès américains avec une base de données comprenant des photos d'arrestations publiques et de vrais criminels. Et ses résultats présentés jeudi soir font bien flipper.

28 "match" avec des criminels

"Rekognition a incorrectement jumelé 28 membres du Congrès, les identifiant comme d'autres personnes ayant été arrêtées pour un crime", écrit l'ACLU. "Les membres du Congrès qui ont été faussement appariés avec la base de données des photographies d'identité judiciaire que nous avons utilisée dans le test comprennent des Républicains et des Démocrates, des hommes et des femmes, et des législateurs de tous âges, originaire de partout dans le pays."

Non seulement Rekognition a reconnu 28 membres du Congrès totalement innocents parmi 25.000 clichés de criminels, il a également pointé de façon disproportionnée des personnes de couleur. Alors que les personnes de couleur ne représentent que 20% du Congrès, ajoute l'ACLU, l'outil a trouvé 39% de fausses correspondances.

"La surveillance faciale servira à alimenter une surveillance discriminatoire et un maintien de l'ordre qui cibleront les communautés de couleur, les immigrants et les activistes", a déclaré Jacob Snow, un avocat de l'ACLU spécialisé dans les technologie et les libertés civiles. "Une fois enclenché, les dégâts ne pourront pas être annulés."

© ACLU

La réponse d'Amazon

Bien sûr, Amazon tente de noyer le poisson en expliquant que le logiciel avait été mal réglé. Sa précision devait être réglée à 95% et non à 80% comme l'a fait l'ACLU. "Si 80% de confiance est un seuil acceptable pour les photos de hot-dogs, chaises, animaux ou autres cas d'utilisation des médias sociaux, il ne serait pas approprié d'identifier les individus avec un niveau de certitude raisonnable", a déclaré le porte-parole d'Amazon à The Verge.

La dernière chose que souhaite Amazon est de voir cet outil interdit ou bridé sérieusement. N'importe qui peut utiliser Rekognition à des coûts très bas, le logiciel "facture uniquement les images traitées, les minutes de vidéo traitées et les visages stockés", indique le site de l'API. Mais ses contrats avec des organismes d'application de la loi lui rapportent gros. C'est la raison pour laquelle Amazon commercialise activement son logiciel aux autorités de nombreux états américains, relève le site Futurism.

L'outil de surveillance ne semble pas encore avoir traversé l'Atlantique: aucune autorité européenne n'a encore fait mention d'un possible usage de Rekognition. Mais le test réalisé par l'ACLU a de quoi inquiéter. Placer la surveillance d'un pays dans les mains d'un logiciel encore défaillant pourrait entraîner des conséquences dramatiques.

Déjà lu?

Déjà lu?