Amazon annonce un moratoire d’un an aux forces de l’ordre d’utiliser sa plateforme controversée de reconnaissance faciale Rekognition.

La nouvelle survient juste deux jours après qu’IBM a annoncé qu’elle n’offrirait, ne développerait ou ne rechercherait plus de technologie de reconnaissance faciale, citant des violations potentielles des droits de l’homme et de la vie privée et des recherches indiquant que la technologie de reconnaissance faciale, malgré les progrès fournis par l’intelligence artificielle, reste biaisée dans le sens de l’âge, le sexe, la race et l’origine ethnique.

Une grande partie du travail montrant les défauts de la technologie de reconnaissance faciale en ce qui concerne les préjugés raciaux est due à Joy Buolamwini, chercheur au MIT Media Lab, et Timnit Gebru, membre de Microsoft Research. Buolamwini et Gebry ont co-écrit un article en 2018 largement cité qui a trouvé des taux d’erreur pour les systèmes de reconnaissance faciale des principales entreprises technologiques, y compris IBM et Microsoft, pour identifier les individus à la peau foncée étaient plus élevés que lors de l’identification des individus à la peau blanche. Les problèmes résident en partie dans les ensembles de données utilisés pour former les systèmes, qui peuvent être majoritairement masculins et blancs.

Dans une étude en 2019, Buolamwini et co-auteur Deborah Raji ont analysé Rekognition et ont constaté que le système d’Amazon avait également des problèmes importants pour identifier le sexe des individus à la peau plus foncée, ainsi que pour confondre les femmes à la peau plus foncée avec les hommes. L’étude a révélé que le système fonctionnait avec un taux d’erreur presque nul lors de l’analyse d’images de personnes à la peau claire.

Amazon n’a pas donné de raison concrète à cette décision au-delà de l’appel à une réglementation fédérale de la technologie, bien que la société ait déclaré qu’elle continuerait de fournir le logiciel aux organisations de défense des droits des enfants disparus et exploités et de lutter contre la traite des êtres humains. Le contexte tacite ici est bien sûr la mort de George Floyd, un homme noir tué par d’anciens policiers du Minnesota, et les manifestations en cours aux États-Unis et dans le monde contre le racisme et la brutalité policière systémique.

Il semble qu’Amazon ait décidé qu’on ne pouvait pas faire confiance à la police pour utiliser la technologie de manière responsable, bien que la société n’ait jamais révélé combien de services de police utilisent réellement la technologie. L’été dernier, il semblait que seuls deux départements , un en Oregon et un en Floride , utilisaient activement Rekognition, et Orlando a depuis cessé. Un système de reconnaissance faciale beaucoup plus largement utilisé est celui de Clearview AI, une entreprise secrète faisant face à un certain nombre de poursuites en matière de confidentialité après avoir gratté des sites de médias sociaux pour des photos et créé une base de données de plus de 3 milliards de photos qu’elle vend aux forces de l’ordre.

Au-delà des études remettant en question son efficacité, Amazon a fait l’objet de critiques constantes au fil des ans pour avoir vendu l’accès à Rekognition au service de police d’activistes, d’organisations de défense des droits civiques comme l’ACLU et de législateurs, qui ont tous fait part de leurs préoccupations concernant le manque de surveillance sur la façon dont la technologie est utilisée dans les enquêtes et les biais potentiels intégrés qui la rendent peu fiable et propice à la discrimination et à d’autres abus.

Voici la note complète d’Amazon :

Nous mettons en œuvre un moratoire d’un an sur l’utilisation par la police de la technologie de reconnaissance faciale d’Amazon. Nous continuerons à autoriser des organisations comme Thorn, le Centre international pour les enfants disparus et exploités et Marinus Analytics à utiliser Amazon Rekognition pour aider à secourir les victimes de la traite des êtres humains et à réunir les enfants disparus avec leur famille.

Nous avons préconisé que les gouvernements mettent en place des réglementations plus strictes pour régir l’utilisation éthique des technologies de reconnaissance faciale, et ces derniers jours, le Congrès semble prêt à relever ce défi. Nous espérons que ce moratoire d’un an pourrait donner au Congrès suffisamment de temps pour mettre en œuvre les règles appropriées, et nous sommes prêts à aider si nécessaire.