Amnesty International alerte sur un tournant dans l’histoire du droit international, sur fond de violations flagrantes des règles par les gouvernements et les entreprises

Amnesty International a constaté que les acteurs politiques dans de nombreuses parties du monde intensifiaient leurs attaques contre les femmes, les personnes lesbiennes, gays, bisexuelles, transgenres et intersexes (LGBTI) et les populations marginalisées, historiquement utilisées comme boucs émissaires à des fins politiques ou électorales. Les technologies, nouvelles ou plus anciennes, ont de plus en plus été utilisées comme armes au service de ces forces politiques répressives dans le but de diffuser de la désinformation, de dresser les communautés les unes contre les autres et d'attaquer les minorités.

Le rapport d'Amnesty International souligne aussi l'utilisation massive des technologies existantes pour conforter des politiques discriminatoires. Des États comme l'Argentine, le Brésil, l'Inde et le Royaume-Uni se sont de plus en plus tournés vers les technologies de reconnaissance faciale pour assurer le maintien de l'ordre pendant des manifestations et des événements sportifs et pour traiter de façon discriminatoire des populations marginalisées, en particulier les personnes migrantes et réfugiées. Par exemple, en réponse à une action en justice menée par Amnesty International, la police de New York a révélé en 2023 comment elle avait utilisé ces technologies pour surveiller les manifestations du mouvement Black Lives Matter dans la ville.

L'utilisation indigne de la reconnaissance faciale a été particulièrement généralisée en Cisjordanie, dans les territoires palestiniens occupés, où Israël s'en est servi pour renforcer les restrictions du droit de circuler librement et maintenir son système d'apartheid.

En Serbie, à la suite de la mise en place d'un nouveau système de protection sociale partiellement automatisé, des milliers de personnes ont perdu l'accès à l'aide sociale pourtant essentielle. Les Roms et les personnes en situation de handicap ont été particulièrement touchés, ce qui montre bien que l'automatisation non contrôlée peut exacerber les inégalités.

Alors que des millions de personnes fuient des conflits à travers le monde, le rapport d'Amnesty International constate que des technologies abusives ont été utilisées dans le cadre de politiques migratoires et de contrôle des frontières, notamment des alternatives numériques à la détention, des technologies d'externalisation du contrôle des entrées sur le territoire, des logiciels de traitement des données et des systèmes de prise de décisions biométriques et algorithmiques. La prolifération de ces technologies perpétue et renforce la discrimination, le racisme et la surveillance disproportionnée et illégale envers les personnes racisées.

Parallèlement, les logiciels espions échappent toujours largement à la réglementation, bien qu'il ait été prouvé de longue date qu'ils entraînent des violations des droits fondamentaux, visant notamment des militant·e·s en exil, des journalistes et des défenseur·e·s des droits humains. Amnesty International a ainsi révélé en 2023 que le logiciel espion Pegasus avait été utilisé contre des journalistes et des militant·e·s de la société civile dans des pays comme l'Arménie, l'Inde, la République dominicaine et la Serbie. En outre, des logiciels espions provenant de l'Union européenne et soumis à la réglementation européenne ont été vendus librement à des pays du monde entier.

Le modèle économique des géants de la haute technologie, fondé sur la surveillance, verse de l'huile sur ce feu de haine, permettant aux personnes malintentionnées de harceler, de déshumaniser et d'amplifier des discours dangereux afin de renforcer leur pouvoir ou de gagner des voix.

Agnès Callamard

En 2023, l'évolution rapide de l'IA générative a fait changer d'échelle la menace que constituait l'éventail de technologies déjà existantes - des logiciel espions à l'automatisation des services publics en passant par les algorithmes immaîtrisables des réseaux sociaux.

Face à ces évolutions extrêmement rapides, la réglementation n'a guère progressé. Cependant, l'Union européenne (UE) a adopté en février 2024 le Règlement sur les services numériques, qui marque un tournant à l'échelle de l'UE et est le signe que les législateurs européens commencent à agir. Bien qu'imparfait et incomplet, ce texte a eu le mérite d'ouvrir un débat indispensable sur la réglementation de l'IA.

« Il y a un gouffre entre les risques posés par l'évolution non contrôlée des technologies et le niveau de réglementation et de protection qui serait nécessaire. Notre avenir tel qu'il se présente ne va faire qu'empirer si la prolifération galopante de technologies non réglementées n'est pas freinée », a déclaré Agnès Callamard.

Amnesty International a révélé que les algorithmes de Facebook avaient contribué aux violences ethniques en Éthiopie dans le contexte du conflit armé. C'est un exemple éloquent de la manière dont les technologies sont utilisées comme armes pour dresser des communautés les unes contre les autres, en particulier en période d'instabilité.

L'organisation de défense des droits humains prévoit une aggravation de ces problèmes en cette année électorale majeure, compte tenu du rôle de catalyseur des violations des droits humains joué, dans le contexte des élections, par les grandes plateformes de réseaux sociaux comme Facebook, Instagram, TikTok et YouTube, fondées sur un modèle économique qui repose sur la surveillance.

« Nous avons vu combien la haine, la discrimination et la désinformation étaient amplifiées et diffusées par les algorithmes des réseaux sociaux, qui sont optimisés avant tout pour obtenir un taux d'"engagement" maximal. Ils créent une boucle de commentaires infinie et dangereuse, en particulier dans les périodes particulièrement sensibles sur le plan politique. Les outils actuels peuvent générer des images, des enregistrements audio et des vidéos virtuels en quelques secondes, ainsi que prendre pour cible des publics précis par groupes entiers. Or, la réglementation électorale est en retard face à cette menace. Jusqu'à présent, nous avons vu trop de discours mais pas assez d'actes », a déclaré Agnès Callamard.

En novembre, l'élection présidentielle américaine va se tenir dans un contexte de hausse de la discrimination, du harcèlement et de la violence sur les réseaux sociaux à l'encontre des groupes marginalisés, notamment des personnes LGBTI. Les contenus menaçants et intimidants hostiles à l'avortement prolifèrent également.

Environ un milliard de personnes votent cette année en Inde dans un contexte marqué par des attaques contre des manifestant·e·s pacifiques et une discrimination systématique envers les minorités religieuses. En 2023, Amnesty International a révélé qu'un logiciel espion intrusif avait été utilisé contre des journalistes indiens de premier plan. Plus généralement, les plateformes technologiques sont devenues des champs de bataille politiques.

« Les personnalités politiques utilisent depuis longtemps la manipulation en tenant un discours de rejet des "autres" pour gagner des voix et faire oublier les questions légitimes sur les craintes en matière d'économie et de sécurité. Nous avons vu comment les technologies non réglementées, comme la reconnaissance faciale, étaient utilisées pour conforter la discrimination. À cela vient s'ajouter le fait que le modèle économique des géants de la haute technologie, fondé sur la surveillance, verse de l'huile sur ce feu de haine, permettant aux personnes malintentionnées de harceler, de déshumaniser et d'amplifier des discours dangereux afin de renforcer leur pouvoir ou de gagner des voix. C'est un tableau effrayant de ce qui nous attend au fur et à mesure que les avancées technologiques prennent le pas avec voracité sur l'obligation de rendre des comptes », a déclaré Agnès Callamard.