Opinion

La racialisation algorithmique et les implications possibles pour les enquêtes et les poursuites policières

Mis à jour: 18/07/21 | 10:02

Mots clés:

"Personne ne naît en haïssant l'autre à cause de la couleur de sa peau, de son origine ou de sa religion. Les gens apprennent à haïr et, s'ils peuvent apprendre à haïr, ils peuvent aussi apprendre à aimer".¹

Les algorithmes nous discriminent, nous devons reconnaître nos droits afin que lorsqu'ils sont utilisés en justice, ils laissent nos préjugés de côté.

Les algorithmes font aujourd'hui partie des processus décisionnels humains. Elles ne sont ni bonnes ni mauvaises, elles existent et sont appliquées à de nombreux domaines de la vie quotidienne tels que la consommation, les contrats de service, les assurances, les procédures gouvernementales, les relations de travail ou les décisions judiciaires.

C'est nous, les humains, qui les créons, les utilisons et fournissons des informations en fonction de nos opinions, de nos préjugés et de nos avis. Après avoir été générés, ils peuvent continuer le processus d'apprentissage basé sur le comportement humain, c'est ce qui se rapproche le plus du dictionnaire prédictif, ce processus est l'"apprentissage automatique".

Une chose doit être claire : la technologie doit être anthropocentrique et doit se fonder sur les droits de l'homme, elle doit être au service de l'homme et non l'inverse.

Suite à la pandémie, le processus de modernisation de la justice s'est accéléré. Ce processus de modernisation, dont je conviens qu'il est nécessaire et inévitable pour la réalisation des droits de l'homme, s'est produit en même temps que l'incorporation de la technologie.

Dans différentes parties du monde, dans le cadre du processus judiciaire, les citoyens concernés méritent que le processus soit mené à bien dans un délai raisonnable et avec toutes les garanties d'un procès équitable. En outre, les principes de protection judiciaire efficace doivent être respectés, tandis que la société a le droit d'accéder à l'information produite judiciairement, qui doit être publique sur la base de l'obligation des opérateurs du système judiciaire ; nous pensons que la technologie a sans aucun doute contribué à tout ce processus.

En ce qui concerne la résolution des conflits, l'utilisation de l'IA dans la justice en Argentine est naissante. À partir de projets tels que PROMETEA (2017), actuellement utilisé dans la ville autonome de Buenos Aires, on s'attend à ce que, dans les années à venir, de nouvelles façons d'appliquer l'IA à la justice soient connues et élargissent ainsi son spectre.

Dans ce cas, PROMETEA est un système d'IA combiné à l'apprentissage automatique qui résout des cas simples, en émettant des décisions ou des résolutions simples qui ne mettent fin à aucun type de processus, et qui est donc utilisé par le ministère public (MPF) de cette ville. Pour l'instant, il n'y a pas de risque de partialité dans cette affaire, en raison de la manière dont l'outil est utilisé, mais que se passerait-il si l'on étendait l'utilisation de l'IA dans le système judiciaire, en essayant d'émuler les décisions d'un juge.

À titre d'exemple, on peut citer le cas du Brésil, où un juge de Minas Gerais a statué sur 280 affaires en une seule seconde. Ou encore, il suffit de mentionner le projet Rey, qui est une méthode utilisant l'IA pour représenter les affaires judiciaires sur le bureau du juge, qui, en outre, peut indiquer la manière de les résoudre par rapport à leurs décisions précédentes dans des affaires similaires.

D'autre part, nous ne pouvons pas ignorer les cas actuels de discrimination algorithmique au niveau mondial, qui discriminent, par exemple, dans la possibilité d'accorder une assurance automobile, d'accorder un emploi ou d'accorder un crédit. Il existe des cas de détentions illégales basées sur des erreurs algorithmiques et des cas de refus de prestations au stade de l'exécution de la peine, dans lesquels un traitement différencié a été accordé et a fait l'objet de plaintes. Par conséquent, plus qu'un risque potentiel de violation des droits constitutionnels et conventionnels à l'égalité de traitement et à l'interdiction de la discrimination, il s'agit dans ces cas d'une violation tangible.

Nous devons considérer que l'utilisation des systèmes de reconnaissance faciale comme techniques d'investigation utilisées dans les caméras de sécurité et les drones pour les enquêtes policières peut être biaisée à ce niveau. Mon objectif est donc de faire cette analyse et de faire avancer une discussion qui viendra inévitablement dans un avenir pas si lointain et qui commencera alors à relier les droits de l'homme à l'utilisation des algorithmes.

Les droits peuvent être extraits de la casuistique globale, en tenant compte de l'affaire C.A.D.A.. (2015) Commission d'accès aux documents administratifs de France, l'affaire State vs Loomis (2016), d'un tribunal du Wisconsin USA, l'affaire SyRI (2020) de la Haye et l'affaire Deliveroo (2020) Tribunal ordinaire de Bologne ; en matière d'algorithmes nous avons le droit d'accéder à l'algorithme ce qui impliquerait de connaître le code source en langage simple, de comprendre quelles procédures ont été utilisées pour prendre des décisions, même jusqu'au moment de son développement, de pouvoir citer le programmeur pour donner des explications sur le cas.

D'autre part, nous avons le droit de ne pas être soumis à des décisions automatisées, que c'est l'être humain qui prend les décisions et que le matériel collecté par l'algorithme est un soutien dans le processus de prise de ces décisions.

Un autre droit important qui ressort de ces affaires est le droit à l'égalité et à la non-discrimination algorithmique, étant donné que l'algorithme peut discriminer et que pour nous en défendre il doit être audité pour pouvoir connaître les procédures de décision.

Nous sommes déjà sur la voie d'une société dont le modèle économique repose sur les données. Yuval Harari parle de la "science du dataisme", Martin Hilbert de la "dictature de l'information", quel que soit le terme utilisé, l'information est ce qui gouverne et gouvernera notre modèle de société dans les années à venir.

Chaque personne peut fournir sans le savoir un total d'environ 5 000 points de données, ce qui signifie qu'aujourd'hui les géants de l'informatique ou même les gouvernements en savent plus sur nous que nous n'en savons, la protection est et restera un défi.

Mariel Alejandra Suárez/ Avocate, juge pénal et professeure d'université/ Collaboratrice dans le domaine de la criminologie de Sec2Crime.

Références :