Dystopie au quotidien : la CAF et d’autres administrations traquent les plus précaires à coup d’algorithmes discriminatoires

Un scandale de plus, qui devrait alimenter les envies légitimes de révolte générale.
La surveillance numérique, ce n’est pas seulement les caméras de vidéosurveillance augmentées qui se déploient illégalement, le fichage policier généralisé ou les sauts dystopiques opérés à l’occasion des JO Paris 2024, c’est aussi le contrôle poussé, secret, intrusif et discriminatoire exercé au quotidien et en silence par quasi toutes les administrations anciennement « sociales » (CAF, Pôle Emploi, Assurance maladie, Assurance vieillesse, URSAFF, Sécurité sociale agricole MSA…) devenues ouvertement ultra-libérales et policières, à commencer par la CAF, qui cible depuis au moins 2010 tout particulièrement les précaires, les femmes seules et les travailleurs handicapés.

Dystopie au quotidien : la CAF et d’autres administrations traquent les plus précaires à coup d’algorithmes discriminatoires

Surveillance numérique généralisée & automatisée

Notation des allocataires : l’indécence des pratiques de la CAF désormais indéniable

 Notation des allocataires : l’indécence des pratiques de la CAF désormais indéniable
(...)
La lecture du code source des deux modèles utilisés entre 2010 et 2018 — la CAF a refusé de nous transmettre la version actuelle de son algorithme — confirme tout d’abord l’ampleur du système de surveillance de détection des allocataires « suspect·es » mis en place par la CAF.
Situation familiale, professionnelle, financière, lieu de résidence, type et montants des prestations reçues, fréquence des connexions à l’espace web, délai depuis le dernier déplacement à l’accueil, nombre de mails échangés, délai depuis le dernier contrôle, nombre et types de déclarations : la liste de la quarantaine de paramètres pris en compte par l’algorithme, disponible ici, révèle le degré d’intrusion de la surveillance à l’oeuvre.

Elle s’attache à la fois aux données déclarées par un·e allocataire, à celles liées à la gestion de son dossier et celles concernant ses interactions, au sens large, avec la CAF. Chaque paramètre est enfin analysé selon un historique dont la durée est variable. Visant tant les allocataires que leurs proches, elle porte sur les plus de 32 millions de personnes, dont 13 millions d’enfants, vivant dans un foyer bénéficiant d’une prestation de la CAF.
Quant à la question du ciblage des plus précaires, la publication du code source vient donner la preuve définitive du caractère discriminant des critères retenus
(...)
Comble du cynisme, l’algorithme vise délibérément les personnes en situation de handicap : le fait de bénéficier de l’Allocation Adulte Handicapé (AAH) tout en travaillant est un des paramètres impactant le plus fortement, et à la hausse, le score d’un·e allocataire.

Dystopie au quotidien : la CAF et d’autres administrations traquent les plus précaires à coup d’algorithmes discriminatoires

(...)
On observe également le ciblage des familles monoparentales, dont 80% sont des femmes. Nos simulations indiquent que ce ciblage se fait indirectement — la CAF ayant peut-être jugé que l’inclusion d’une variable « mère célibataire » était trop risquée politiquement — en intégrant des variables comme le revenu total du foyer et le nombre de mois en activité cumulés sur un an des responsables du foyer, dont la nature vient mécaniquement défavoriser les foyers ne comprenant pas deux parents.
(...)
Il y a quelques mois, la CAF cherchait à minimiser la stigmatisation des plus précaires engendrée par son algorithme en expliquant que « les scores de risques les plus élevés » ne concernent pas « toujours les personnes les plus pauvres » car « le score de risque n’intègre pas comme seule donnée la situation financière »14. Nos analyses viennent démontrer à quel point ce raisonnement est fallacieux.

Ce que montre notre graphique c’est justement que les variables socio-économiques ont un poids prépondérant dans le calcul du score, désavantageant structurellement les personnes en situation de précarité. Ainsi, le risque d’être contrôlé suite à un événement considéré comme « facteur de risque » par l’algorithme – déménagement, séparation, décès – se révèle inexistant pour un allocataire aisé puisque son score est initialement proche de zéro. A l’inverse, pour un allocataire du RSA dont le score est déjà particulièrement élevé, le moindre de ces évènements risque de faire basculer son score au-delà du seuil à partir duquel un contrôle est déclenché.
Pire, la plupart des variables non financières sont en fait liées à des situations d’instabilité et d’écart à la norme – séparation récente, déménagements, changements de loyers multiples, modification répétée de l’activité professionnelle, perte de revenus, erreurs déclaratives, faible nombre de connexions web… – dont tout laisse à penser qu’elles sont elles-mêmes liées à des situations de précarité. A l’opposé de ce que veut faire croire la CAF, tout indique que cet algorithme fonctionne plutôt comme une « double peine » : il cible celles et et ceux qui, parmi les plus précaires, traversent une période particulièrement compliquée.
(...)

Or, ces indus ont pour cause principale des erreurs déclaratives involontaires, dont toutes les études montrent qu’elles se concentrent principalement sur les personnes aux minima sociaux et de manière plus générale sur les allocataires en difficulté. Cette concentration s’explique d’abord par le fait que ces prestations sont encadrées par des règles complexes — fruit des politiques successives de « lutte contre l’assistanat » — multipliant le risque d’erreurs possibles. Pour reprendre les termes d’un directeur de la lutte contre la fraude de la CNAF : « ce sont les prestations sociales elles-mêmes qui génèrent le risque […] ceci est d’autant plus vrai pour les prestations liées à la précarité […], très tributaires de la situation familiale, financière et professionnelle des bénéficiaires. ».
Nul besoin donc de connaître le détail de la formule de l’algorithme pour prédire quelles populations seront ciblées car c’est l’objectif politique de l’algorithme — détecter les trop-perçus — qui le détermine. C’est pourquoi laisser s’installer un débat autour de l’inclusion de telle ou telle variable est un jeu de dupes statistiques. La CAF pourra toujours substituer à une variable jugée politiquement « sensible » d’autres critères jugés « acceptables » permettant d’aboutir au même résultat, comme elle semble déjà le faire pour les mères célibataires.
(...)

Dire cela, c’est enfin dépasser le débat technique et reconnaître que cet algorithme n’est que le reflet de la diffusion de logiques gestionnaires et policières au sein de nos administrations sociales au nom des politiques de « lutte contre la fraude ».
C’est en transformant les allocataires en « assisté·es », puis en risques pour la survie de notre système social que le discours de « lutte contre l’assistanat » a fait de leur contrôle un impératif de « bonne gestion ». Qu’importe que toutes les estimations montrent que la « fraude sociale » est marginale et que c’est au contraire le non-recours aux aides qui se révèle être un phénomène massif.
Devenu objectif institutionnel, le contrôle doit être rationalisé. Le numérique devient alors l’outil privilégié de « la lutte contre la fraude sociale » par la capacité qu’il offre aux dirigeant·es de répondre aux injonctions de résultats tout en offrant un alibi technique quant aux pratiques de discrimination généralisée que leur tenue impose
(...)
L’Assurance maladie, l’Assurance vieillesse, les Mutualités Sociales Agricoles ou dans une moindre mesure Pôle Emploi : toutes utilisent ou développent des algorithmes en tout point similaires. À l’heure où ces pratiques de notation se généralisent, il apparaît nécessaire de penser une lutte à grande échelle.
(...)

Dystopie au quotidien : la CAF et d’autres administrations traquent les plus précaires à coup d’algorithmes discriminatoires

Comment les administrations sociales nous surveillent ?

 voir aussi : Lutter contre les algos de contrôle !
Retraité·e, étudiant·e, chômeur·se, parent, agriculteur·ice ou bénéficiaire de l’Assurance maladie : quelle que soit notre situation, nos données les plus intimes viennent nourrir des dizaines d’algorithmes dont la tâche est d’évaluer notre intégrité. Ces algorithmes nous comparent en continu à des listes de « profils-types » de suspect·e·s : chômeur·se dilettante, précaire mal-intentionné·e, mère isolée, retraité·e friand·e de voyage, handicapé·e mensonger·ère, agriculteur·rice paresseux·se ou encore malade malhonnête.
C’est à l’avènement d’une véritable version « libérale » du système de crédit social que nous assistons. Si elles diffèrent des projets de régimes autoritaires assignant une note unique à chaque citoyen·ne sur laquelle se baserait l’ensemble de nos interactions avec les administrations, les logiques de contrôle à l’œuvre dans les régimes libéraux, faites d’une multitudes de scores gérés par différentes administrations, n’en sont pas moins violentes et génératrices d’exclusions.
(...)
A la Quadrature du Net, nous refusons que notre système social soit transformé en un gigantesque système de surveillance en temps réel. Nous refusons le détournement à des fins de contrôle social des immenses quantités de données détenues par les administrations sociales et initialement collectées pour assurer leur bon fonctionnement
(...)

Et si on lançait des algorithmes ciblant les puissants et les politicards ? Avec des points de pénalités dès plusieurs mandats, dès un passage public-privé, dès un passage sur BFM ou CNews, dès un certain niveau de rente..
Sans doute qu’ils crèveraient vite tous les plafonds d’alerte !

Se décharger des choix politiques/économiques à des politiciens, patrons, experts, technocrates, possédants, représentants... est un suicide collectif.
Sortir de l’Etat-capitalisme, de la bureaucratie et du libre marché, de la technocratie et de l’oligarchie, de la société de masse et du système industriel est une question de survie, de dignité et de liberté fondamentale.