Algorithmes et IA équipent des services publics de prestations sociales ...pour cibler, traquer et évincer de manière expéditive et industrielle les plus précaires.
L’Etat et sa bureaucratie 3.0 accentuent la froideur impersonnelle de la chasse aux éventuelles fraudes en enfonçant davantage les plus pauvres que fabrique à la pelle ce modèle de société.
Algorithmes et systèmes d’IA ne servent pas qu’à la froide efficacité du productivisme économique ou aux guerres militaires, l’Etat, toujours à la pointe des techniques de surveillance et de répression, nous projette aussi rapidement dans les films d’anticipation qui jadis nous terrifiaient.
Il ne s’agit pas de dérives ou d’erreurs, mais du fonctionnement habituel de l’Etat, un régime technocratique et totalitaire qui renforce constamment ses outils de planification des masses.
Des outils logiciels discriminatoires sont ainsi utilisés pour faire de (petites) économies sur le dos de petits fraudeurs réels ou imaginaires, mais ils ne sont pas utilisés pour réduire l’énorme volume des "non recours" aux prestations sociales.
Pour l’instant ni grèves ni révoltes dans les services concernés, les employés appliquent de gré ou de force ces méthodologies iniques mises en place par leurs dirigeants insignifiants et les ministères tout puissants. Sans doute que certains employés n’aiment pas ça, essaient de faire échouer en silence ces dispositifs dystopiques, mais dans l’ensemble il règne la banalité de l’obéissance, la quotidienneté des mesures anti-sociales et anti-démocratiques, la soumission atavique à l’autorité.
Des invidus isolés livrés à la puissance étatique (idem pour le capitalisme) sont condamnés à se taire, à partir, ou à gruger un peu dans les marges.
Notation algorithmique : l’Assurance Maladie surveille les plus pauvres et harcèle les mères précaires
Notation algorithmique : l’Assurance Maladie surveille les plus pauvres et harcèle les mères précaires - Depuis 2021, nous documentons via notre campagne France Contrôle les algorithmes de contrôle social utilisés au sein de nos administrations sociales. Dans ce cadre, nous avons en particulier analysé le recours aux algorithmes de notation. Après avoir révélé que l’algorithme utilisé par la CAF visait tout particulièrement les plus précaires, nous démontrons, via la publication de son code1, que l’Assurance Maladie utilise un algorithme similaire ciblant directement les femmes en situation de précarité.
(...)
L’algorithme cible délibérément les mères précaires.
(...)
un modèle expérimental développé en vue d’évolutions futures. En plus de cibler les mères précaires, ce modèle ajoute aux critères venant augmenter le score de suspicion d’un·e assuré·e le fait d’être en situation de handicap (« bénéficier d’une pension d’invalidité »), d’être malade (être « consommateur de soin » ou avoir « perçu des indemnités journalières », c’est-à-dire avoir été en arrêt maladie) ou encore… d’être « en contact avec l’Assurance Maladie ».
(...)
des responsables de la CNAM ont préféré utiliser l’opacité entourant son fonctionnement pour en tirer profit. Technique « à la pointe de la technologie », « intelligence artificielle » permettant une « détection proactive » de la fraude, outil prédictif « à la Minority Report » : voici comment, au gré de rapports officiels ou d’interventions publiques, ce type d’outil est vanté. L’absence de transparence vis à vis du grand public quant aux critères de ciblage de l’algorithme permet de masquer la réalité des politiques de contrôles. Cette situation permet alors aux dirigeant.es de l’Assurance Maladie de faire briller leurs compétences gestionnaires et leur capacité d’innovation sur le dos des plus précaires.
(...)
contrairement à la manière dont il est présenté, l’algorithme n’est pas construit pour détecter les seules situations de fraudes. La documentation technique montre qu’il est entraîné pour prédire le fait qu’un dossier présente ce que l’Assurance Maladie appelle une « anomalie », c’est à dire le fait que les revenus d’un·e assuré·e dépasse le plafond de revenus de la C2S
(...)
Il est une dernière chose que mettent en lumière les documents que nous rendons public. Rédigés par les équipes de statisticien·nes de la CNAM, ils offrent un éclairage particulièrement cru sur l’absence flagrante de considération éthique par les équipes techniques qui développent les outils numériques de contrôle social. Dans ces documents, nulle part n’apparaît la moindre remarque quant aux conséquences humaines de leurs algorithmes. Leur construction est abordée selon des seules considérations techniques et les modèles uniquement comparés à l’aune du sacro-saint critère d’efficience.
(...)
Depuis maintenant deux ans, nous documentons la généralisation des algorithmes de notation à des fins de contrôle au sein de notre système social. À l’instar de la CNAM, nous avons montré qu’ils étaient aujourd’hui utilisés à la Caisse Nationale des Allocations Familiales (CNAF), l’Assurance-Vieillesse ou encore la Mutualité Sociale Agricole et ont été expérimentés à France Travail.
(...)
ces algorithmes ne servent qu’un seul objectif : faciliter l’organisation de politiques de harcèlement et de répression des plus précaires, et ce grâce à l’opacité et au vernis scientifique qu’ils offrent aux responsables des administrations sociales.
(...)
Vendus au nom de la soi-disant « lutte contre la fraude sociale », ces algorithmes sont en réalité conçus pour détecter des trop-perçus, ou indus, dont toutes les études montrent qu’ils se concentrent sur les personnes précaires en très grande difficulté. En effet, ces indus sont largement le fait d’erreurs déclaratives involontaires consécutives à deux principaux facteurs : la complexité des règles d’attribution des minima sociaux (RSA, AAH, C2SG…) et des situations personnelles de grande instabilité (personnelle, professionnelle ou administrative). Un ancien responsable de la CNAF expliquait ainsi que « Les indus s’expliquent […] par la complexité des prestations, le grand nombre d’informations mobilisées pour déterminer les droits et l’instabilité accrue de la situation professionnelle des allocataires », ce qui est avant tout le cas pour les « prestations liées à la précarité […] très tributaires de la situation familiale, financière et professionnelle des bénéficiaires ».
Autrement dit, ces algorithmes ne peuvent pas être améliorés car ils ne sont que la traduction technique d’une politique visant à harceler et réprimer les plus précaires d’entre nous.
(...)
Le "défenseur des droits" s’inquiète d’ailleurs un tantinet, récemment :
Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? Points de vigilance et recommandations - Face au nombre croissant de décisions administratives individuelles prises sur la base de résultats livrés par des algorithmes ou systèmes d’IA, la Défenseure des droits s’inquiète des risques qu’induit cette algorithmisation des services publics pour les droits des usagers. Elle présente plusieurs recommandations afin que les garanties prévues par la loi soient pleinement concrétisées. (...)
Le principe d’interdiction a donc été assorti d’exceptions qui ouvrent, de fait, de larges possibilités de recourir aux décisions administratives individuelles entièrement automatisées (...)
De toute façon, la "dématérialisation" (en réalité, le numérique c’est du matériel lourd) des services publics c’est aussi leur disparition pure et simple.
Exemples d’entreprises qui vantent et vendent de l’IA & co :
- Intelligence artificielle + secteur public + ressources humaines = ...
- Le marché IA de la CANUT : un levier clé pour améliorer l’efficacité des services publics
- Albert, une IA générative de génie pour les « use cases » de l’administration française
- et le ministre : Stanislas GUERINI expérimente l’intelligence artificielle générative dans les services publics
Voir également
- VSA et biométrie : la CNIL démissionnaire Particulièrement défaillante sur les sujets liés à la surveillance d’État, la CNIL a encore manqué une occasion de s’affirmer comme véritable contre-pouvoir et, au passage, d’assurer la défense des droits humains. À l’occasion de l’examen de la proposition de loi sur la sécurité dans les transports, elle a ainsi plongé tête la première pour venir au secours des institutions policières et justifier leur utilisation d’un logiciel de vidéosurveillance algorithmique dite « a posteriori », telle que celle commercialisée par la société Briefcam. Si nous avions de moins en moins d’attentes envers la CNIL, nous ne pouvons aujourd’hui qu’acter ce constat : l’autorité se pense chaque jour davantage comme une institution d’accompagnement de l’« innovation » au service des start-ups et du pouvoir plutôt qu’une autorité de défense des droits. (note : évidemment, l’Etat ne va pas sérieusement missionner un organisme ayant pouvoir de le contrer !)
- C’est pas de l’IA, c’est de l’exploitation dernier cri - Après deux ans passés à diversifier ses champs d’action, La Quadrature du Net s’attaque désormais à un nouveau front : la lutte contre le déferlement de l’intelligence artificielle (IA) dans tous les pans de la société.
- C’EST PAS DE L’IA - Quand on entend parler d’intelligence artificielle, c’est l’histoire d’un mythe moderne qui nous est racontée. Celui d’une IA miraculeuse qui doit sauver le monde, ou d’une IA douée de volonté qui voudrait le détruire. Pourtant derrière cette « IA » fantasmée se trouve une réalité matérielle avec de vraies conséquences. Cette thématique sera centrale dans notre travail en 2025, voilà pourquoi nous commençons par déconstruire ces fantasmes : non, ce n’est pas de l’IA, c’est l’exploitation de la nature, l’exploitation des humains, et c’est l’ordonnancement de nos vies à des fins autoritaires ciblant toujours les personnes les plus vulnérables.