Utilisation d’algorithmes discriminatoires dans les systèmes de protection sociale en France et aux Pays-Bas

FR E-002437/2024 Réponse donnée par la vice-présidente exécutive Virkkunen au nom de la Commission européenne (30.1.2025) Le règlement sur l’intelligence artificielle («règlement sur l’IA») introduit des règles proportionnées pour les systèmes d’IA dans l’UE, selon une approche fondée sur les risques. Certaines pratiques en matière d’IA présentant un risque inacceptable sont interdites. Les systèmes d’IA classés comme étant à «haut risque» comprennent, entre autres, ceux destinés à être utilisés pour évaluer l’éligibilité des personnes physiques aux prestations et services d’aide sociale essentiels, ainsi que pour octroyer, réduire, révoquer ou récupérer ces prestations et services. Ces systèmes devront satisfaire à un ensemble d’exigences et être soumis à une évaluation de conformité avant leur mise sur le marché et leur utilisation. En outre, les déployeurs de systèmes d’IA à haut risque auront également des obligations, telles que la mise en œuvre du contrôle humain, la surveillance des risques et la transmission d’informations sur l’utilisation aux personnes concernées. Les déployeurs qui sont des autorités publiques ou qui fournissent des services publics doivent également effectuer une analyse d’impact sur les droits fondamentaux. Les autorités de surveillance du marché en vertu du règlement sur l’IA sont habilitées à enquêter sur les systèmes d’IA pour vérifier que ceux-ci sont conformes audit règlement, ainsi qu’à demander l’adoption de mesures correctives et le retrait du système d’IA du marché. Les personnes physiques et morales peuvent également introduire des réclamations qui permettront une intervention rapide. En outre, le règlement sur l’IA renforce le rôle des autorités qui contrôlent la législation existante de l’UE en matière de droits fondamentaux, telles que les organismes chargés des questions d’égalité et les autorités de protection des données, en leur donnant les moyens d’enquêter efficacement sur les violations potentielles, y compris les cas de discrimination, et d’y remédier. La Commission abordera la question des systèmes de notation sociale et des pratiques de profilage discriminatoire dans les lignes directrices relatives à l’application du règlement sur l’IA.