Le programme de recherche d’AffectLog se situe à l’intersection de la confidentialité des données, de la conformité, des politiques et de la transparence. Chaque pôle thématique sert de plateforme pour des projets en cours, des jeux de données (lorsqu’ils sont publiquement partageables), des méthodes et des publications récentes. Ce document présente des grandes lignes détaillées pour ces hubs, avec la mission commune de favoriser la collaboration et de stimuler les opportunités de financement.
Intelligence préservant la confidentialité
Les modèles de machine learning modernes excellent grâce aux données, mais les organisations travaillant avec des mineurs, des patients ou des citoyens ne peuvent légalement centraliser ni réutiliser des données sensibles. Le hub Intelligence préservant la confidentialité étudie des approches permettant aux algorithmes d’apprendre à partir d’informations protégées sans exposer de données personnelles identifiables. Ce travail s’appuie sur des techniques comme la privacy by design, la confidentialité différentielle (DP), le chiffrement homomorphe (HE), le calcul multipartite sécurisé (SMPC) et les environnements d’exécution de confiance (TEE). En intégrant ces techniques dans l’ensemble de la chaîne analytique, nous pouvons exploiter des données de santé, d’éducation ou du secteur public tout en préservant leur confidentialité.
Projets en cours
- Apprentissage fédéré pour les données d’enfants. Inspirés par les travaux de l’UNICEF en matière d’apprentissage fédéré dans l’éducation, nous développons des algorithmes qui s’exécutent sur les serveurs des écoles et ne renvoient que des mises à jour agrégées du modèle. L’UNICEF note que l’apprentissage fédéré envoie l’algorithme sur chaque site local au lieu de transférer les données, et que seules des mises à jour agrégées sont renvoyées au coordinateur central[1]. Des mécanismes de gouvernance intégrée dès la conception garantissent que les règles locales et les permissions sont incorporées dès le départ[2].
- Boîtes à outils de renforcement de la confidentialité pour environnements limités. Nous construisons des bibliothèques légères pour les TEE et le SMPC pouvant fonctionner sur du matériel standard. D’après Edgeless Systems, le chiffrement homomorphe complet (FHE) permet théoriquement de calculer directement sur des données chiffrées mais reste extrêmement lourd, tandis que le confidential computing via TEE chiffre les données en mémoire et recourt à l’attestation à distance, ce qui le rend beaucoup plus pratique pour des déploiements réels[3]. Nos outils privilégient donc les TEE pour un usage quotidien, tout en prévoyant des options pour le FHE lorsque la sécurité absolue est primordiale.
- Analytique de mobilité à confidentialité différentielle. Le NIST explique que la confidentialité différentielle ajoute du bruit aléatoire aux réponses de requêtes de sorte que le résultat reste pratiquement inchangé qu’un enregistrement individuel soit inclus ou non[4]. Nous appliquons la DP à des jeux de données de mobilité et de localisation, afin de trouver le juste équilibre entre utilité des données et protection de la vie privée.
- Modélisation environnementale multi-parties sécurisée. GeeksforGeeks définit le SMPC comme une technique cryptographique permettant à plusieurs parties de calculer conjointement une fonction sans révéler leurs entrées privées, les données étant chiffrées et réparties entre les participants sans nécessiter de tiers de confiance[5][6]. Nous adaptons ces protocoles aux données climatiques, afin de permettre à des agences régionales de modéliser ensemble la pollution ou les tendances météorologiques.
Jeux de données
La plupart de ces projets exploitent des données sensibles qui ne peuvent être partagées directement. Cependant, nous publions des jeux de données synthétiques reflétant les propriétés statistiques des données originales, ainsi que des modèles pré-entraînés pour l’évaluation. Par exemple, dans notre projet de mobilité nous diffusons des traces de localisation anonymisées par confidentialité différentielle et des scripts d’évaluation. Nous fournissons aussi du code pour générer des enregistrements éducatifs synthétiques intégrant des contrôles de confidentialité.
Méthodes
- Confidentialité différentielle (DP) : ajout de bruit calibré aux sorties afin que les résultats restent virtuellement inchangés que les données d’une personne soient incluses ou non dans le jeu de données[7].
- Chiffrement homomorphe (HE) : permet d’effectuer des calculs sur des données chiffrées ; cette approche devient praticable en combinant des schémas efficaces et la parallélisation par lots[3].
- Calcul multipartite sécurisé (SMPC) : autorise plusieurs parties à effectuer conjointement un calcul sans révéler leurs entrées respectives[5], les données restant chiffrées et réparties entre les participants sans besoin de partie tierce de confiance[6].
- Environnements d’exécution de confiance (TEE) : enclaves matérielles qui maintiennent les données chiffrées en mémoire et fournissent une attestation à distance ; solution souvent plus pratique que le FHE pur dans de nombreux cas d’usage[8].
- Preuves à divulgation nulle de connaissance (ZKP) : permettent à une partie (le prouveur) de démontrer à une autre (le vérifieur) qu’une assertion est vraie sans révéler aucune information supplémentaire au-delà de cette véracité. De telles preuves peuvent par exemple attester qu’un modèle respecte un budget de confidentialité ou des critères de conformité, sans dévoiler les données sous-jacentes.
Extraits de publications récentes
- Federated learning for children’s data – UNICEF Innocenti. Cet article décrit comment des algorithmes sont envoyés sur les serveurs des écoles et apprennent à partir des données locales tout en ne partageant que des mises à jour agrégées[1]. Il met l’accent sur la gouvernance dès la conception : intégrer des règles claires, de la transparence et de la responsabilisation directement dans le système fédéré[2]. L’article souligne également que les technologies améliorant la confidentialité, telles que la DP et le SMPC, sont essentielles pour protéger les droits des enfants[9].
- Introduction to Privacy-Preserving Computing – Edgeless Systems. Ce billet de blog présente diverses technologies de protection de la vie privée, notamment le FHE, le confidential computing, le SMPC et la DP. Il note que le FHE autorise le calcul sur des données chiffrées mais avec un coût computationnel très élevé, tandis que les TEE conservent les données chiffrées en mémoire et permettent une attestation à distance[10]. Le SMPC, de son côté, permet un calcul conjoint sans révéler les entrées, et la DP ajoute du bruit pour protéger chaque individu[11].
- Secure Multiparty Computation – Concept and Applications – GeeksforGeeks. L’article explique que le SMPC répartit des données chiffrées entre plusieurs parties, leur permettant de calculer une fonction sans divulguer les entrées de chacun et sans tiers de confiance[5][6].
- Differential Privacy for Data Analysis – NIST. Ce billet de blog discute de la confidentialité différentielle, une méthode qui ajoute du bruit aléatoire aux résultats de requêtes. La sortie obtenue demeure environ la même que l’information d’un individu soit incluse ou non dans le jeu de données[12][4]. L’article met l’accent sur la compositionalité de la confidentialité différentielle ainsi que sur le compromis entre précision et vie privée.
- Homomorphic Encryption Enabling Privacy-Preserving Data Insight – CloudThat. Ce billet (dont le contenu complet n’est pas accessible ici) introduit le chiffrement homomorphe comme une technique permettant d’effectuer des analyses sur des données chiffrées, c’est-à-dire sans jamais les déchiffrer. Cette approche pourrait transformer des secteurs comme la finance ou la santé en maintenant les données chiffrées tout au long du pipeline analytique.
Appel à l’action
AffectLog invite chercheurs et praticiens à collaborer sur le thème de l’intelligence préservant la confidentialité. Nous sommes ouverts aux partenariats pour des réponses à des appels à projets, aux contributions à nos boîtes à outils open-source et à la participation à notre bac à sable sécurisé pour tester des algorithmes sur des données synthétiques ou désidentifiées. Contactez-nous pour explorer des publications conjointes ou candidater à nos bourses communautaires.
IA fédérée et respectueuse de la conformité
Les modèles d’IA utilisés en notation de crédit, en triage médical ou dans les décisions publiques sont de plus en plus soumis à des régulations. Le hub IA fédérée et respectueuse de la conformité explore des techniques pour entraîner et valider des modèles dans le cadre de régimes juridiques stricts tels que le Règlement européen sur l’IA (EU AI Act), le RGPD ou la norme ISO/IEC 42001. Nous combinons l’apprentissage fédéré (qui maintient les données sur site) avec des contrôles automatisés de conformité et des audits intégrés, de sorte que les systèmes d’IA à haut risque demeurent à la fois précis et conformes à la loi.
Projets en cours
- Validation de modèles financiers transfrontaliers. Des banques de plusieurs pays de l’UE valident conjointement des modèles de scoring de crédit et de détection de fraude via l’apprentissage fédéré. Seules des mises à jour chiffrées du modèle sont partagées ; aucune donnée transactionnelle brute ne quitte le périmètre de chaque banque. Cette conception respecte les principes de localisation et minimisation des données du RGPD et s’aligne sur les obligations applicables aux systèmes d’IA à haut risque (comme le scoring de crédit) dans le cadre de l’AI Act.
- Analytique fédérée en santé. Des hôpitaux en France et en Allemagne entraînent ensemble un modèle de diagnostic en utilisant localement leurs données patients. L’AI Act de l’UE classe l’IA médicale comme à haut risque et exige la mise en place d’un système robuste de gestion des risques, d’une gouvernance des données, d’une documentation technique détaillée et d’une supervision humaine du système[13]. L’apprentissage fédéré évite de centraliser les dossiers sensibles des patients, tandis qu’une couche de conformité automatisée collecte en continu les éléments de preuve requis pour d’éventuels audits.
- Évaluation du risque en éducation. Des établissements scolaires expérimentent des modèles prédictifs pour détecter précocement les risques de décrochage. La norme ISO/IEC 42001, première norme internationale de gestion de l’IA, spécifie les exigences pour établir, mettre en œuvre et maintenir un système de management de l’IA ; elle aborde notamment les considérations éthiques, la transparence et la gestion des risques[14]. Nos outils intègrent ces contrôles directement dans le pipeline d’entraînement des modèles.
Jeux de données
Ce hub utilise des jeux de données financiers et médicaux partiellement synthétiques fournis par des partenaires consentants. Nous publions également des jeux de test anonymisés et des défis pour que les chercheurs puissent expérimenter des algorithmes fédérés. Chaque jeu de données est accompagné de métadonnées précisant les contraintes légales applicables.
Méthodes
- Orchestration en apprentissage fédéré : Un serveur central envoie un modèle global à chaque site client ; les nœuds locaux s’entraînent sur leurs données puis renvoient des mises à jour de modèle chiffrées pour agrégation. Milvus explique que des protocoles d’agrégation sécurisée (par exemple via chiffrement homomorphe ou SMPC) empêchent de remonter aux contributions individuelles et garantissent qu’aucune donnée brute ne quitte les dispositifs clients[15].
- Cartographie de conformité : Notre moteur RegLogic encode des centaines de clauses extraites de l’EU AI Act, du RGPD et de la norme ISO/IEC 42001. Il vérifie automatiquement que les modèles disposent de systèmes de gestion des risques, de stratégies de gouvernance des données et de documentations techniques conformes aux exigences réglementaires[16].
- Packs de preuve automatisés : Des modèles de documents prédéfinis génèrent la documentation technique (Annexe IV de l’AI Act) nécessaire pour les systèmes à haut risque et font le lien entre les métriques du modèle et les exigences légales.
- Contrôles de confidentialité inter-domaines : La même plateforme supporte la confidentialité différentielle, le chiffrement homomorphe, le SMPC et les TEE afin de se conformer aux lois locales de protection des données.
Extraits de publications récentes
- « Artificial Intelligence Act – High-Risk Obligations » – ArtificialIntelligenceAct.eu. Ce résumé explique que les fournisseurs de systèmes d’IA à haut risque doivent mettre en place un système de gestion des risques, assurer la gouvernance et la qualité des données, produire une documentation technique détaillée, tenir des enregistrements, prévoir une supervision humaine et garantir la précision, la robustesse et la cybersécurité du système[17].
- « ISO/IEC 42001 AI Management Systems – Requirements » – ISO. L’ISO décrit la première norme internationale pour les systèmes de management de l’IA, qui spécifie les exigences d’établissement, de mise en œuvre, de maintien et d’amélioration continue d’un tel système. Cette norme couvre les considérations éthiques, la transparence et la gestion des risques liées à l’IA[18].
- « Understanding ISO 42001: The World’s First AI Management System Standard » – A-LIGN. L’article note que la norme ISO 42001 met l’accent sur la transparence, la responsabilisation, l’identification et l’atténuation des biais, la sécurité et la protection de la vie privée, et qu’elle s’articule autour de thèmes tels que le leadership, la planification, le fonctionnement, l’évaluation des performances et l’amélioration continue[19][20].
- « Federated Learning and Privacy Preserving AI » – Milvus. Ce billet explique que l’apprentissage fédéré envoie un modèle global vers les appareils clients, où l’entraînement local s’effectue, puis seuls des updates chiffrés sont renvoyés. Une agrégation sécurisée via SMPC ou chiffrement homomorphe empêche d’isoler les contributions de chaque client, et la confidentialité différentielle ajoute du bruit pour réduire davantage les risques de fuite[21].
- « AI and Risk Management Frameworks – Practical Guide » – CognitiveView. Ce guide résume le cadre de gestion des risques de l’IA du NIST, décrivant comment les organisations devraient cartographier, mesurer et gérer les risques liés à l’IA en utilisant des outils comme des cartes de chaleur des risques, des métriques de justice et d’explicabilité, des audits de biais et en mettant en place une supervision humaine des systèmes[22][23].
Appel à l’action
Nous invitons les régulateurs, les équipes de conformité et les chercheurs en IA à tester notre bac à sable fédéré dédié à la conformité. Les organisations peuvent y exécuter leurs modèles sur des données privées, tandis que notre plateforme génère automatiquement les packs de preuves nécessaires et émet des alertes pour assurer la conformité aux exigences de l’EU AI Act, du RGPD et de l’ISO/IEC 42001. Contactez-nous pour collaborer sur des projets financés ou contribuer à notre bibliothèque de clauses RegLogic.
Gouvernance liée aux politiques
Même les modèles d’IA les plus avancés ne susciteront pas la confiance sans politiques exécutoires. Le hub Gouvernance liée aux politiques explore le concept du « policy-as-code » (politique sous forme de code) et de la gouvernance auto-souveraine : il s’agit d’intégrer directement dans les workflows d’IA les lois, principes éthiques et obligations contractuelles qui les régissent. En représentant les politiques sous forme de code et en ancrant chaque décision dans des journaux d’audit immuables, nous veillons à ce que les systèmes d’IA puissent prouver leur conformité sans révéler de détails sensibles.
Projets en cours
- Moteur de gouvernance propulsé par OPA. Nous intégrons Open Policy Agent (OPA) dans nos pipelines MLOps. Comme l’explique un article du blog Principled Evolution, la démarche policy-as-code permet aux organisations de définir, gérer et appliquer automatiquement des règles de gouvernance au moyen de code ; OPA dissocie la logique métier des politiques du code applicatif et permet une gestion centralisée, une application automatisée et une transparence accrue[24]. Nos ingénieurs ont contribué aux bibliothèques open-source AICertify et Gopal pour traduire les régulations en règles exécutables, et nous illustrons ce cadre avec des scénarios concrets sur la justice algorithmique ou la sécurité du contenu.
- Registres d’audit auto-souverains. Nous construisons des registres en append-only (ajouts uniquement) en nous appuyant sur des technologies de confiance. Le service Azure Confidential Ledger de Microsoft fournit un stockage immuable et infalsifiable en conservant les données dans un grand livre auquel on ne peut qu’ajouter des entrées. Il fonctionne à l’intérieur d’enclaves sécurisées et utilise un consensus de type blockchain pour garantir l’intégrité des données[25][26]. Notre registre consigne les politiques, les consentements et les actions des modèles et il supporte les preuves à zéro connaissance, de sorte que des auditeurs externes puissent vérifier la conformité sans accéder aux données brutes.
- Gestion dynamique des consentements. Nous développons des « smart contracts » pour les politiques de consentement, qui appliquent automatiquement les conditions d’utilisation des données. Par exemple, le registre refusera qu’un nouveau modèle utilise des données éducatives si le consentement parental obtenu ne le permet pas. Toute évolution des politiques déclenche automatiquement la révocation ou l’ajustement des autorisations concernées.
- Interopérabilité multi-juridiction. Notre DSL RegLogic incorpore des clauses extraites de l’AI Act européen, du RGPD, de la norme ISO/IEC 42001 ainsi que des législations nationales. Cela permet à des projets transfrontaliers d’adopter un moteur de politiques unifié ; les utilisateurs peuvent superposer des règles nationales par-dessus les standards européens communs.
Jeux de données
Ce hub stocke un minimum de données ; la plupart des informations sont enregistrées sous forme de hachages ou de pointeurs chiffrés. Les ressources partageables publiquement incluent des exemples de fichiers de politiques écrites en langage Rego et des journaux d’audit factices démontrant des vérifications par preuves à zéro connaissance.
Méthodes
- Policy-as-code : Les politiques sont exprimées dans un langage lisible par machine (par ex. Rego) et appliquées automatiquement au sein des pipelines CI/CD. OPA permet une gestion centralisée des règles, une application automatique et une meilleure transparence[24].
- Grand livres immuables : Des registres en append-only, souvent bâtis sur une infrastructure blockchain couplée à des enclaves sécurisées, fournissent des enregistrements infalsifiables et auditatables[27].
- Preuves à zéro connaissance : Les parties prouveuses peuvent démontrer la conformité à une règle (par ex. qu’un modèle respecte un seuil d’équité) sans divulguer de données sous-jacentes[28].
- Stratification dynamique des règles : RegLogic compile des clauses réglementaires multiples en politiques exécutables. Ce mécanisme prend en charge les dérogations hiérarchiques et les règles propres à chaque juridiction, afin de faciliter l’application simultanée de réglementations locales et internationales.
Extraits de publications récentes
- « Policy-as-Code : Leveraging OPA for Trustworthy AI » – Principled Evolution. L’article souligne que la gouvernance de l’IA requiert une application robuste et automatisée des principes éthiques et des réglementations. Le policy-as-code, implémenté via OPA, découple la logique de politique du code applicatif et permet une gestion centralisée, une automatisation de l’application des règles et une transparence accrue[24]. Les auteurs introduisent les bibliothèques AICertify et Gopal qui traduisent les exigences réglementaires en règles exécutables, et illustrent des scénarios de gouvernance automatisée (par exemple, exiger qu’un modèle respecte un seuil minimal d’impact disparate, OPA signalant toute non-conformité).
- « Azure Confidential Ledger : Immutability and Tamper-Proof Records » – Microsoft Learn. L’article explique que le service de grand livre confidentiel d’Azure fournit un stockage immuable et inviolable en mode append-only. Il s’exécute dans des enclaves sécurisées et s’appuie sur un consensus de type blockchain pour assurer l’intégrité des données[25][26]. Cette architecture se prête particulièrement bien à l’enregistrement des consentements, à l’application des politiques et à la journalisation des événements d’audit pour l’IA.
- « Ethos AI – Designing Risk Controls » – Ethos AI. Un whitepaper note qu’une gestion efficace des risques liés à l’IA nécessite une combinaison de contrôles à la conception et de contrôles en phase d’exécution. Les contrôles de détection comprennent la détection de dérive des modèles, le suivi des performances et la détection d’anomalies, tandis que les contrôles de réponse incluent le repli sur un modèle précédent (rollback) et des procédures manuelles de reprise en main par un humain[29]. Ces contrôles peuvent être encodés sous forme de politiques et appliqués automatiquement par le système.
- « AI Governance Frameworks : Opening the Black Box » – Precisely. Ce blog discute de la nécessité d’une transparence et d’une explicabilité continues. Les organisations doivent adopter des outils d’explicabilité qui mettent en évidence les facteurs contributifs, les cheminements de décision et les métriques de performance en temps réel[30]. Une surveillance continue des données d’entraînement et de validation est essentielle pour détecter une éventuelle « dérive du biais » ; les cadres de gouvernance doivent définir des processus de profilage des jeux de données, d’application de métriques d’équité et de déclenchement de plans de remédiation dès qu’un problème est détecté[31]. L’automatisation de l’évaluation des risques et des workflows de conformité accélère la gouvernance, tandis que l’utilisation de modèles standardisés et la collaboration inter-fonctionnelle renforcent la cohérence des pratiques[32].
- « Zero-Knowledge Proofs Keep Transactions Private » – Debut Infotech. Ce billet introduit les preuves à divulgation nulle de connaissance, où un prouveur convainc un vérifieur qu’une assertion est vraie sans révéler d’autre information. Il souligne que les ZKP peuvent notamment servir à vérifier la conformité réglementaire (par ex. confirmer qu’un modèle respecte bien certains seuils d’équité) sans exposer les données sous-jacentes[28].
Appel à l’action
Nous encourageons les décideurs publics, les régulateurs et les développeurs open-source à se joindre à nous pour co-créer des bibliothèques de policy-as-code et des outils de gouvernance auto-souveraine. Les organisations peuvent déployer notre grand livre sécurisé dans leur infrastructure et contribuer en retour en partageant des modules de politiques. Nous offrons des subventions pour des projets de recherche portant sur de nouveaux schémas de preuve à zéro connaissance ou sur la compilation de politiques multi-juridictions.
Gouvernance explicable et adaptative
Le comportement des modèles d’IA évolue à mesure que les données dérivent, que les algorithmes sont mis à jour et que de nouveaux contextes apparaissent. Le hub Gouvernance explicable et adaptative se concentre sur une supervision continue et une prise de décision transparente. Nous menons des recherches sur les méthodes d’explicabilité (SHAP, explications contrefactuelles, graphes causaux), l’audit de l’équité, la détection de dérive et les actions de réponse dynamique telles que le réentraînement des modèles ou l’intervention humaine. L’objectif est de passer d’une gouvernance figée à un processus vivant, continu et adaptatif.
Projets en cours
- Surveillance en temps réel de la dérive et des biais. Nous construisons des tableaux de bord qui suivent la performance des modèles, la qualité des données et des métriques d’équité. Le blog Precisely souligne que la surveillance continue des données d’entraînement et de validation est essentielle pour détecter la « dérive des biais » au fil du temps, et que les cadres de gouvernance doivent définir des processus pour profiler les jeux de données, appliquer des métriques d’équité et déclencher des workflows de remédiation en cas de dérive[31].
- Chaîne d’outils pour l’explicabilité. Nos pipelines calculent des valeurs SHAP, des explications locales par modèle de substitution (LIME) et produisent des exemples contrefactuels tant lors de l’entraînement que pendant l’inférence. Le guide de CognitiveView consacré au cadre NIST de gestion des risques de l’IA recommande justement d’utiliser des outils d’explicabilité comme SHAP, LIME ou les explications contrefactuelles, et d’automatiser le suivi de la conformité via des tableaux de bord de risques dédiés[33][34].
- Réentraînement adaptatif et retour arrière. En nous basant sur le livre blanc d’Ethos AI, nous implémentons des contrôles de détection (dérive des données, surveillance des performances) et des contrôles de réponse (rollback vers un modèle précédent, procédures d’arrêt d’urgence par un humain) afin d’atténuer les risques lorsque les modèles s’écartent d’un comportement acceptable[29].
- Engagement de toutes les parties prenantes. Nous organisons des ateliers de travail pour former les data scientists, les responsables conformité et les éthiciens à l’interprétation des explications fournies par les modèles. Le blog Precisely souligne l’importance de la collaboration inter-fonctionnelle et de workflows clairs pour éviter les lacunes en matière de responsabilité[35]. De plus, l’adoption de modèles standardisés de documentation et de rapports, ainsi que la mise en place de processus automatiques d’évaluation des risques, permettent d’accélérer la gouvernance tout en assurant la cohérence des pratiques à l’échelle de l’entreprise[32].
Jeux de données
Si de nombreuses expériences s’appuient sur des données internes, nous publions aussi des jeux de données de référence présentant des schémas de dérive et des biais connus. Chacun est fourni avec des modèles de base et des scripts d’évaluation pour tester les outils d’explicabilité et de gouvernance adaptative.
Méthodes
- Explicabilité : Nous utilisons des techniques comme SHAP, LIME, Grad-CAM pour fournir des attributions de caractéristiques et des visualisations des décisions des modèles. Les explications contrefactuelles indiquent quelles modifications minimales des entrées pourraient changer la prédiction d’un modèle, et les graphes causaux aident à distinguer corrélation et causalité.
- Métriques d’équité : Nous évaluons l’équité selon divers critères (parité démographique, égalité des chances, égalisation des taux d’erreur) et examinons les différences de performance du modèle entre groupes protégés. Le cadre NIST AI RMF préconise de mesurer notamment la justice, la précision, l’explicabilité et la robustesse des modèles[36].
- Détection de dérive : Des tests statistiques surveillent l’évolution des distributions de données et des sorties du modèle. Precisely note que sans un suivi continu, les dérives de biais ou de performance peuvent passer inaperçues, d’où l’importance de mécanismes de détection automatique dans le processus de gouvernance[31].
- Tableaux de bord automatisés des risques : Des tableaux de bord et cartes de chaleur de risques visualisent les modèles les plus à risque et font remonter les problèmes de biais ou de transparence. Ces outils automatisent le suivi de la conformité et des performances en temps réel[33][34].
- Intervention humaine dans la boucle : Pour les décisions à fort impact, des examinateurs humains peuvent intervenir pour valider ou annuler les prédictions du modèle. Le cadre NIST AI RMF insiste sur l’établissement de mécanismes de supervision humaine et de plans de réponse aux incidents pour garder le contrôle des IA déployées[37].
Extraits de publications récentes
- « AI Governance Frameworks : Cutting Through the Chaos » – Precisely. L’article souligne que la gouvernance de l’IA ne se limite pas à la gouvernance des données traditionnelle, mais couvre toutes les phases du cycle de vie des modèles (conception, entraînement, validation, déploiement et suivi continu)[38]. Une transparence et une explicabilité en continu sont essentielles : les organisations doivent adopter des outils d’explicabilité qui mettent en lumière les cheminements décisionnels et les métriques de performance en temps réel[30]. Une surveillance permanente des jeux de données d’entraînement et de validation est nécessaire pour détecter la dérive des biais et déclencher des workflows de correction le cas échéant[31].
- « NIST AI Risk Management Framework – Practical Guide » – CognitiveView. Ce guide détaille les quatre fonctions du cadre NIST (Gouverner, Cartographier, Mesurer, Gérer). Il recommande d’utiliser des cartes de risques pour l’IA, des métriques de justice, de précision et d’explicabilité, des audits de biais, des tests adversariaux, ainsi que d’inclure l’humain dans la boucle pour la surveillance des systèmes à haut risque[39][37]. Des tableaux de bord automatisés doivent suivre la dérive et la conformité en continu[34].
- « Designing Risk Controls for Adaptive AI » – Ethos AI. Ce document discute de la nécessité de combiner des contrôles préventifs définis à la conception et des contrôles de détection et de réponse en phase opérationnelle. Parmi les exemples figurent la détection de dérive de modèle, le suivi des performances, ainsi que des mécanismes de réponse tels que le retour à une version antérieure du modèle ou des procédures d’intervention humaine d’urgence[29].
- « Policy-as-Code in Action : AI Governance Scenarios » – Principled Evolution. Cette section d’article illustre comment des seuils d’équité ou des règles de sûreté du contenu peuvent être appliqués automatiquement via OPA. Par exemple, une politique Gopal peut exiger qu’un modèle respecte un ratio d’impact disparate au-dessus d’un certain seuil ; OPA peut alors marquer toute non-conformité pour intervention immédiate du support humain[40].
- « AI Governance and Model Management Practices » – Blog d’un praticien (fictionnel). Ce billet à paraître partagera des leçons tirées du déploiement de nos tableaux de bord de dérive et d’explicabilité en production. Il contiendra des exemples concrets d’utilisation des résumés SHAP, d’application d’explications contrefactuelles et de réentraînement d’un modèle lorsque ses métriques d’équité passent en dessous de seuils acceptables.
Appel à l’action
Nous invitons chercheurs, développeurs et régulateurs à rejoindre notre bac à sable dédié à la gouvernance explicable. Les contributeurs peuvent tester de nouvelles méthodes d’explicabilité sur nos jeux de données de référence, proposer de nouvelles métriques d’équité ou expérimenter des détecteurs de dérive. Nous offrons également des subventions pour des projets qui intègrent des mécanismes de supervision humaine dans les systèmes d’IA adaptatifs. Contactez-nous pour collaborer ou planifier une démonstration de nos outils.
[1] [2] [9] Federated learning for children’s data | Innocenti Global Office of Research and Foresight
[3] [8] [10] [11] Confidential computing and multi-party computation (MPC)
[4] [12] Differential Privacy for Privacy-Preserving Data Analysis: An Introduction to our Blog Series | NIST
[5] [6] What is Secure Multiparty Computation? – GeeksforGeeks
[7] Differential Privacy | Privacy-Enhancing Technologies PETs
[13] [14] [15] [16] [24] [27] [33] [34] [40] AffectLog Research Hubs: Advancing Trustworthy AI – AffectLog
[17] European Union Artificial Intelligence Act | Deloitte
[18] ISO/IEC 42001:2023 – AI management systems
[19] [20] Understanding ISO 42001
[21] What are the main privacy-preserving techniques used in federated learning?
[22] [23] [36] [37] [39] Understanding NIST’s AI Risk Management Framework: A Practical Guide
[25] [26] Microsoft Azure confidential ledger overview | Microsoft Learn
[28] How Zero-Knowledge Proofs Secure Blockchain Privacy
[29] Choosing the right controls for AI risks
[30] [31] [32] [35] [38] AI Governance Frameworks: Cutting Through the Chaos