La gestion du risque algorithmique : un nouvel enjeu pour les entreprises

Ecrit en collaboration avec Nadège Grennepois, associée Risk Advisory.

L’avènement du big data et de l’intelligence artificielle dans de très nombreux domaines d’activité a profondément modifié la manière d’opérer certains processus et de s’appuyer sur les données. Des décisions majeures, qui impactent à la fois l’organisation et les individus, peuvent être prises par des algorithmes, incluant par exemple l’octroi d’un service ou d’un crédit, la recommandation d’un traitement médical, l’accès à un service ou un lieu, ou encore l’issue juridique d’une action en justice. En parallèle de cette profonde transformation, les dialogues machine-à-machine s’intensifient, via l’internet des objets et l’internet industriel des objets.

La mise en œuvre de ces nouveaux processus s’appuyant sur de l’IA implique une nouvelle complexité et génère donc de nouveaux besoins de contrôle et de maîtrise. Or dans leur course à l’armement en intelligence artificielle, les entreprises oublient souvent les risques induits, s’exposant à des pertes financières, à des situations de non-conformité règlementaire, à une perte de compétitivité et divers problèmes opérationnels.

La question qui se pose désormais pour les entreprises est complexe. Il leur faut avancer vite et adopter ces nouvelles technologies pour se transformer et offrir des services ou produits plus performants, mais elles doivent également définir des cadres qui permettent d’éviter d’exposer l’organisation au risque.

Risques algorithmiques : de quoi parle-t-on ?

Matérialisons tout d’abord un processus de traitement algorithmique de données, qui se divise en plusieurs étapes : l’acquisition et l’intégration de données, leur traitement, et les valeurs ou états produits.

Nous pouvons identifier de nombreux risques lors de chacune de ces étapes.

Les données en entrée, d’abord, sont vulnérables. Erreurs de labellisation, nouvelles données en entrée non anticipées lors de l’apprentissage, données erronées ou non à jour peuvent toutes générer des erreurs d’analyse ou de prédiction, ou encore nécessiter une adaptation imprévue du modèle algorithmique.

Le design algorithmique peut lui aussi comporter des risques : des biais humains (la recherche d’un résultat sans prendre en compte suffisamment tout le contexte par exemple), des erreurs de coding, une modélisation partielle ou inadaptée, le manque de sensibilisation aux enjeux éthiques et des effets discriminatoires potentiellement liés, une connaissance incomplète des données ou encore l’identification de faux schémas dans les données.

Enfin, les décisions prises, prédictions ou prescriptions sont également des étapes à risques –interprétation ou usage incorrect des résultats, ou encore absence de prise en compte des hypothèses et pré-traitements réalisés.

Gestion du risque algorithmique : où en est-on aujourd’hui ?

Depuis quelques mois, plusieurs outils et algorithmes ont été mis sur le marché. Leur objectif : identifier et contrôler les biais induits par les données ou les algorithmes, mais également mieux visualiser le fonctionnement de certains algorithmes de réseaux de neurone profonds. Ces algorithmes, principalement open source et développés par une communauté de chercheurs, analysent notamment les données sous forme de différentes classifications. En parallèle, des travaux sont menés à la fois par les régulateurs et inspections générales au sein des services financiers afin de définir un cadre de référence sur l’utilisation des algorithmes. Certains services, dont les services financiers, ont de leur côté mis en œuvre des processus normés de validation de modèle (ex: SR 11-7: Guidance on Model Risk Management). Malheureusement, ces standards ne s’appliquent pas à des algorithmes de deep learning.

Globalement, toutes les tentatives pour maitriser les risques liés aux algorithmes se heurtent à deux obstacles principaux : leur spécificité et leur complexité. En raison de leur adaptation à des problématiques métiers propres à chaque entreprise, les algorithmes déployés peuvent présenter des spécificités techniques et sont considérées à ce titre comme de véritables avantages concurrentiels. Les partager est donc souvent hors de propos, ce qui crée un vrai risque pour les utilisateurs et l’entreprise. A titre d’exemple, aucun tiers indépendant ne semble à ce jour avoir le droit de vérifier les algorithmes de startups ou GAFA afin de vérifier s’ils ne génèrent pas d’erreurs ou de biais. Autre obstacle majeur : l’extrême complexité de certains algorithmes. Si certains d’entre eux s’appuient sur des calculs, de l’algèbre ou des statistiques, d’autres, dont les réseaux de neurones et leurs multiples variantes (ex : réseau de neurone récurrent, convolutionnel, machine de Boltzmann…) génèrent des fonctions tellement complexes qu’il n’est humainement pas possible d’expliquer les résultats produits.

Mais dans certains cas de figure, expliquer un fonctionnement n’est peut-être pas nécessaire – nous utilisons bien tous les jours des outils sans savoir comment ils fonctionnent. Notre économie et notre mode de fonctionnement sont basés sur des raisonnements humains – et nous ne savons toujours pas expliquer les raisonnements réalisés par notre cerveau ! Autre exemple : nos équipes informatiques utilisent tous les jours des ordinateurs dont elles ne connaissent pas le fonctionnement réel (qui dans une équipe IT peut expliquer l’architecture d’un processeur ?). Le sujet est donc plus dans le contrôle des entrées et sorties que dans la compréhension fine du fonctionnement interne, qui dépasse la capacité de projection de notre cortex dans certains cas de deep learning.

Alors que faire ?

Tout d’abord, nous recommandons que le sujet du risque algorithmique, de la même manière que le sujet du risque sur les données, soit intégré à l’agenda du Board. En effet, il s’agit d’un sujet touchant généralement les marqueurs de compétitivité de l’entreprise, sa stratégie et sa réputation. Quatre piliers principaux devraient alors donner lieu à des actions.

La stratégie et la gouvernance dans la conception des algorithmes : de nombreux départements en entreprise essayent de construire leurs algorithmes et mènent des projets de data science en interne ou avec des partenaires. Il convient de mettre en place un cadre de gouvernance qui précise comment les projets de data science doivent être conduits, quels sont les prérequis additionnels en termes de recette, test, ré-apprentissage et contrôles à mettre en place.

La définition d’une organisation et de rôles et responsabilités dont la mission est de définir et mettre en œuvre, à l’instar des fonctions de data governance, les processus de contrôle nécessaires et adaptés.

La mise en œuvre d’un suivi opérationnel : il convient de définir et mettre en œuvre un cadre et des processus de contrôle permettant de garantir la performance des algorithmes dans le temps, ainsi que la prise en compte de nouveaux cas (évolution des données). Il s’agit également d’analyser continuellement les données en entrée et les résultats des modèles afin de détecter les biais ou bruits qui pourraient générer des résultats inappropriés. L’évaluation et la quantification du risque de modèle permettront de cibler les actions à mener pour adapter les modèles et processus et atteindre les objectifs de résultat et de transparence souhaités.

Des choix technologiques adaptés : face à la variété des solutions utilisant des algorithmes, il est nécessaire de comprendre comment ces solutions prennent en compte les risques algorithmiques et d’orienter les choix vers les technologies les plus à même de les maîtriser. Utiliser une technologie d’intelligence artificielle sans connaitre les algorithmes sous-jacents parait donc risquée, notamment sur des domaines pouvant nécessiter explicabilité et piste d’audit.

Comme toute innovation, l’avènement de l’intelligence artificielle amène des opportunités énormes pour les entreprises, mais également de nouveaux risques qu’il convient d’appréhender et de contrôler pour bénéficier de toute la valeur apportée par l’intelligence artificielle. La maîtrise de ces risques passe par la mise en place d’une véritable gouvernance de l’IA et des leviers technologiques, le tout associé à une démarche appropriée de gouvernance de la donnée. C’est en mettant en œuvre l’ensemble de ces éléments que l’entreprise pourra déployer, maîtriser et étendre ses projets d’IA sur des fonctions complexes et au cœur des métiers et de la stratégie de transformation de l’entreprise.