Depuis l’adoption de l’AI Act par l’Union européenne en août 2024, les équipes formation doivent connaître les risques d’usage et les nouvelles responsabilités qui leur incombent. Tour d’horizon de ce qu’il faut obligatoirement faire pour être en conformité.

Identifier les niveaux de risques

L’ AI Act, premier cadre légal contraignant au monde pour encadrer les usages de l’IA, distingue quatre catégories de risque : le risque inacceptable (reconnaissance faciale, notation sociale…), le risque élevé (systèmes autorisés sous conditions strictes), risque limité (outils comme ChatGPT) et risque minimal (correcteurs automatiques). Le monde de la formation est directement concerné par la deuxième catégorie de risque : « Les systèmes utilisés pour les évaluations automatisées des performances des apprenants, les chatbots pédagogiques, l’orientation dans les parcours de formation, la gestion adaptative des contenus pédagogiques entrent dans cette catégorie de risque élevé », a expliqué Elodie de Roose, chargée de communication de Topformation, dans le cadre d’un webinaire.

Documenter l’outil utilisé

Les organisations doivent identifier et recenser les outils d’IA en établissant un inventaire précis. Les acteurs de la formation doivent, quant à eux, pouvoir expliquer clairement ce que fait l’outil IA qu’ils utilisent et quelles sont les données qu’il mobilise. « Ils doivent également rendre compte de la manière dont l’outil prend des décisions », souligne Julien Deplasse, conseiller en référencement chez Topformation. Par exemple, lorsqu’un formateur utilise l’IA pour corriger automatiquement des QCM, il doit documenter l’algorithme utilisé – même s’il n’a pas développé l’outil lui-même – les critères de notation, les marges d’erreur possibles et prévoir un contrôle manuel.

Assurer un contrôle humain

L’AI Act exige un contrôle humain systématique. Concrètement, il faut qu’un humain puisse comprendre, vérifier et, si besoin, corriger ou contester une décision prise par une IA. « C’est le principe de la supervision humaine. Par exemple, si un apprenant échoue à un test entièrement corrigé par l’IA, il doit pouvoir demander une correction humaine ou faire valoir une réclamation auprès d’un formateur qualifié », précise-t-il. Ici, il est indispensable d’identifier clairement qui est responsable du contrôle des décisions d’IA dans l’organisme. « Le référent IA peut par exemple être un formateur senior ou un expert pédagogique chargé de valider les évaluations produites par l’IA avant de les communiquer aux apprenants », souligne-t-il.

Informer les utilisateurs

Les apprenants doivent savoir que l’IA est utilisée dans les dispositifs de formation. C’est une obligation qui est prévue dans le règlement. « Les apprenants doivent être informés qu’ils interagissent avec un système d’IA. Concrètement, si un chatbot IA est introduit dans un module d’e-learning, il faudra ajouter une mention visible dès le début du module. Par exemple :« Vous interagissez maintenant avec une intelligence artificielle » », précise-t-il.

Sécuriser les données utilisées

Les systèmes d’IA à haut risque doivent garantir la qualité, la sécurité et l’intégrité des données. Cela suppose d’éviter les biais, d’anonymiser les données personnelles et de respecter le RGPD. « Si une IA repose sur les données de résultats des apprenants, il faut s’assurer que ces données sont stockées de manière sécurisée, qu’elles sont à jour, pertinentes et que l’apprenant a donné son consentement pour leur usage. »

Ritualiser des pratiques de conformité

Il est possible de mettre en place trois bonnes pratiques : créer une fiche de conformité IA pour chaque outil utilisé ; organiser une revue trimestrielle des outils IA par un comité de pilotage pédagogique ; et, enfin, documenter à la fois les incidents observés et les actions correctives mises en place. Enfin, il est important de savoir que l’AI Act ne se limite pas à encadrer la technologie. Il impose également une obligation de formation. « La formation des équipes ne doit pas consister à faire un cours théorique sur l’IA, mais bien à donner des clés pour maîtriser les outils utilisés et comprendre la législation applicable. » Enfin, les équipes doivent être formées à l’évaluation des outils, à la documentation des incidents, au signalement des erreurs et à la pratique de mises à jour continues des systèmes.