Si la nouvelle règlementation européenne relative à l’IA, approuvée début février par les États membres de l’UE, n’est pas encore votée, ses contours sont désormais quasiment arrêtés. Dès lors, les EdTech doivent la prendre en compte dès maintenant pour éviter d’avoir à modifier leurs pratiques lorsque le texte sera applicable, selon Lucie-Anne Soubelet, juriste au service des affaires régaliennes et des collectivités territoriales de la CNIL.
Quels sont, en matière d’éducation, les points clés à retenir du Règlement sur l’intelligence artificielle (RIA) ?
Le texte européen reconnaît l’intérêt de l’IA en éducation pour renforcer la qualité de la formation mais aussi pour permettre de développer des compétences numériques, y compris en matière d’éducation aux médias. Tout cela est nécessaire pour construire une culture citoyenne du numérique. Mais le RIA propose une approche « par les risques » en distinguant quatre niveaux : les systèmes prohibés ; les systèmes à haut-risque ; les systèmes à risque limité et les systèmes à risque minimal. Un certain nombre de systèmes d’IA utilisés dans l’éducation ou la formation professionnelle sont classés, dans le projet de règlement, comme étant à « haut risque ». Leurs fournisseurs doivent donc s’assurer qu’ils satisfont à un ensemble d’exigences requises par le texte.
Quelles sont ces exigences ?
Il s’agit d’avoir un système de gestion du risque, de mettre en œuvre une gouvernance des données (en s’assurant en particulier de la pertinence, de l’exactitude, de la représentativité), de tenir une documentation technique et de mettre en œuvre des mesures de supervision, de transparence, de cybersécurité… Les dispositifs à « haut risque » (voir encadré) ne pourront être déployés dans le domaine de l’éducation que si une analyse d’impact obligatoire sur les droits fondamentaux a été effectuée par le « déployeur » du système. Ce sera notamment le cas des dispositifs visant à évaluer les résultats d’un apprentissage ou le niveau d’apprentissage approprié pour un élève. La CNIL a d’ailleurs publié une recommandation concernant la télésurveillance des examens, une pratique identifiée comme à haut risque dans le RIA. Enfin, le règlement interdit les systèmes de reconnaissance des émotions des personnes au sein des établissements d’enseignement.
Quels conseils donneriez-vous aux EdTech afin qu’elles se préparent au mieux à la législation ?
La CNIL appelle les entreprises à s’intéresser dès maintenant à ces nouvelles obligations, sans attendre l’entrée en application effective du texte. Il faut aussi rappeler que les EdTech sont déjà soumises au respect du RGPD, depuis 2018, avec ou sans IA, dès lors que leur outil traite des données personnelles relatives aux élèves ou aux enseignants. Le RGPD leur impose déjà, sauf exceptions, d’effectuer une analyse d’impact sur la protection des données de l’ensemble de leur traitement de données concernant des mineurs et utilisant de l’IA. Pour accompagner les acteurs, la CNIL a publié un guide d’auto-évaluation qui permet aux organismes d’évaluer la maturité de leurs systèmes d’IA au regard du RGPD. Enfin, la CNIL recommande aux enseignants d’utiliser le moins de données possible relatives aux élèves dans le cadre du recours à l’IA, notamment générative. Par exemple, en créant un compte pour la classe plutôt que par élève, en préférant l’usage de pseudonymes ou en n’alimentant pas l’IA par des données relevant de la vie privée des élèves.
Selon vous, quel équilibre faut-il trouver entre innovation et sécurité d’usage ?
L’équilibre à trouver pour concilier innovation et sécurité n’est pas nouveau. Cette notion existait déjà avant l’apparition de l’IA. Les institutions internationales, comme l’UNESCO, ou nationales, comme le ministère de l’Éducation nationale, reconnaissent que l’IA offre des potentialités pour relever de nombreux défis éducatifs. Les risques sont néanmoins importants : mal configurés ou mal utilisés, les outils peuvent conduire à des conséquences négatives pour les enfants (atteinte au droit à l’éducation et à la formation, discriminations, etc.). Le développement de l’IA ne pourra se faire sans les personnes concernées, à savoir les enseignants et les élèves. Ils doivent comprendre comment ces dispositifs fonctionnent et développer une culture de base sur l’IA. Depuis 2021, un projet européen coordonné par France Éducation Internationale (AI4T) permet de construire une formation sur la manière d’utiliser l’IA pour les enseignants de lycée et de participer à une expérimentation sur les apports de l’IA en éducation dans 5 pays de l’UE. Enfin, un MOOC citoyen développé par INRIA, « Class’Code IA », existe déjà et sert de base à ces travaux.
| Les systèmes d’IA « à haut risque » dans le domaine de l’éducation
On distingue 4 grandes familles de systèmes : · Les systèmes d’IA destinés à être utilisés pour déterminer l’accès ou l’admission ou pour affecter des personnes physiques à des établissements d’enseignement et de formation professionnelle à tous les niveaux ; · Les systèmes d’IA destinés à être utilisés pour évaluer les résultats de l’apprentissage, y compris lorsque ces résultats sont utilisés pour orienter le processus d’apprentissage des personnes physiques dans les établissements d’enseignement et de formation professionnelle à tous les niveaux ; · Les systèmes d’IA destinés à être utilisés pour évaluer le niveau d’éducation approprié qu’une personne recevra ou auquel elle pourra accéder, dans le cadre d’un établissement d’enseignement et de formation professionnelle ou au sein de celui-ci ; · Les systèmes d’IA destinés à être utilisés pour surveiller et détecter les comportements interdits des étudiants pendant les épreuves dans le cadre des établissements d’enseignement et de formation professionnelle ou en leur sein. |
