Analyse prédictive

Page rédigée dans le cadre du cours de Méthodo (P5, 2020-2021) par Lylia/Yong Xin Lam

Introduction

Que ce soit dans le domaine des finances, du marketing ou du commerce, la récolte et la gestion des traces est désormais essentielle à l’amélioration des services ou des performances. C’est à ce moment qu’intervient le travail analytique (analytics). Ce champ a pour objectif d’observer des modèles (patterns) à travers l’usage de données récoltées auprès des utilisateurs d’une certaine technologie. C’est une pratique qui s’est développée en relation avec le champ du Data mining. Les analytics sont divisées en quatre grandes catégories: les analyses descriptives, qui cherchent à comprendre ce qu’il s’est passé, les analyses diagnostiques, qui se concentrent sur la raison ou la source, les analyses prédictives, qui visent à prédire ce qu’il pourrait se passer, et les analyses prescriptives, qui tentent d’établir ce qu’il faudrait faire.

L’analyse prédictive en éducation

Tout comme les analytics sont utilisés pour optimiser différents domaines cités ci-dessus, parmi les différents moyens utilisés pour améliorer l’apprentissage se trouvent les Learning analytics, l’analytique de l’apprentissage. Il s’agit d’examiner les traces laissées par les apprenants dans le but de développer des façons de soutenir leur apprentissage. Cela peut par exemple consister à étudier les résultats d’examens passés d’un étudiant pour y distinguer des informations utiles (périodes de faiblesse, aisance dans certaines branches), découvrir les raisons de certains comportements d’apprentissage, ou encore présager leurs difficultés futures.

Cette dernière possibilité se réfère aux méthodes d’analyses prédictives. En effet, celles-ci se basent sur les données statistiques passées et présentes de l'apprenant afin de prédire, à l’aide d’algorithmes, des scénarios logiques probables. En business, cela s’applique par exemple aux entreprises et leur permettent de prendre leurs prochaines décisions et préparer leur futurs investissements. Dans un contexte pédagogique, cette stratégie peut être mise en place par des établissements scolaires afin de mieux comprendre comment un apprenant acquiert ou non certaines connaissances du plan d’étude et encadrer ce développement. Les traces d’apprentissage sont alors utilisées pour déterminer l’évolution possible des courbes de croissance au niveau des tests. Cela permet par exemple de changer un enseignement ou un soutien pédagogique en fonction des prédictions, ou de connaître les probabilités du nombre d’admissions ou d’échecs d’élèves dans un établissement. Pouvoir déterminer à l’aide d’outils d’analytique de l’apprentissage quels approches pédagogiques produisent de meilleurs résultats serait un atout pour l’éducation.

Mise en application et réception

Mise en application

L’usage de technologies tels le data mining, l’intelligence artificielle et les algorithmes de machine learning permettent d’obtenir des prédictions fiables à partir de données statistiques. Pour cette raison, des méthodes d’analyse prédictive ont été testées à plusieurs reprises dans des contextes pédagogiques ou scolaires. Le processus est divisé en plusieurs étapes. Pour commencer la récolte et le traitement de données est effectuée selon l’objectif recherché. Celles-ci peuvent prendre différentes formes. Il est utile à ce stade d'utiliser une solution ETL (Extract - Transform - Load) qui va notamment permettre d'importer et préparer les données pour l'analyse.

Ensuite, il s’agit de construire un modèle prédictif. Plusieurs façons de procéder et types d’algorithmes existent: arbre de décision, détection de divergences, analyse des liens, etc. Des outils/logiciels d’analyse, tels Rapid Predict, Predixion software, Statsoft Statistica sont utilisés pour gérer ces algorithmes et établir des modèles prédictifs. IBM SPSS possède notamment une page dédiée à l’analyse prédictive pour l’éducation. Des capacités de prédiction sont également disponibles dans certaines suites logicielles de types ETL ce qui permet de réduire les aléas liés au passage d'un logiciel à l'autre (voir ici un exemple de traitement prédictif sur des données issues de Linkedin). Après avoir validé et testé le modèle prédictif créé à partir d’un set de données, il est finalement possible de prendre des décisions basées sur celui-ci.

Arbre de décision: Un des exemples de méthodes utilisées en analyse prédictive est l’arbre de décision. Représenté sous la forme graphique d’un arbre, celui-ci possède une racine et différents embranchements résultants de nœuds, qui sont des tests/conditions (réponse attendue de type “dualité”, ex. oui/non, vrai/faux). Dans un arbre de décision, il est possible d’entrer plusieurs variables qui deviennent des sous-noeuds. L’arbre se termine sur des décisions finales, par exemple des probabilités. Plus l’arbre possède de branches, plus ces décisions seront soumises à des conditions complexes. Deux types d’arbres de décision peuvent être observés: 1) les arbres de classification, qui permettent de prévoir à quelle “classe” (parmi plusieurs) un élément appartient, et 2) les arbres de régression, qui permettent d’obtenir un nombre réel. A titre d’exemple, il est possible de prévoir quelle discipline un étudiant a le plus de chances d’échouer avec un arbre de classification, et quelle est la probabilité de réussite à un examen avec un arbre de régression.

Réception auprès d'enseignants

Dans une étude menée par Herodotou, Rienties, Boroowa, Zdrahal, Hlosta, et Naydenova (2017), un modèle d’analyse prédictive a été implémenté à l’aide du modèle OU Analyse auprès de 240 enseignants. L’objectif était de repérer les élèves qui étaient à risque de ne pas rendre leurs travaux. Des entretiens ont été effectués auprès des enseignants pour connaître leur ressenti quant à cet outil de suivi. La discussion rapporte, de la même manière que certaines études menées sur une thématique similaire, des résultats mitigés en faveur de l’analyse prédictive. En effet, il est à noter que le taux d’usage observé dans l’étude n’était pas régulier chez tous les participants. Parmi les enseignants ayant utilisé l’analyse prédictive, il a été remarqué qu’ils tendent à l’utiliser avant un délai de soumission, et que l’outil renforçait souvent une suspicion qu’ils avaient déjà quant à un étudiant. Les enseignants ont néanmoins noté que l’outil apportait des informations complémentaires et les rendait par conséquent plus actifs en contactant les élèves concernés. Ils se sont néanmoins inquiétés de la charge de travail supplémentaire et des erreurs possibles, et plusieurs ont eu des difficultés à mettre en place un soutien efficace en ayant connaissance de la situation.

Plus-values et limites

En plus d’évoquer les limites de l’analyse prédictive en éducation, Ekowo et Palmer (2017) établissent également une liste de bonnes pratiques à respecter afin de garantir l’efficacité de cette méthode d’analytique de l’apprentissage.

Plus-values

• L’analyse prédictive, si implémentée dans le processus de travail d’un enseignant, permet à celui-ci, grâce aux prédictions algorithmiques, d’éviter des situations difficiles et de systématiser l’acte de porter attention aux élèves à risque d’échec ou en situation de faiblesse. De la même manière, cet outil leur offre l’opportunité d’améliorer leurs enseignements en justifiant les points faibles de ces derniers.

• Elle permet de donner des informations fiables et complètes sur l’évolution d’un apprenant, et permet notamment de suivre avec précision des apprenants qui ont peu d’interactions (forums, messages, paroles…) avec l’enseignant.

Limites

• Risques de discrimination ou de préjugés. En effet, les types de données démographiques utilisées en analyse prédictive sont particulièrement sensibles au risque de discrimination et il convient de les interpréter avec attention afin de ne pas tirer des conclusions hâtives ou néfastes au développement d’un apprenant (ex. “les élèves en situation de pauvreté réussissent moins bien”, “selon les résultats, cet apprenant ne devrait pas aller en médecine”...).

• Ethique et protection des données. En raison de l’usage extensif des données nécessaires pour l’usage de méthodes prédictives, il faut s’assurer de la protection des données des apprenants, en sachant que la nature-même de cet outil peut mener au stockage de données reconnaissables à chaque apprenant dans le but de déterminer les personnes qui nécessitent un soutien. Il s’agit alors pour les institutions d’être clairs et transparents quant à l’usage des données.

• Le rapport entre l’humain et la machine. L’un des risques associés à l’analyse prédictive est l’automation des tâches par les données et les algorithmes, et de cette manière la disparition du jugement humain dans le processus. Comme souligné par Heordotou et al. (2017), certains participants de leur étude ont évoqué la redondance des prédictions. En effet, les relations et interactions humaines entre les enseignants et les apprenants ont généralement pu révéler les faiblesses rapportées par les méthodes d’analyse prédictive. Il n’y aurait donc pas forcément de sens à utiliser une technologie pour remplacer cet aspect.

Préconisations données par Ekowo, M., & Palmer, I. (2017)

• Avoir un objectif et plan clair d’utilisation de l’analyse prédictive. En cas de mauvaise utilisation, c’est un outil dont les limites peuvent nuire à l’apprentissage ou à l’enseignement plutôt que l'encourager. Quels sont les buts précis auxquels les prédictions vont servir? A quels résultats cherche-t-on à parvenir?

• Garantir une bonne implémentation de l’outil. Il ne s’agit non seulement de veiller au bon fonctionnement de l’outil-même sur le plan technique et matériel, mais également d’informer tous les acteurs concernés de son usage, et créer un environnement où la communication et la prise d’action (ex. Comment va-t-on aider cet élève qui est à risque d’échouer?) sont facilitées.

• Veiller au bon usage des données. Sur un plan éthique, il est impératif que la protection de la vie privée des apprenants soit respectée et qu’il n’y ait aucune possibilité de malveillance à travers l’usage de l’analyse prédictive. Cela comprend également une bonne connaissance de l’interprétation des résultats, ainsi qu’une attitude rigoureuse lors de la collecte des données afin de créer un modèle efficace.

• Éviter tout biais lors de la création d’un modèle prédictif. Cela signifie également travailler avec des outils de confiance, et tester les modèles avant de les déployer pour un usage général.

• Prendre soin d’incorporer l’analyse prédictive dans un processus. La méthode seule ne suffit pas à changer l’apprentissage. Il revient aux acteurs concernés de prendre les mesures nécessaires pour incorporer ces informations dans le processus pédagogique. Il est alors important de convenir de stratégies à suivre parallèlement à l’usage de modèles prédictifs.

Bibliographie

• Ekowo, M., & Palmer, I. (2017). Predictive analytics in higher education. New America.
• Ekowo, M., & Palmer, I. (2016). The Promise and Peril of Predictive Analytics in Higher Education: A Landscape Analysis. New America.
• Greengard, S. (2006). How Predictive Analytics Will Improve Learning. EdTech Magazine. https://edtechmagazine.com/k12/article/2006/10/how-predictive-analytics-will-improve-learning (Consulté le 16.05.2021)
• Herodotou, C., Rienties, B., Boroowa, A., Zdrahal, Z., Hlosta, M., & Naydenova, G. (2017, March). Implementing predictive learning analytics on a large scale: the teacher's perspective. In Proceedings of the seventh international learning analytics & knowledge conference (pp. 267-271).
• Matzavela, Vasiliki. (2021). Decision Tree Learning through Predictive Model for Student Academic Performance in Smart M-Learning Environments.
• Rajni, J., & Malaya, D. B. (2015). Predictive analytics in a higher education context. IT Professional, 17(4), 24-33.
• Ranjeeth, S., Latchoumi, T. P., & Paul, P. V. (2020). A survey on predictive models of learning analytics. Procedia Computer Science, 167, 37-46.

Liens

• Decision Tree, Wikipedia
• Decision Tree Learning, Wikipedia
• Learning analytics, EduTech Wiki