Indicateurs et données

Page rédigée dans le cadre du cours Conduite de la recherche (2021-2022) par Lylia/Yong Xin Lam, Marie G. et Tiffany N.

Introduction

Dans le déroulement d’une recherche scientifique, l’étape d’expérimentation suit l’étape de problématisation durant laquelle l’apprenant ou le chercheur émet des hypothèses quant à la réalité qui l’entoure. Dans le but d’éprouver ces postulats, c’est-à-dire vérifier les hypothèses exprimées, une récolte d’information sur le terrain est nécessaire; il s’agit ainsi d’effectuer des mesures. L’action de la mesure s’effectue à l’aide de données, d’instruments et d’indicateurs lors d’un processus de traduction du langage abstrait (concept) au langage empirique (observation).

Données

Dans son document sur les “Principes et lignes directrices pour l’accès aux données de la recherche financée sur fonds publics”, L’OCDE (Organisation de Coopération et de développement économique) définie les données de la recherche comme “des enregistrements factuels (chiffres, textes, images et sons), qui sont utilisés comme sources principales pour la recherche scientifique et sont généralement reconnus par la communauté scientifique comme nécessaires pour valider des résultats de recherche.” (p.18, OCDE, 2007)

Les données sont donc des informations brutes, une suite ou une liste de caractères alphanumériques, des images ou des sons qui sans l’application d’un traitement et leur groupement ne permettent pas de tirer des conclusions. Ainsi, les données doivent être transformées en indicateurs pour permettre de répondre aux questions de recherche de l’étude envisagée.

Indicateurs

Figure 1: Schéma expliquant le passage du concept (langage théorique) à l'indicateur (langage empirique)

Afin de mesurer les concepts, il faut établir des indicateurs. L’indicateur est le signe concret issu de la transformation des données brutes qui permet de visualiser un concept abstrait. Ils permettent de traduire de manière plus concrète le concept défini dans les hypothèses de recherche et ainsi de valider ou invalider celles-ci. Avant d’être utilisés, les indicateurs doivent être construits au moyen d’instruments puis évalués selon des critères spécifiques.

Tout d’abord, le chercheur passe par une étape de recensement des indicateurs. Il établit une liste des indicateurs possibles qui permettent de visualiser un concept. Ensuite, ces indicateurs seront évalués selon l’appréciation de la validité et de la fidélité pour s’assurer de leur niveau de confiance et de la qualité de la mesure. Après l’évaluation et la sélection des indicateurs, ceux-ci peuvent être appliqués pour mesurer et traduire les concepts. Afin de construire des indicateurs, des instruments permettent de récolter des données et de les mettre en forme : l’observation directe, l’analyse de contenu (discours, données institutionnelles chiffrées ou textuelles, entrevues) et le questionnaire en sont des exemples.

Fidélité

Pour évaluer la fidélité d’un indicateur, il faut commencer par regarder le nombre d'objets qui est mesuré. L’indicateur est fidèle si un seul objet est mesuré à la fois. Dans le cas où il en mesure plusieurs, il vaut mieux le rejeter, car cela peut amener à un doute sur l’objet mesuré et des résultats nébuleux. Il est donc important de faire des vérifications de la fidélité des indicateurs et des mesures, afin de s’assurer de la pertinence des résultats les plus pertinents.

De plus, un indicateur se doit d’être précis. Sa typologie et sa signification doivent correspondre à un niveau de langage approprié à tous, c’est-à-dire, il doit être compris de la même manière par tout le monde. Un indicateur aussi être non contaminé, c’est-à-dire que l’instrument de récolte de données ne doit pas influencer les résultats. Pour cela, l’instrument doit être stable. Il ne doit pas être modifié lors des différents moments de la récolte des données, car cela peut risquer de biaiser les résultats.

Validité

Pour évaluer la validité d’un indicateur, il faut en premier temps qu’il soit fidèle, c’est-à-dire, précis, non contaminé et stable. La validité permet de déterminer si un indicateur représente bien un concept. Pour cela, nous pouvons nous poser la question : est-ce que l’indicateur mesure vraiment ce qu’il est censé mesurer ?

Exemples d'utilisation

Dans le but d'illustrer les concepts de données et d'indicateurs, des exemples d'études, dans lesquelles les données et les indicateurs ont été explicités, sont présentés ci-dessous.

	L’engagement des étudiants dans les forums de discussion des MOOC : dimensions et indicateurs (Nleme Ze et Molinari, 2021)	Promoting regulation of equal participation in online collaboration by combining a group awareness tool and adaptive prompts. But does it even matter? (Strauss et Rummel, 2021)	Gender-related differences in collaborative learning in a 3D virtual reality environment by elementary school students (Yeh, Lan et Lin, 2018)
Résumé de l’étude	Etude qualitative sur la perception des étudiants de l’engagement dans les forums MOOC comme un construit quadridimensionnel : comportementale, affective, cognitive, sociale par 11 entretiens semi-structurés de type descriptif/interprétatif. (Nleme Ze et Molinari, 2021)	Etude expérimentale sur la participation lors de l’apprentissage collaboratif médiatisé par ordinateur avec l’utilisation de “group awareness tools” et de script. Ainsi, sur des petits groupes d’étudiants, le chercheur compare 3 conditions. Pour illustrer les notions de données et indicateurs nous regarderons comment il répond à la question de recherche exploratoire suivante : “Quels sont les patterns d’interaction durant la collaboration ?”	Etude empirique et qualitative sur les différences de genre dans un contexte de création de films dans un environnement 3D en VR. A l’aide d’entretiens, d’observations des comportements et des traces, les chercheurs ont essayé de comprendre la manière dont les élèves travaillent en groupe dans un environnement virtuel 3D, et l’influence du genre sur leur façon de travailler.
Données	Réponses aux questions (1) qu’est-ce que signifient “être engagé” et “être désengagé” dans un forum de discussion pour vous ? (2) d’après vous, que font les étudiants lorsqu’ils sont engagés et désengagés dans un forum de discussion ?	Plusieurs données ont été récoltées, le nombre de mots écrits dans le forum ou le wiki, des réponses à des questionnaires et particulièrement ici, le contenu des messages échangés dans le forum et le wiki du groupe.	Les instruments utilisés ont principalement été des transcriptions d’entretiens et des enregistrements vidéo des sessions virtuelles des élèves. Les données, elles correspondent précisément aux paroles verbales des élèves (ex: “We should practice before recording !”) et à leurs actions (ex: L’avatar d’un élève reste debout devant un magasin virtuel)
Indicateurs	Engagement comportemental : Lire les discussion Répondre aux questions Poser des questions … Engagement affectif: Content de partager son avis Heureux de participer au forum Content de recevoir l’avis des autres … Engagement cognitif: Consacrer suffisamment de temps aux forums Se référer au forum de discussion pour mieux comprendre une notion Argumenter et détailler les réponses aux questions ... Engagement social: Commenter les avis, idées, etc. des autres avec bienveillance Aider les autres à résoudre les problèmes Aider les autres à mieux comprendre les thèmes abordés … Il y a aussi des indicateurs pour le désengagement que nous ne citons pas ici dans cet exemple.	Des catégories d’interaction durant la collaboration sont élaborées pour classer ces données. Ainsi, les messages pouvaient être de la coordination, de l’enregistrement (monitoring), une contribution mineure ou majeure ou un autre type de messages.   Pour obtenir ces indicateurs, 2 codeurs indépendants (puis 1 seul) ont codés les messages. Les indicateurs correspondent à des séquences d’actions avec des couleurs représentant chaque type d’interactions au cours du temps comme présenté ici : Exemple d'indicateur : Séquence d'action pour les interactions lors du travail collaboratif Ces séquences sont ensuite comparées.	Les indicateurs définis par les chercheurs correspondaient par exemple aux actions entreprises par les élèves: “Voler dans le ciel dans l’environnement virtuel”, “Demander ce qu’il faut faire”, “Comportement impoli”... Certaines actions étaient ainsi associées à la collaboration: “Chercher un membre du groupe”, “Organiser le travail de groupe”...

Références

Durand, C. et Blais, A. (2009). La mesure. Dans B. Gauthier (dir.), Recherche sociale : De la problématique à la collecte des données (5e éd., p. 227-250). PUQ.

Nleme Ze, Y. S. et Molinari, G. (2021). L’engagement des étudiants dans les forums de discussion des MOOC : Dimensions et indicateurs. Distances et médiations des savoirs, 36, 1-17. https://doi.org/10.4000/dms.6674

OCDE (2007). Principes et lignes directrices de l'OCDE pour l'accès aux données de la recherche financée sur fonds publics. Éditions OCDE. https://doi.org/10.1787/9789264034020-en-fr.

Strauß, S. et Rummel, N. (2021). Promoting regulation of equal participation in online collaboration by combining a group awareness tool and adaptive prompts. But does it even matter? International Journal of Computer-Supported Collaborative Learning, 16(1), 67-104. https://doi.org/10.1007/s11412-021-09340-y

Yeh, Y. L., Lan, Y. J. et Lin, Y. T. R. (2018). Gender-related differences in collaborative learning in a 3D virtual reality environment by elementary school students. Journal of Educational Technology & Society, 21(4), 204-216. : https://www.jstor.org/stable/10.2307/26511549