Enquête par sondage et conception de questionnaires
| Manuel de recherche en technologie éducative | |
|---|---|
| Module: Recueil de données quantitatives | |
| ◀▬▬▶ | |
| ⚐ brouillon | ☸ intermédiaire |
| ⚒ 2021/09/24 | |
Recherche de type enquête par sondage et questionnaires
La méthodologie de la recherche de type enquête par sondage a maintenant plus de soixante ans; elle est donc bien documentée dans de nombreux livres de méthodologie. Elle exige d'acquérir des informations auprès de gens à propos de leurs attitudes, comportements, expériences, conditions socio-économiques et d'autres items au travers de questionnaires. Ces questionnaires peuvent prendre la forme d’un document à remplir, d’un entretien face à face, d’un échange téléphonique ou d’un questionnaire sur Internet. Habituellement, la recherche de type enquête par sondage tente de vérifier une théorie à propos d'une population assez vaste, e.g. "étudiants universitaires en sciences humaines" ou "adolescents à la fin de leur scolarité obligatoire dans tous les pays de l'OCDE". Le sondage est alors soumis à un échantillon représentatif, habituellement quelques centaines de personnes.
La conception d'un questionnaire n'est pas facile. En premier lieu, vous devez avoir conscience que les données de sondage reposent sur des données subjectives, i.e. ce que les gens croient faire ou penser, et même ce qu'ils pensent devoir dire. En second lieu, les questions ne sont que des indicateurs de pensée. C'est la raison pour laquelle on pose habituellement plusieurs questions pour mesurer le même concept théorique. La conception de bonnes questions et de bons items de réponse est difficile. Les débutants font en général de nombreuses erreurs. Pour toutes ces raisons, il est important de s'appuyer autant que possible sur des questionnaires publiés qui ont été développés et testés par des chercheurs sérieux.
La conception de questionnaire, pas à pas
Nous proposons ci-dessous une courte recette pour concevoir un questionnaire.
1. Dressez une liste de concepts (variables théoriques) dans vos questions de recherche pour lesquelles vous avez besoin de données.
2. Assurez-vous d'identifier les dimensions de chacun de ces concepts (ou assurez-vous qu'ils ne soient pas multidimensionnels). Si vous ne savez pas ce que sont les "dimensions", veuillez lire la partie sur l'opérationnalisation de concepts généraux (De la théorie aux données).
- Consultez la littérature de recherche, i.e. trouvez des recherches similaires qui ont utilisé des questionnaires
- Discutez avec des experts du/des domaine(s)
- Dressez une liste de variables conceptuelles (soit des concepts simples, soit des dimensions de concepts complexes)
3. Pour chaque variable conceptuelle, réfléchissez à comment vous prévoyez de la mesurer.
- Premièrement (!), passez en revue la littérature et découvrez si d'autres personnes ont traité cette variable et comment.
- Il est nettement préférable d'utiliser un instrument publié adapté que de construire le vôtre. Vous pourrez alors comparer vos résultats et vous aurez beaucoup moins d'explications et de justifications à fournir! En outre, comme nous l’avons déjà indiqué, vous risquez moins de concevoir de mauvais questionnaires de cette manière.
4. Prévoyez une certaine dose de redondance de mesure
- Ne mesurez pas une variable conceptuelle avec seulement une question ou observation. Utilisez au moins quatre questions.
5. Demandez aux gens comment ils se comportent plutôt que comment ils pensent se comporter.
- E.g. ne demandez pas: “Utilisez-vous des pédagogies socioconstructivistes ?", mais posez plutôt plusieurs questions à propos des tâches habituellement confiées aux apprenants.
6. Ne demandez pas aux gens de confirmer vos questions de recherche.
- E.g. dans un sondage ou dans un test, ne demandez pas: "Etes-vous parvenu(e) à rendre votre enseignement plus efficace avec cette nouvelle technologie ? De nouveau, demandez/observez ce que le professeur accomplit réellement et ce que les étudiants avaient à effectuer et ont effectué.
7. Testez votre questionnaire sur au moins deux personnes. Il y a de grandes chances que quelques-unes de vos questions soient vraiment mal conçues...
Enfin, vous pourriez également trianguler des sondages avec des données de nature différente, e.g. combiner les données de sondage avec des données objectives et des données d'observation quantifiées (comme les analyses des données enregistrées par le système), ou même des données qualitatives comme des entretiens avec des individus sélectionnés.
Conception des items de questions et de réponse
Nous formulons ci-dessous quelques règles que vous devriez respecter et que vous pouvez également utiliser comme check-list.
Formulation et contenu des questions
- Posez seulement des questions que votre population cible comprend.
- Les questions doivent éviter de traiter deux thèmes à la fois!
- Mauvais exemple: Avez-vous aimé ce système et n'avez-vous eu aucun problème avec?
- Rédigez des questions aussi courtes que possible. Autrement, les gens ne liront/retiendront pas toute la question.
- Posez plusieurs questions pour mesurer le même concept. Essayez par tous les moyens de trouver dans la littérature des ensembles d'items publiés (questions) que vous pouvez réutiliser.
- Pensez à améliorer la fiabilité de vos sondages en inversant les échelles, en posant une question d'attention ou en répétant certaines questions importantes afin de vérifier la constance des réponses.
Items de réponses
- Evitez les réponses ouvertes (elles vous donneront un grand travail de codage)
- N'oubliez pas des possibilités de réponse, anticipez toutes les réponses possibles !
- Utilisez des échelles avec une gamme d'au moins cinq choix de réponse, autrement les gens auront tendance à choisir la réponse du "milieu" et vous n'aurez pas de variance. E.g. évitez:
D'accord () sans avis () pas d'accord ()
- Idéalement, les choix de réponse devraient être cohérents avec des items mesurant le même concept.
- Si vous sentez que la plupart des gens cocheront une valeur "moyenne", utilisez une large échelle paire sans point central.
e.g. 1=pas du tout d'accord, 10=tout à fait d'accord
1 2 3 4 5 6 7 8 9 10
Encore une fois, utilisez autant que vous pouvez des échelles publiées. Cette stratégie vous aidera de différentes manières. Vous obtiendrez une meilleure fiabilité (compréhension des questions par l'utilisateur) car les items publiés ont été testés. La construction d'échelles sera plus facile et plus rapide (vous pouvez éviter de faire des statistiques, comme le coefficient alpha de Cronbach). Enfin, cette stratégie rendra vos résultats plus comparables.
Test
- Vous devez tester votre questionnaire sur au moins deux personnes!
- D'après notre expérience en enseignement de la méthodologie, nous pouvons affirmer que nous n’avons jamais vu un étudiant débutant réussir un questionnaire du premier coup, pas même un questionnaire tout juste acceptable. Ne surestimez pas vos compétences!
Exemple: Un questionnaire sur la présence sociale
La présence sociale est une variable importante dans l'éducation à distance (informée). Examinons une étude qui tente de faire le lien entre la présence sociale et la satisfaction de l'apprenant.
Le questionnaire GlobalEd, conçu par Charlotte N. Gunawardena & Frank J. Zittle (1997) et rapporté dans leur article intitulé Social presence as a predictor of satisfaction within a computer‐mediated conferencing environment, American Journal of Distance Education, 11:3, 8-26, DOI:10.1080/08923649709526970 a été développé pour évaluer une conférence virtuelle.
Les participants (n=50) de la conférence ont rempli le questionnaire. La convergence interne de l'échelle de la présence sociale était de a=0,88. Il a été découvert que la présence sociale est un prédicteur robuste de la satisfaction de l'utilisateur.
Le questionnaire utilisait les 14 questions suivantes afin de mesurer la présence sociale (le questionnaire dans son ensemble comprenait 61 items):
- Les messages dans le GlobalEd étaient impersonnels
- La CMO (Communication médiatisée par ordinateur) est un excellent média pour les interactions sociales
- Je me suis senti(e) à l'aise pour converser au moyen de ce média basé sur le texte
- Je me suis senti(e) à l'aise pour me présenter sur GlobalEd
- Le fait que chacun se présente m'a permis de ressentir une forme de communauté en ligne
- Je me suis senti(e) à l'aise dans la participation aux discussions GlobalEd
- Les modérateurs ont créé une impression de communauté en ligne
- Les modérateurs ont facilité les discussions lors de la conférence GlobalEd
- Les discussions utilisant le média de la CMO ont tendance à être plus impersonnelles que les discussions en face à face
- Les discussions CMO sont plus impersonnelles que les discussions en audioconférence
- Les discussions CMO sont plus impersonnelles que les discussions en visioconférence
- Je me suis senti(e) à l'aise lorsque j'interagissais avec d'autres participants à la conférence
- J'ai senti que mon point de vue était pris en compte par les autres participants de GlobalEd
- J'ai été capable de me faire une impression distincte et individuelle de quelques participants au GlobalEd, bien que nous communiquions seulement via un média basé sur le texte.
Une échelle de réponse à 5 points était utilisée pour chaque question.
Exemple: Questionnaire socioconstructiviste destiné aux enseignants
Dans un questionnaire conçu par B. Class et qui était basé sur Dolmans et al. (2003) et Taylor & Maor (2000), le problème était de savoir comment identifier des éléments socioconstructivistes dans un cours d'enseignement à distance pour formateur d’interprètes de conférence.
Décomposition du design socioconstructiviste dans (1) l'apprentissage actif ou constructif, (2) l'apprentissage orienté sur soi, (3) l'apprentissage contextuel et (4) l'apprentissage collaboratif, (5) le comportement interpersonnel de l'enseignant (selon Dolmans et al., 1993).
Remarque: les en-têtes concernant ces dimensions (e.g. "Apprentissage actif/ constructif") ne sont pas montrés aux sujets de l'étude. Nous ne voulons pas qu'ils réfléchissent sur la théorie, mais seulement qu'ils répondent aux questions. Ces en-têtes vous sont montrés ci-dessous pour vous aider à la compréhension.
| Affirmations: Les enseignants nous ont stimulé(e)s... | Pas du tout d'accord | Pas d'accord | Plutôt d'accord | D'accord | Tout à fait d'accord | |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| (Apprentissage actif/constructif) | ||||||
| 4 | ... à chercher des explications durant la discussion | O | O | O | O | O |
| 5 | ... à résumer avec nos propres mots ce que nous avions appris | O | O | O | O | O |
| 6 | ... à chercher des liens entre des questions qui ont fait l'objet de discussions dans le groupe tutoré | O | O | O | O | O |
| 7 | ... à comprendre les mécanismes/théories sous-jacent(e)s | O | O | O | O | O |
| 8 | ... à faire attention aux explications contradictoires | O | O | O | O | O |
| (Apprentissage orienté sur soi) | ||||||
| 9 | ... à générer par nous-mêmes des questions d'apprentissage claires | O | O | O | O | O |
| 10 | ... à évaluer par nous-mêmes notre compréhension du sujet | O | O | O | O | O |
| (Apprentissage contextuel) | ||||||
| 11 | ...à appliquer des connaissances au problème qui fait l'objet d'une discussion | O | O | O | O | O |
| 12 | ... à appliquer des connaissances à d'autres situations/problèmes | O | O | O | O | O |
| 13 | ... à poser des questions sophistiquées | O | O | O | O | O |
| 14 | ... à reconsidérer des explications précédentes | O | O | O | O | O |
| (Apprentissage collaboratif) | ||||||
| 15 | ... à réfléchir à nos forces et à nos faiblesses concernant notre fonctionnement au sein du groupe tutoré | O | O | O | O | O |
| 16 | ... à donner un feedback constructif à propos de notre travail de groupe | O | O | O | O | O |
| 17 | ... à évaluer la coopération de notre groupe régulièrement | O | O | O | O | O |
| 18 | ... à organiser des réunions avec elle/lui pour discuter de comment améliorer notre fonctionnement en tant que groupe | O | O | O | O | O |
Points généraux autour de la conception d'un questionnaire
L'Introduction
Un questionnaire (qu'il soit sur papier ou en ligne) devrait comprendre une courte introduction qui en déclare l'objectif. Une telle introduction garantit que vous ne publierez que des données statistiques (aucun nom) et spécifie combien de temps cela prendra pour répondre aux questions. Il est important de donner une estimation exacte de ce temps, autrement les participants pourraient se fâcher et abandonner la procédure.
[Les élèves disposent de 45mn pour remplir ce questionnaire et auparavant, ils ont du, pendant 2 heures, répondre à un cahier de tests].
Vous trouverez dans ce questionnaire des questions portant sur les points suivants :
- vous ;
- votre famille et votre environnement à la maison ;
- vos activités de lecture ;
- le temps que vous consacrez à étudier ;
- l’ambiance dans votre classe et votre école ;
- vos cours de français ;
- les bibliothèques que vous fréquentez ;
- vos stratégies pour lire et comprendre des textes ;
- votre familiarité avec les technologies de l’information et de la communication (TIC) ;
- le soutien pédagogique extrascolaire payé ;
- votre avenir.
Certaines questions parlent de lecture. Le mot « lecture » désigne la capacité à comprendre des textes écrits, à utiliser leur contenu et à y réfléchir. Cette aptitude est indispensable pour atteindre ses objectifs personnels, développer ses connaissances et son potentiel et prendre une part active dans la société.
Veuillez lire attentivement chaque question et y répondre le plus précisément possible. Dans le test que vous venez de passer, vous deviez le plus souvent entourer votre réponse, mais dans ce questionnaire, vous répondrez surtout en cochant la case appropriée. Pour un petit nombre de questions, vous aurez à rédiger une courte réponse.
Si vous avez fait une erreur en cochant une case, barrez la mauvaise case (ou effacez proprement votre croix), puis cochez la bonne case. Si vous faites une erreur en rédigeant une réponse, contentez-vous de la barrer et de réécrire la bonne réponse à côté.
Dans ce questionnaire, il n’y a pas de « bonnes » ou de « mauvaises » réponses. Répondez en indiquant ce qui est exact dans votre cas.
Vous pouvez d’ailleurs demander de l’aide si vous ne comprenez pas quelque chose ou si vous n’êtes pas sûr(e) de la façon de répondre à une question.
Vos réponses seront combinées à celles d’autres élèves pour donner des résultats totaux et des moyennes, où aucun élève particulier ne pourra être identifié. Toutes vos réponses resteront donc confidentielles.
http://pisa.educa.ch/sites/default/files/20100927/11571-13110-1-ms09_stdq_che_fre.pdf
Ergonomie
Comme mentionné précédemment, le conseil le plus important que nous pouvons vous donner est le suivant: testez le questionnaire sur 2 ou 3 personnes de profil similaire à celui de votre public cible, observez les difficultés et autres problèmes et réglez-les.
Au niveau de la présentation:
- N'incluez que des questions et des items de réponse (en plus de l'introduction)
- Assurez-vous que les gens comprennent où et comment ils doivent réponde (cocher).
Informations de codage pour le chercheur
Il est utile d'inclure des informations de codage pour le chercheur lorsque vous administrez un sondage sur papier. Cependant, si vous le faites, utilisez une police de caractères très petite, autrement, les participants seront distraits par ces dernières.
- Attribuez un code (e.g. "Q2-3") à chaque item de question (variable) et attribuez un nombre (code) à chaque item de réponse
- Cela vous aidera lorsque vous transcrirez les données ou que vous les analyserez
- Utilisez une petite police de caractères (cette information est pour vous).
Ci-dessous, une question issue d'un sondage sur papier avec plusieurs sous-questions à propos du comportement de l'enseignant. Vous pouvez voir que chaque question est numérotée et que les items de réponses ont des codes. Ces derniers ne concernent pas l’utilisateur (et vous devriez vraiment utiliser des petits caractères), mais ils sont très utiles pour la transcription des données et vous aident également à relier, dans votre logiciel de statistiques, les variables aux items de question et de réponse.
Vous trouverez ci-dessous des affirmations générales à propos du comportement des enseignants. Veuillez indiquer dans quelle mesure vous êtes d'accord, ou pas, avec ces affirmations.
Veuillez cocher le cercle approprié sur l'échelle (pas du tout d'accord - tout à fait d'accord) pour chaque affirmation.
| Affirmations: Les enseignants nous ont stimulé(e)s… | Pas du tout d'accord
1 |
Pas d'accord
2 |
Plutôt d'accord
3 |
D'accord
4 |
Tout à fait d'accord
5 | |
|---|---|---|---|---|---|---|
| Q4 | ... à chercher des explications pendant la discussion | O | O | O | O | O |
| Q5 | ... à résumer avec nos propres mots ce que nous avions appris | O | O | O | O | O |
| Q7 | ... à reconsidérer des explications précédentes | O | O | O | O | O |
Bien entendu, il est encore plus crucial que les codes générés pour un sondage en ligne soit corrects. Sauf justification spécial, on choisit toujours des nombres. Pour les variables ordinales et intervalles, l'échelle commence en règle générale à 1 (pôle faible/négatif).
Pratique
Questions de réflexion
Pour pratiquer:
- Pourquoi les questionnaires mesurent-ils un concept théorique unique avec une échelle composée à partir de plusieurs questions?
- Dans le contexte des enquêtes par sondage, que sont les indicateurs qui mesurent un concept théorique ?
Etudes de cas
Pour pratiquer:
- Téléchargez Le cadre d'évaluation de PISA 2009. Les compétences clés en compréhension de l'écrit, en mathématqiues et en sciences. http://www.oecd.org/pisa/pisaproducts/49539189.pdf
- Téléchargez le rapport Résultats du PISA 2009 : Synthèse. http://www.oecd.org/pisa/46624382.pdf
- Lisez avec attention la partie intitulée Cadre conceptuel des questionnaires du cycle PISA 2009, p. 141 du document Le cadre d’évaluation de Pisa 2009.
- Regardez les questionnaires, disponibles en annexe du document Le cadre d’évaluation de Pisa 2009 et identifiez comment quelques variables de votre choix sont mesurées.
Pour vous donner un exemple, vous pouvez consulter ce Fichier:Batilly PISA-AnalyseSondage.pdf, travail réalisé par Lydie Batilly, étudiante du Master MALTT, en 2015.