Methodology tutorial - theory-finding research designs

This is part of the methodology tutorial.

Introduction

Learning goals

• Learn the names of different kinds of qualitative methodology
• Understand the typical research process (which is very different from a theory-testing approach)
• Be able to differentiate use of qualitative methods in a rather quantitative design and a fully qualitative design

Prerequisites

• Methodology tutorial - empirical research principles

Moving on

• Other designs, i.e. Methodology tutorial - design-oriented research designs and Methodology tutorial - quantitative data acquisition methods
• Methodology tutorial - qualitative data acquisition methods
• Methodology tutorial - qualitative data analysis

Level and target population

• Beginners

Quality

• Should be ok (but needs to be improved in various ways)
• Some translation is needed (examples)

Most often (but not exclusively) theory-finding research designs use a very qualitative approach whereas theory-testing designs are quantitative. But this is just a general observation, not a necessity. You also could design an exploratory quantitative research design or conduct qualitative research that is strongly theory driven.

Design science most often uses a rather qualitative research approach, but since its purpose is different, we will deal with it in another tutorial (Methodology tutorial - design-oriented research designs).

The concept of qualitative methodology

What is qualitative research and qualitative methodology ?

• There exist two frequent stereotypes: "Qualitative methodology" is often synonym of "simple description" or "interview analysis". Such a view is held by people who don't understand the difference between a method-as-technique and a method-as-approach.
• In reality, there exists a huge pool of design approaches and methods.
• Qualitative designs are usually more difficult to create than quantitative designs. Since a typical humanities student is afraid of statistics, he/she may think that qualitative research is easier, but it's not ...

Examples of qualitative approaches (there are more !)

Family	Names	Description
investigative journalism	case description	explanatory story
collaborative research	action research	practical experimentation with a social goal
	participatory observation	analytic immersion
	collaborative research	participatory design of something
Design sciences	See Methodology tutorial - design-oriented research designs
language	text analysis	analysis of relations between elements (grammars)
	dialogue analysis	organization and structure of dialogue
observation in context	anthropology	structured and non-structured observation
	“field research”	(same, but less in depth, more formal)
interpretism	hermeneutics	human activity as "text"
	phenomenology	empathy of “Lebenswelt”
	symbolic interactionism	symbolic interactions between actors

The qualitative research process

Qualitative research is usually carried out in cycles. Its most common features are the following:

• Research must be anchored in “rich” descriptions
• Each theoretical proposition must be anchored in observations
• The researcher plays a delicate role. He (most) always is visible and even can play an active role, i.e. attempt to transform reality.
• Most modern designs also insist on reliability and validity issues.

Regarding the role of theory there exist two very different doctrines. Each has advantages and drawbacks.

Little theory (no grounding of research questions and analysis grids)		A lot of theory (grounding of research questions)
	openness of mind		linking to other research
			closeness of mind
	allows to tackle new subjects		integration of your results with other knowledge
	tendency to collect too much data		tendency to ignore phenomena
	difficult comparison with other work		easier generalization
	non-explicit preconceptions		explicit preconceptions (therefore controllable

Unless you are a student exposed to ethnography, we strongly suggest that you base your research on a lot of theory. It's safer and simpler...

Data analysis in structured qualitative research

In this tutorial, we present a modern, structured view of qualitative data analysis designs

Dey (1993:31) formulate the description - classification - connection principle that you will find in most modern qualitative designs. We are aware that some historical and hermeneutical approaches do not work that way, but for the moment we will not discuss these since they are not very popular in educational technology research.

description : each qualitative analysis relies on “rich” data

Otherwise you can’t interpret the full meaning of an observation !

classification : data structuring and reduction according to coding principles

The mass of data can be staggering !

connection : Identification of relationships between concepts

To make relations (and other structures) appear !

Here is a dynamic vision of the same principle, also from Dey (1993:53)

This figure show the circularity of a qualitative approach: After (or even during) classifying and connecting data you will have to look at data again or even produce new data.

"Modern" qualitative researchers:

• produce a lot of drawings
• use matrices
• use (sometimes) quantitative data exploration techniques

Miles & Huberman (1994:10) illustrate the same principle with a time line and a transition diagram. Their view is slightly different. "Data reduction" is more or less the equivalent of "classify" and "visualization" the equivalent of "connect".

But the fundamental principle is the same: Your principal difficulty is to do something with the huge mass of data in order to find structure. In that respect, most qualitative analysis is no different from quantitative analysis.

A dynamic version of the same schema:

The role of data

• Qualitative data are most frequently generated by the researcher (same as in quantitative designs)
• However, qualitative approaches prefer natural data and refer to the concepts of meaning and process (the last focus is shared with systems analysis and some design research).

Here are some elements that show the distinction between typical quantitative and qualitative research:

Types of approach
Quantitative approaches search for:	Qualitative approaches search for:
Social or individual structures: laws	Social construction: rules and languages as they areperceived and created by subjects
Observable facts	Units of meaning, interpretations by people, e.g. subjective meaning and goals of an action.
Abstract behavior and attitudes or experimental situations	Actions and thoughts in context
Standardized macro-observations(applied to a population)	Thick micro-observations (i.e. few “settings”, small groups, etc.)

Examples of qualitative MA thesis

• Also consult the module on design-oriented research designs

... need to be translated some day

Master thesis of M-A Thibaut

Title: Le cartable électronique®. Un Environnement Numérique de Travail en construction. Pratiques éducatives et mutualisation

Research questions (quotes from the thesis: p. 26)

1. Dans l’utilisation que font les enseignants du cartable électronique®, stabilisent-ils des stratégies pédagogiques ?
   • Recourent-ils à ces outils dans la mesure où cela ne perturbe pas leur habitus d’enseignement ou de gestion de la classe ?
   • Est-ce que l’on voit apparaître la mise en place de scénarios sociopédagogiques, collaboratifs ?
2. Compte tenu de l’impact du sentiment d’utilité dans l’intégration d’une innovation, pouvons-nous attester dans le cadre de ce dispositif de bénéfices retirés par les enseignants ?
3. Quelles sont leurs habiletés actuelles en terme de mutualisation au sein du cartable mais également à l’extérieur ?
   • A travers l’idée qu’ils doivent être les constructeurs des contenus pédagogiques du cartable électronique®, quelle est leur position vis-à-vis de cet investissement ?
   • Quelles sont les stratégies qu’ils mettent en place pour exploiter les ressources qu’ils ont à disposition sur Internet et quelles sont les ressources dont ils ont besoin au sein du cartable ?

Method:

(quotes from the thesis: 27-29)

• Mon travail est une enquête, un regard posé sur les utilisateurs du dispositif. Il est basé sur une étude qualitative et la rencontre de 11 enseignants de différents collèges qui utilisent le cartable électronique® de Savoie. Nous avons préféré questionner plusieurs équipes pour que l’étude soit la plus représentative possible.
• Le type d’entretien s’oriente vers le « Story telling » ou « récit de vie ». Peu directif, parfois une seule question suffit et ne comporte aucune question directe et fermée. Dans ce cadre, il faut insister sur ce qu’ils font concrètement et essayer de modérer les appréciations sur ce qu’ils pensent. Ils doivent raconter par exemple un événement difficile ou au contraire enrichissant.
• Mes entretiens ont duré en moyenne 40 minutes. J’ai construit un canevas reprenant mes points principaux. Dans mes entretiens je me suis tenu à rester au maximum sur les faits, les pratiques et les applications mais certains passages renvoient à leurs représentations, passages que j’ai séparés dans mon analyse. C’est la particularité des récits autobiographiques où l’on retrouve toujours deux types d’information : des indications évènementielles (faits, pratiques...) et des réflexions subjectives (représentations, ressentis, avis...)
• Un questionnaire à la fin de l’entretien leur a été adressé pour connaître leur équipement informatique et leur utilisation à domicile d’Internet. Il se trouve qu’ils sont tous équipés d’une connexion Internet et qu’ils utilisent le web quotidiennement.
• J’ai rencontré progressivement les enseignants et retranscrit parallèlement les entretiens (Annexe D) ce qui m’a permis de réorienter certaines questions. J’ai traité mes données par rapport à mon canevas (Annexe A et B). Le but de l’analyse est de mettre en évidence les constantes des récits, les régularités mais également les cas de particularité.

Master thesis by D. Touvet

Title: Vers de nouvelles formes d'organisation de l'enseignement. Analyse d'experiences de mediatisation de cours

Research questions (thesis: 11)

Pour chacun des cas étudiés, nous cherchons à savoir :

1. Comment se déroulent les processus de médiatisation ?
2. Quelles sont ces nouvelles formes d'organisation de l'enseignement ?
3. Quels sont les nouveaux rôles qui apparaissent tout au long d'un processus de médiatisation d'un cours ?

Method (quotations from the thesis: 37-48)

• Nous avons choisi d'effectuer une recherche qualitative selon une approche s'inspirant en grande partie de celle proposée par Huberman et Miles (1991). Ils proposent une méthode de recueil et d'analyse de données qualitatives comprenant les phases de recueil, condensation, présentation et vérification des données.
• Nous avons décidé de constituer un échantillon de trois projets homogènes, c'est-àdire relativement proches dans leurs caractéristiques pour permettre une meilleure focalisation et comparaison. Ils présentent cependant une bonne variété de choix et de situations possibles.
• Deux méthodes ont été retenues pour recueillir les données :
  • 1. Passation d'entretiens auprès du coordinateur de chaque projet.
  • 2. Consultation des sites web de chaque projet (deux des trois projets retenus ont noté toute leur démarche sur le site web du projet) ce qui nous a permis d'obtenir des informations pertinentes complétant celles obtenues par les entretiens. Ces adresses nous ont été fournies par les coordinateurs.
• Le recueil de données s'est effectué à l'aide d'une grille d'entretien dont les différentes rubriques ont été définies en étroite articulation avec la partie théorique de cette recherche. Ainsi, cette grille permet de comprendre de quelle manière se déroulent les processus de médiatisation, quelles sont les nouvelles formes d'organisation de l'enseignement qui se dégagent et quels nouveaux rôles apparaissent tout au long d'un processus de médiatisation d'un cours.
• Des phases successives de condensation des données recueillies (simplification et synthèse) ont ensuite été initiées et ont abouti à un format de présentation permettant une discussion sur les résultats obtenus.

Bibliography

• Denzin, Norman K. and Yvonna S. Lincoln (eds) (). The SAGE Handbook of Qualitative Research, Sage Publications. ISBN 0761927573

• Miles, Matthew B. and Michael Huberman. (1994) Qualitative Data Analysis: An Expanded Sourcebook, Sage Publications. ISBN 0803955405

• Dey, I. (1993). Qualitative Data Analysis. Routledge, London. * Marshall, C. & Rossman, G. B. (1995) , Designing Qualitative Research, second edition, Sage, London