Evaluer l'argumentation

Cet article est en construction: un auteur est en train de le modifier.

En principe, le ou les auteurs en question devraient bientôt présenter une meilleure version.

---

Resumé - Abstract Des environnements médiatisés d'apprentissages permettent aux étudiants de développer des dialogues argumentatifs. Des outils d'analyse permettant d'évaluer la qualité de l'argumentation développée par les participants ont été créé, illustrant divers points de vue : structure de l'argumentation, nature et fonction des contributions, nature des raisonnements utilisés, "pattern" d'interactions. L'analyse de la qualité de l'argumentation est un enjeux pédagogique important en Sciences. mots clé :

Introduction

Argumenter: par oral ou par écrit ?

L'argumentation est la manière de présenter et de disposer les arguments ; le terme désigne aussi l'ensemble des arguments qui résulte de cette présentation . L'argumentation est fondamentalement un dialogue, puisqu'il s'agit de faire accepter à une autre personne ou une communauté ses idées. Très tôt dans la scolarité, les enfants se montrent capable d'argumenter et de défendre oralement leur point de vue. La présence de l"autre", en face, allège fortement le travail de production d'argument et de contre-argument. La capacité de développer une argumentation écrite, qui s'effectue dans le cadre de l'apprentissage de la langue première, est beaucoup plus longue à s'installer. . Plusieurs études menées à l'école secondaire relèvent la difficulté que rencontrent les élèves dans la rédaction de textes argumentatifs. On observe :

• pas ou peu de contre-arguments (les contre-arguments apparaissent vers 13-14 ans)
• une développement limités de leur propres arguments
• une dépersonnalisation des arguments (j'aime, ...) qui n'intervient que progressivement.

La transition de l'argumentation orale et collective vers l'argumentation écrite individuelle (parfois assimilée à tort avec une démonstration) n'a rien de naturelle et demande une grande attention de la part des enseignants.

Artefacts technologiques soutenant la production collective d'une argumentation

Principle Maker est un des outils d'étayage proposé dans l'environnement WISE Il propose des phrases sous forme de menus déroulant avec lesquelles l'élève construit des affirmations structurées par des faits

Il existe une large palette d'outils synchrone et asynchrone pour soutenir des étudiants engagés dans un dialogue argumentatif. Ces outils cognitifs ont comme point commun d'enrichir et d'organiser ce que C. Golder nomme l'espace de production du discours argumentatif et d'apporter des avantages spécifiques que Clark et Sampson (2007) présentent ainsi:

• Les outils de communication asynchrone du type forum, qui permettent une participation plus équitable, et offre plus de temps pour poser les idées et élaborer les arguments
• Les outils de communication synchrones, qui permettent un engagement collaboratif plus intense, offre une meilleure aide à une construction conjointe, mais à le désavantage d'engendrer plus de pression sur les participants
• Les wikis et les outils de production collaborative de cartes conceptuelles, qui facilitent la comparaison et l'élaboration fine des arguments et leur juxtaposition.
• Les environnements d'informations enrichi (par ex BSD), très utiles lorsque le contenu du domaine est moins bien maitrisé.
• Les scripts et outils d"awarness", qui proposent des feedback rapides aux participants.

Peut-on apprendre en argumentant ? Peut-on apprendre à argumenter ?

L'évaluation d'une production argumentative collective nécessite de distinguer la qualité de l'argumentation (en terme de structure et de processus) et la qualité des arguments par rapport à l'espace référentiel (le contenu est-il pertinent ? recevable ?). Le présent article expose quelques modèles d'évaluation récents appliqués à des argumentations produites collectivement et sur des questions d'ordres scientifiques. Ces modèles diffèrent selon leur points de vue et l'importance qu'ils donnent tantôt à la structure, au processus ou la rigueur dans le respect du contenu scientifique. En situation d'apprentissage, le processus en jeu est plus intéressant que le produit. Sampson et Clark relèvent les questions auxquelles les chercheurs tente de répondre en développant leurs modèles d'évaluation:

• Des personnes non scientifiques sont-elles en mesure de produire une argumentation justifiant ou réfutant une interprétation d'un phénomène naturel ?
• En quoi le processus et le produit développé par ces personnes diffèrent-ils de l'idéal scientifique ?
• Les étudiants sont-ils en mesure d'assimiler par un enseignement la pratique de l'argumentation propre à la communauté scientifique ?

Un auteur comme Baker considère la pratique du dialogue comme un processus d'apprentissage. Il développe des interfaces spécifiques pour structurer l'activité d'argumentation (C Chene, Damocles, DREW). Cette structuration de l'interface vise à favoriser l’émergence d’interactions épistémiques sur des notions scientifiques. Les interactions sont considérées comme les traces de la construction même des connaissances (Baker 2002, 2004).

Baker observe cependant que la stabilité dans l'argumentation n'est pas atteignable si les savoirs sont en construction. Ainsi, il affirme : "Il peut paraître trop ambitieux d’exiger de l’argumentation qu’elle suffise à elle seule à susciter la co-construction de concepts scientifiques; elle est davantage un moyen de développer l’esprit critique, pour en définitive améliorer la compréhension du problème posé". On peut l'associer à ce que les didacticien francophone nomme la dévolution du problème.

Définition et enjeux

L'argumentation dans l'apprentissage des sciences

La pratique de l'argumentation dans l'enseignement des sciences revêt une importance particulière  :

• Elle remplit une fonction épistémique lié à au mode de production du savoir scientifique; la communauté scientifique est familière des controverses où l'on invoque des raisons pour ou contre une thèse, on présente les arguments favorables (justification) ou qui nous font rejeter la thèse (réfutation).
• Elle est au service de la construction et la structuration des connaissances; selon Leitão elle augmente la compréhension profonde des concepts. Pour Baker, elle améliore la capacité à produire des raisonnements. La capacité de produire une argumentation convaincante reliant faits et théories pour défendre ou réfuter un point de vue est un élément essentiel. Dans un scénario pédagogique comme une enquête scientifique, l'argumentation met en jeu des processus que M.C. Linn décrit ainsi :

1. l'identification des idées et des preuves à propos d'un phénomène;
2. la construction un point de vue et son étayage avec des faits et des preuves;
3. l'évaluation de la pertinence d'un point de vue selon divers critères;
4. la révision d'un point de vue, suite à l'introduction de nouveaux faits.

La pertinence des faits et des preuves est déterminée ici en référence aux savoirs scientifiques partagés. La nature des situations proposées influent fortement sur le processus de production et l'engagement des protagonistes. Il nous parait intéressant de distinguer deux catégories proposées par C. Plantin  :

• l' argumentation en situation de problème, qui est tournée vers le consensus pour élaborer une solution acceptable, où tous les participants à l'interaction ont intérêt à dégager la solution ou la décision optimale; La réponse-conclusion préexistant à l'échange, qui a simplement pour fonction de le publier. On rattachera par exemple les situations d'interprétation d'une expérience ou d'un phénomène naturelle.
• l' argumentation en situations de conflit, sur des intérêts antagonistes, dans lequel les contradictions peuvent être radicales et les questions n'ont pas de solutions acceptables par tous les protagonistes. On y rattachera le débat argumentatif autour d'une controverse scientifique ou une polémique socio-scientifique.

Moins fréquente, il y a des situations de production argumentative individuelle, souvent lié à une situation de contrôle de la maitrise d'un champ de connaissance particulier et où le dialogue est intériorisé. Cependant, il ne faut pas négliger le fait que des études comparatives internationales comme TIMSS (Third International Mathematics and Science Study) ou PISA développe un modèle qui, sans jamais évoquer le terme d'argumentation, évalue la culture scientifique ("science litteracy") qu'elle définie de manière très proche.(PISA 2006) : "Les connaissances scientifiques de l’individu et sa capacité d’utiliser ces connaissances pour identifier les questions auxquelles la science peut apporter une réponse, pour acquérir de nouvelles connaissances, pour expliquer des phénomènes scientifiques et pour tirer des conclusions fondées sur des faits à propos de questions à caractère scientifique"

Point de vue psycholinguistique

C. Golder identifie plusieurs composantes fondamentales dans la production d'un discours argumentatif :

• la justification dont la maitrise ne peut être évaluée qu'à travers le contenu des énoncés. Cela renvoie en particulier à la recevabilité des arguments. Produire une argumentation valable implique un effort d’explication de la source (adaptation à l'interlocuteur visé) et - particulièrement en science - un respect de la normalité scientifique (pour l'enseignant ou en terme de respect du document source).
• la négociation , qu'elle défini comme la nécessité de prendre ses distances vis-à-vis de son propre discours pour pouvoir articuler arguments et contre-arguments. Cela implique d'avoir une certaine connaissance du domaine débattu. Un manque de connaissances dans le domaine spécifique du problème abordé influence négativement cette capacité de négociation. Des stratégies pédagogiques existe pour pallier à cela. Elles consistent à enrichir et structurer les connaissances du domaine, par exemple par un débat en classe, et l'élaboration et la structuration d'une liste d'arguments. Ce qui se fait parfois aisément à l'oral devient difficile à l'écriture, où il est nécessaire de se représenter la position du destinataire pour mettre en valeur ses propres arguments.
• Le processus de planification de l'écriture. Il existe un espace rhétorique au sein duquel plusieurs problèmes se combinent : a) quoi dire ? b) comment le dire ? face à cela, il existe diverses stratégies d'écriture plus ou moins "coûteuse". Scardamalia et Bereiter en définissent deux pôles, qu'ils nomment la stratégie du knowledge telling qui amène le scripteur novice à produire une liste d'arguments et la stratégie du knowledge transforming propre au scripteur expert qui parvient à articuler, confronter et hiérarchiser les arguments et contre-arguments.

Les théories de l'argumentation - le modèle de Toulmin

Toulmin a proposé un modèle de l'argumentation qui prend ses distances avec la logique mathématique manipulant des idéaux et replace l'argumentation dans le contexte d'un usage naturelle de la langue. Ce modèle sert de fondement à la grande majorité des cadres d'évaluation destiné à juger de la qualité d'une argumentation dans l'enseignement.

le modèle de Toulmin, illustré par exemple sur le danger de la consommation de cigarette

Toulmin propose de rattacher tout élément d'une argumentation (orale ou écrite) à une parmi 6 composantes possible. Trois d'entre-elles forment l'ossature minimale  :

• les données (data ou ground) qui constitue en quelque sorte les "preuves" qui fondent la conclusion
• les garanties (warrants) qui explicite le lien entre les données et la conclusion. C’est le lieu de la justification. Elles sont parfois implicites.
• la conclusion (claims) , affirmation de ce que l'on estime vrai

Trois autres composantes ne sont pas toujours présentes. Elles consolident et étayent l'argumentation. Ce sont :

• les modalités (qualifiers) qui précisent les conditions particulières à respecter pour que la conclusion soit vrai;
• les restrictions (rebuttals) qui signale les exceptions éventuelles;
• les fondements (backings) constitue la « structure profonde » du raisonnement. Ce sont des références à des textes et des savoirs reconnus.

Toulmin précise que le contexte détermine quelles composantes est structurellement nécessaire à un moment donné. Il précise que son modèle ne dit rien sur la qualité de chaque composante, qui dépend du domaine. Le recours à ce modèle ne permet donc pas de juger de la qualité de l'argumentation sous l'angle du contenu. Le modèle de Toulmin va cependant servir de modèle prescriptif dans de nombreux environnements asynchrone, sous une forme parfois simplifiée, afin d'aider les apprenants à structurer et enrichir leur argumentation. C. Plantin (2005) considère que la proposition de Toulmin est plus approprié à un monologue qu'à un véritable dialogue argumentatif, bien que la présence des modalités et des restrictions apporte des éléments propre au dialogue.

Appliqués à l'évaluation, plusieurs auteurs relèvent la difficulté de distinguer si un énoncé est une donnée, une conclusion ou une garantie, ce qui se traduit par un manque d'accord inter-juge. Walton (1989) souligne qu'analyser le discours argumentatif en langage naturel au sujet d'une controverse implique pour le chercheur de faire face à certains problèmes :

• il doit être capable de faire face à l'imprécision et ambiguïté de la langue. Le chercheur doit être prêt à percer la ligne principale d'un argument soutenu durant des échanges prolongés entre deux ou plusieurs personnes. Walton souligne qu'un argument doit être considéré comme une construction au sein d'un dialogue interactif de deux (ou parfois plus) de personnes raisonnant ensemble;
• il propose de distinguer au sein des dialogues un côté "claire", constitué par l'ensemble des propositions connues, vues, partagée par tous les participants et un côté "sombre" constitué par l'ensemble de propositions non connu, non visibles, de certains ou de tous les participants, qui représente les engagements implicites.

Recherches récentes

Application du modèle de Toulmin par Erduran, Simon et Osborne

Le modèle proposé se focalise essentiellement sur la structure de l'argumentation. La validité du contenu des arguments n'est pas jugé. Les étudiants peuvent donc être engagé dans une argumentation sophistiquée en utilisant un contenu parfois erroné. L'analyse s'effectue en deux temps: A partir d'un dialogue entre deux étudiants (par exemple à l'occasion de l'interprétation d'une expérience):

Pour chaque tour de parole, on identifie la ou les opérations entreprises, soit :

• opposer une conclusion
• élaborer une conclusion
• renforcer une conclusion par ajout de garantie ou de fondement
• proposer une conclusion
• ajouter une exceptions / conditions

On juge ensuite l'ensemble du dialogue, selon une échelle à 5 niveaux :

1. l'argumentation consiste en une affirmatiuon et une contre-affirmation, sans garantie ni réfutation
2. l'argumentation consiste en affirmation soutenue par des données ou garantie, mais sans réfutation
3. l'argumentation consiste en une série d'arguments et contre-arguments soutenues par des données ou garanties, avec, occasionnellement, une réfutation faible.
4. l'argumentation consiste en une affirmation avec une réfutation clairement identifiable.
5. l'argumentation est étendue, avec plusieurs réfutations.

Dans ce modèle, le procédé de réfutation a plus de valeur que la défense par des données et des garanties. Jimenez-Aleixandre observe que des élèves d'école secondaire produisent des conclusions détaillées, mais avec peu de garantie et de données à l'appui. Ce type d'observation va inciter de nombreux chercheurs à configurer l'environnement technologique dans l'optique d'enrichir la production des élèves.

Schwartz, Neumann, Gil et Ilya (2003)

Ces auteurs proposent également un modèle d'évaluation centré sur la structure de l'argumentation, ce qui le rend applicable dans de nombreux domaines différents.

Ils définissent simplement un argument comme l'assemblage d'une conclusion avec au moins une justification ( que ce soit une donnée, une garantie ou un fondement selon Toulmin). Ils évaluent la qualité de l'argumentation en fonction d'un niveau de complexité structurelle qu'ils définissent ainsi :

1. l'argumentation consiste en une conclusion isolée: sans justification
2. l'argumentation est simple: une conclusion et une ou plusieurs justifications
3. l'argumentation est double: plusieurs conclusions justifiés, mais non articulées
4. l' argumentation est composées: il y a plusieurs conclusions justifiés et mises en opposition

Le modèle s'affine en distinguant différents types de justification.

Clark et Sampson (2007)

Clark et Sampson propose d'évaluer la qualité de l'argumentation élaborée à propos d'un phénomène naturel "objectif", c'est-à dire nécessitant le développement d'un consensus sur une explication valable. Ils utilisent pour cela un forum complété d'un script qui met en confrontation des étudiants ayant élaboré des explications différentes d'un même phénomène. La tâche de ceux-ci est donc double : critiquer l'interprétation de l'autre et défendre la sienne. Ce modèle d'évaluation convient bien à une situation de discussion assez longue au sein d'un forum, engagée entre étudiants d'avis opposés sur un problème complexe ou bien défini (well-defined problem)

L'analyse s'effectue sur un fil de discussion et ressemble à la proposition d'Erduran & al. Un niveau 0 est défini comme l'exposé d'arguments sans opposition, puis :

1. l'argumentation consiste en des arguments et contre-arguments sans réfutation, ni fondement;
2. l'argumentation consiste en des arguments et contre-arguments parfois fondés, mais sans réfutation;
3. l'argumentation consiste en des arguments et contre-arguments parfois fondés et avec une seule réfutation;
4. l'argumentation contient plusieurs réfutations qui remettent en cause une affirmation, mais sans réfutation contestant un fondement;
5. l'argumentation contient plusieurs réfutations qui remettent en cause une affirmation et au moins une réfutation contestant un fondement.

Compte-tenu de la structure d'un fil de discussion, Clark et Sampson considère les interventions réfutant les arguments présent dans un commentaire sont des indicateurs importants de la qualité du dialogue argumentatif développé. Ce modèle permet d'attribuer un haut niveau de qualité structurelle de l'argumentation, même si celle-ci est erronée.

Kuhn et Udell (2003)

Le cadre d'évaluation propos Kuhn et Udell a été développé pour apprécier la qualité conceptuelle de l'argumentation que des étudiants développent à partir d'une question sans réponse scientifique normative. Elle consiste en un codage de chaque argument repéré, avec, dans l'ordre :

• un argument non justificatif, avec peu ou pas de force
• un argument non fonctionnel, car périphérique au problème
• un argument fonctionnel, qui s'adresse au cœur du problème.

Une liste des arguments "pour" et "contre" est relevé. Le but est de mesurer les changements intervenant dans la mobilisation des concepts à la suite de l'enseignement, à travers la sophistication de l'argumentation et de maitrise progressive du cadre de référence. Le cadre comporte également une rubrique focalisée sur des épisodes de désaccord entre deux étudiants et qui vise à identifier la fonction d'un tour de parole au sein du dialogue. Les auteurs ont ainsi défini 25 possibilités répartie en 4 catégories :

• l'exposition
• l'opposition
• le questionnement
• le non questionnement (acquiescement)

Les auteurs ont fait l'hypothèse que les interventions d'opposition augmentent et celles d'exposition diminuent avec la sophistication croissante de l'argumentation.

De Vries, Lund et Baker (2002)

De Vries et al (2002) ont élaboré et expérimenté l’environnement CONNECT (CONfrontation, Négociation Et Construction de Texte), conçu le développement d'un dialogue visant la rédaction d’un texte par une dyade, dans une situations de résolution coopérative de problèmes « ouverts.CONNECT consiste en une interface dit de "discussion guidée" comprenant un chat, une zone de rédaction commune du texte et divers outils de guidage et d'awareness. Chaque personne ouvre son intervention par un marqueurs d'opinions (oui, non ou ?). L'interface produit des consignes en fonction de la combinaison des marqueurs, comme "discutez" pour une combinaison OUI-NON. Le tout vise à favoriser le plus possible les interactions de nature épistémique. Pour analyser les discours produits par les dyades, les auteurs ont développé un codage au niveau de la phrase, défini par quatre grandes catégories, puis des sous-catégories destinés à apprécier la nature et la fonction de chaque acte de parole au sein de l'interaction.

L'analyse des données s'effectue au niveau quantitatif (fréquence et proportion relative de chaque catégorie) et qualitatif.

Zohar et Nemet (2002)

Le modèle proposé par Zohar et Nemeth se distingue des précédents par l'importance que les auteurs accordent à l'intégration des faits et connaissances scientifiques dans l'argumentation développée. Ils définissent un argument comme une affirmation (conclusion) assortie d'au moins une justification, support ou raison. Considérant l'argumentation comme une forme de raisonnement informelle, elles jugent important d'apprendre aux étudiants à fonder leur décision sur des connaissances fiables. Une bonne argumentation contient plusieurs justifications fortes, valables et scientifiquement fiable.

Les données, garanties et fondements du modèle de Toulmin sont tous considérés comme des justifications, L'analyse se concentre sur la manière dont les étudiants y incorporent des idées scientifiques  ;

1. l'argumentation consiste en justification(s) sans élément scientifique
2. l'argumentation consiste en justification(s) avec élément(s) scientifique(s) imprécis
3. l'argumentation consiste en justification(s) avec élément(s) scientifique(s) non spécifique(s), vague
4. l'argumentation contient des éléments scientifiques correctes

Un argument sera considéré comme fort s'il contient plusieurs justifications pertinentes fondée sur une utilisation appropriée et précise de concepts et de faits scientifiques spécifiques Un argument sera jugé faible s'il n'est soutenu que par des justifications non pertinentes, Une affirmation sans justification n'est pas considéré comme un argument.

L'avantage de ce modèle est de permettre de déterminer si l'étudiant utilise correctement les faits scientifiques pour étayer ses affirmations. Les chercheurs constatent ainsi que si 90% des étudiants se montrent capable de formuler des arguments, seul 16 % appuie leur argument avec une information scientifique correcte et précise, Ceci suggère que les étudiants ne vont pas fonder leur affirmations tant que les étudiants ne possèdent pas une représentation conceptuelle adéquate du sujet, ils ne se réfèreront pas à des faits scientifiques. Ceci indique à nouveau que connaissance du domaine et pratique de l'argumentation sont liés. Deux défauts :

1. Ce cadre ne juge pas de la validité scientifique d'une conclusion, mais seulement des justifications. si cela ne pose pas de problème lors de l'étude de dilemme socio scientifique qui confronte plusieurs perspectives, il n'en va pas de même lorsqu'il faut expliquer un phénomène naturel où une seule conclusion est valide.
2. le cadre ne donne pas une idée de la saturation de la justification, L'étudiant utilise--t-il toutes les informations scientifiques mobilisable ? En ne choisissant que certains faits favorables et en n'en écartant d'autres, l'étudiant peut construire une argumentation élaborée, mais scientifiquement incorrecte, dans la mesure où il n'a pas chercher à réconciliés des faits apparemment discordants.

Lawson (2002)

Pour Lawson le rôle des éducateurs est d'aider les étudiants à produire le type d'arguments utilisés et reconnus par la communauté scientifique plutôt que de se soucier de structure générale de leur argumentation. Le développement d'une argumentation en sciences à pour but de présenter, parmi plusieurs interprétations possible d'un événement intriguant, celle qui est correcte et celle(s) qui est incorrecte. Ce processus nécessite non seulement de produire des arguments, mais d'analyser les preuves et de faire des prédictions en faveur ou en défaveur de telle ou telle interprétation.

Implication pour l'enseignement et l'apprentissage

L'évaluation d'une production argumentative collective nécessite de distinguer la qualité de l'argumentation (en terme de structure et de processus) et la qualité des arguments (le contenu est-il pertinent ? fiable ?). L'argumentation est à considérer non comme une activité d'acquisition de connaissance, mais comme une activité d'intégration.

A partir de sa longue expérience de mise au point d'outils destiné à faciliter le dialogue argumentatif en science, Baker défini également les conditions qu'il juge importante :

1. une tâche propice au débat,
2. une préparation cognitive des participants,
3. la mise en œuvre de représentations multiples,
4. le choix des bons partenaires
5. une description claire de ce qui doit être débattu."

Weblio-Biblio

L'argumentation à l'école

Une courte présentation de l'argumentation en école secondaire (UK) (pourquoi, comment), se fondant sur le modèle de Toulmin. [[2]]

Argumentation et artefact technologique

Le mémoire de K. Benetos (2006) consacré au développement d'un artefact destiné à aider un novice à rédiger une argumentation.[[3]]

Le département de philosophie de l'université Carnegie melon de Pittsburgh (PA) propose une page dédiée aux "Argument mapping tools", tout une série d'outils permettant de produire des cartes conceptuelles organisant des arguments.[[4]]

Présentation de quelques outils intégrés d'aide à l'organisation des idées présents dans l'environnement informatisé WISE centré sur des démarche d'enquête: [[5]]

Alessandro Conti