Apprentissage multimédia

Dual-coding theory, a theory of cognition, was hypothesized by Allan Paivio of the University of Western Ontario in 1971. Paivio used the idea that the formation of mental images aids in learning when developing this theory. According to Paivio, there are two ways a person could expand on learned material: verbal associations and visual imagery. Dual-coding theory postulates that both visual and verbal information is used to represent information. Visual and verbal information are processed differently and along distinct channels in the human mind, creating separate representations for information processed in each channel. The mental codes corresponding these representations are used to organize incoming information that can be acted upon, stored, and retrieved for subsequent use. Both visual and verbal codes can be used when recalling information. For example, say a person has stored the stimulus concept, “dog” as both the word 'dog' and as the image of a dog. When asked to recall the stimulus, the person can retrieve either the word or the image individually or both, simultaneously. If the word is recalled, the image of the dog is not lost and can still be retrieved at a later point in time. The ability to code a stimulus two different ways increases the chance of remembering that item compared to if the stimulus was only coded one way.

Types of Codes

Analogue code Analogue codes are used to mentally represent images. Analogue codes retain the main perceptual features of whatever is being represented, so the images we form in our minds are highly similar to the physical stimuli. They are a near-exact representation of the physical stimuli we observe in our environment, such as trees and rivers.

Symbolic code Symbolic codes are used for mental representations of words. They represent something conceptually, and sometimes, arbitrarily, as opposed to perceptually. Similar to the way a watch may represent information in the form of numbers to display the time, symbolic codes represent information in our mind in the form of arbitrary symbols, like words and combinations of words, to represent several ideas. Each symbol (x, y, 1, 2, etc.) can arbitrarily represent something other than itself. For instance, the letter x is often used to represent more than just the concept of an x, the 24th letter of the alphabet. It can be used to represent a variable x in mathematics, or a multiplication symbol in an equation. Concepts like multiplication can be represented symbolically by an "x" because we arbitrarily assign it a deeper concept. Only when we use it to represent this deeper concept does the letter "x" carry this type of meaning.

Support for this theory

Many researchers today have agreed that only words and images are used in mental representation. Supporting evidence shows that memory for some verbal information is enhanced if a relevant visual is also presented or if the learner can imagine a visual image to go with the verbal information. Likewise, visual information can often be enhanced when paired with relevant verbal information, whether real-world or imagined (Anderson & Bower, 1973). This theory has been applied to the use of multimedia presentations. Because multimedia presentations require both spatial and verbal working memory, individuals dually code information presented and are more likely to recall the information when tested at a later date.

Paivio found that participants when shown a rapid sequence of pictures as well as a rapid sequence of words and later asked to recall the words and pictures, in any order, were better at recalling images. Participants, however, more readily recalled the sequential order of the words, rather than the sequence of pictures. These results supported Paivio's hypothesis that verbal information is processed differently than visual information and that verbal information was superior to visual information when sequential order was also required for the memory task (Paivio, 1969). Lee Brooks conducted an experiment that provided additional support for two systems for memory. He had participants perform either a visual task, where they had to view a picture and answer questions about the picture, or a verbal task, where they listened to a sentence and were then asked to answer questions pertaining to the sentence. To respond to the questions, participants were asked to either respond verbally, visually, or manually. Through this experiment, Brooks found that interference occurred when a visual perception was mixed with manipulation of the visual task, and verbal responses interfere with a task involving a verbal statement to be manually manipulated. This supported the idea of two codes used to mentally represent information (Sternberg 2003).

Working memory and dual-coding

Working memory as proposed by Alan Baddeley includes a two-part processing system with a visuospatial sketchpad and a phonological loop which essentially maps to Paivio’s theory.

Implications

Paivio’s work has implications for literacy, visual mnemonics, idea generation, HPT, human factors, interface design, as well as the development of educational materials among others. It also has implications for, and counterparts in, cognitive sciences and computational cognitive modeling (in the form of dual process cognitive models and so on; e.g., Anderson, 2005; Just et al., 2004, Sun, 2002). It also has had implications for cognitive robotics.

Limitations

There are limitations to the dual-coding theory. Dual-coding theory does not take into account the possibility of cognition being mediated by something other than words and images. Not enough research has been done to determine if words and images are the only way we remember items, and the theory would not hold true if another form of codes were discovered. Another limitation of the dual-coding theory is that it is only valid in for tests on which people are asked to focus on identifying how concepts are related. If associations between a word and an image cannot be formed, it is much harder to remember and recall the word at a later point in time. While this limits the effectiveness of the dual-coding theory, it is still valid over a wide range of circumstances and can be used to improve memory.

La charge cognitive est une théorie développée par John Sweller et Fred Paas (mais d'autres chercheurs travaillent sur cette notion) qui tend à expliquer les échecs, ou les réussites, des personnes essentiellement en activité d'apprentissage mais aussi en activité de résolution de problème. La charge cognitive met en jeu la capacité de stockage d'informations en mémoire de travail et l'intégration de nouvelles informations. Comme la mémoire de travail est limitée, il est nécessaire que les informations utiles à l'accomplissement d'une tâche puissent être aisément traitées. Ces informations le seront d'autant mieux qu'elles sont intégrées à un schéma mental. Si la mémoire de travail ne peut traiter que trois données simultanément, la taille de ces données n'est, semble-t-il, pas limitée. Un schéma qui englobe toute une série d'objets et d'actions pourra être traité comme une seule donnée. Si un trop grand nombre d'informations demande à être traité, la charge cognitive sera trop importante et cela aura comme effet l'échec de la tâche ou l'impossibilité de créer ou de faire évoluer des schémas en mémoire à long terme.

Les différents types de charge cognitive

Cette charge cognitive dépend de ce qui est présenté (charge intrinsèque) et de la façon dont cela est présenté (charge extrinsèque). Ces deux aspects s'additionnent. Cela signifie que la charge intrinsèque d'une tâche peut être acceptable en mémoire de travail, mais si à cela s'ajoute une charge extrinsèque trop importante, le sujet sera en surcharge cognitive. La charge intrinsèque est liée à la tâche en elle-même, elle ne pourrait être allégée qu'au prix de suppressions d'éléments de la tâche. Cependant Schnotz note qu'une même tâche accomplie par des novices ou des experts n'engendrera pas la même surcharge cognitive. Cela démontrerait que l'expertise permet d'alléger la charge intrinsèque. La charge extrinsèque peut être modifiée car elle est liée à la façon dont est présentée l'information. Si une tâche pour être accomplie oblige au traitement quasi simultané d'informations distantes (par exemple dans un texte), la charge cognitive sera accrue puisqu'en mémoire de travail devra être conservée une information nécessaire à la compréhension d'une autre. Une co-présentation permettrait de réduire la charge cognitive.

Apprentissage et charge cognitive

Deux modalités d'apprentissage ont été particulièrement étudiées : la première a trait à tout ce qui entraîne une « dissociation de l'attention ». Sous cette expression il faut entendre la nécessité pour le sujet de traiter simultanément deux types d'informations afin de les unir en une seule. Ainsi il semble préférable d'apprendre le fonctionnement d'un ordinateur grâce à un manuel intégrant toutes les informations nécessaires plutôt qu'au moyen d'un manuel qui oblige à un constant aller-retour avec l'ordinateur. Le second élément qui peut produire une surcharge cognitive concerne la manière dont est présentée une information. Une combinaison d'informations qui combine l'oral et le visuel peut réduire la charge cognitive. Cependant, cette combinaison ne doit pas être redondante au risque de provoquer une surcharge cognitive. Chaque élément doit renforcer l'autre mais ne pas le répéter. Si ce n'est le cas, l'aide espérée provoque finalement une dissociation de l'attention. Cette influence de la modalité apparaît aussi lorsque le but de la tâche est de procéder à un apprentissage. En ayant un même objectif d'apprentissage, il est souvent possible de choisir un type de tâche à un autre. Ainsi travailler à partir d'exemples s'avère moins coûteux en termes de charge cognitive que de résoudre un problème. Cependant cette tendance peut s'inverser lorsque les apprenants ont déjà une expertise du domaine. D'ailleurs, le fait d'être expert ne permet pas toujours de répondre mieux à la tâche qu'un novice. Des informations utiles à des novices auraient un effet redondant pour des experts, qui encombreraient alors inutilement leur mémoire de travail (MDT). Cependant une autre interprétation de cette redondance présente celle-ci, non comme une surcharge, mais comme une gêne pour forger un nouveau schéma mental. Parce que la tâche est trop simple, il n'y a pas de volonté d'apprendre (i.e. transformer un schéma cognitif en un nouveau plus efficace).

L'intégration de schémas mentaux

En effet, il est à noter que la charge cognitive peut être positive lorsqu'elle permet l'intégration de schémas mentaux. Aussi, lors d'un apprentissage, si la charge intrinsèque et la charge extrinsèque sont réduites, il faut encourager les élèves à développer des schémas cognitifs. Lorsqu'un schéma est intégré, il peut s'automatiser par la répétition des actions. C'est d'ailleurs grâce à ces schémas mentaux que la mémoire de travail peut traiter des informations qui sont en fait des combinaisons d'éléments plus simples. La lecture n'est pas un simple déchiffrement de lettres, loin de là, mais parce que ces signes sont immédiatement transformés en mots, ils ne forment qu'une information dans la MDT.

Motivation

Un point essentiel est ainsi la motivation ; si le sujet ne désire pas acquérir un schéma cognitif nouveau, la multiplication des tâches, les possibles simplifications, tout ce qui permet de réduire la charge cognitive extrinsèque ne serviront à rien.

Références

The cognitive theory of multimedia learning is based on three main assumptions: there are two separate channels (auditory and visual) for processing information; there is limited channel capacity; and that learning is an active process of filtering, selecting, organizing, and integrating information.

The principle known as the “multimedia principle” states that “people learn more deeply from words and pictures than from words alone”. However, simply adding words to pictures is not an effective way to achieve multimedia learning. The goal is to use instructional media in the light of how human mind works. This is the basis for Mayer’s cognitive theory of multimedia learning. This theory proposes three main assumptions when it comes to learning with multimedia:

• There are two separate channels (auditory and visual) for processing information (sometimes referred to as Dual-Coding theory);
• Each channel has a limited (finite) capacity (similar to Sweller’s notion of Cognitive Load);
• Learning is an active process of filtering, selecting, organizing, and integrating information based upon prior knowledge.

Humans can only process a finite amount of information in a channel at a time, and they make sense of incoming information by actively creating mental representations. Mayer also discusses the role of three memory stores: sensory (which receives stimuli and stores it for a very short time), working (where we actively process information to create mental constructs (or "schema"), and long-term (the repository of all things learned). Mayer’s cognitive theory of multimedia learning presents the idea that the brain does not interpret a multimedia presentation of words, pictures, and auditory information in a mutually exclusive fashion; rather, these elements are selected and organized dynamically to produce logical mental constructs. Futhermore, Mayer underscores the importance of learning (based upon the testing of content and demonstrating the successful transfer of knowledge) when new information is integrated with prior knowledge.

Design principles including providing coherent verbal, pictorial information, guiding the learners to select relevant words and images, and reducing the load for a single processing channel etc. can be entailed from this theory.