Lapidar

tidsskrift for noveller og prosa

Undervisning - Multimodalitet

Undervisningsmateriale

Hvad betyder multimodalitet?

Eksempel på en mulitimodalitet: En Snapchat kan både indeholde billede, tekst og ikoner.

Ordet “modalitet” kommer fra det latinske “modalis”, som betyder “med hensyn til måden”. Eksempler på modaliteter kan være skrift, video, lyd, kropssprog, infobokse, ikoner osv. Nogle tekster er afsendt på mere end én måde. En sådan tekst kalder vi for en multimodal tekst.

Når vi nu skal arbejde med modaliteter, så betyder det, at vi skal forholde os til de forskellige modaliteter (måder), den multimodale tekst er kommunikeret på. Hvad betyder det for den multimodale teksts helhed, at den f.eks. både er kommunikeret med billede, skrift og lyd?

Den multimodale tekstanalyse adskiller sig derfor fra de analyser, I normalt arbejder med ved både at forholde sig til måderne, teksten udtrykker sig, og hvordan disse forskellige modaliteter (måder) spiller sammen på.

Eksempel

En “snap” med tekst og ikoner (emojies) er et eksempel på en multimodal tekst, fordi der bliver brugt flere forskellige udtryksformer til at overlevere et budskab. Så hvis I f.eks. tager et billede på Snapchat af jeres skrivebord, tilføjer nogle ikoner og skriver “læser til eksamen”, så har I lavet en multimodal tekst. Teksten er multimodal, fordi I både bruger bogstaver, ikoner og billede for at afsende teksten. Sætningen “læser til eksamen” alene er altså ikke den multimodale tekst, og det er billedet eller ikonerne heller ikke.

Den multimodale tekst skal forstås som jeres budskab, mens billedet, skriften og ikonerne er de modaliteter, I bruger til at afsende budskabet. Alle udtryksformer kan være en måde at afsende et budskab på, og derfor kan alle udtryksformer være en modalitet.

Hvor og hvordan bruges multimodaliteter?

Et billede, der illusterer en tekst, er en modalitet.

Multimodalitet bruges i meget mere og andet end Snapchats. Multimodale tekster er nemlig ikke forbeholdt nogen genre eller platform, selvom de er mere almindelige i nogle sammenhænge som f.eks. i børnebøger, tegneserier, reklamer eller på hjemmesider.

Især de digitale medier gør det meget let at blande forskellige modaliteter, på den samme hjemmeside kan man f.eks. sagtens finde både skrift, videoer, billeder, ikoner, lyd, tabeller osv. Men fysikbøger med grafer, H.C. Andersens eventyr med illustrationer og avisartikler med billeder er også multimodale tekster.

Diagrammet viser, hvor mange forskellige modaliteter, teksten består af.

Modaliteternes grupper

Fordi “multimodalitet” er så bredt et begreb, at det i teorien kan rumme alle udtryksformer og alle genrer, må vi starte med at indsnævre det multimodale begreb. Til dette forløb om digitale, skønlitterære multimodale tekster arbejder vi med en tredelt gruppering af modaliteterne:

Modalitetsgrupper
  • Den skriftlige modalitetsgruppe
  • Den billedlige modalitetsgruppe
  • Den lydlige modalitetsgruppe

Modaliteternes kategorier

Alle modaliteter bidrager til den måde, vi forstår teksten - men på forskellige måder. Derfor kan man undersøge, hvordan de forskellige modaliteter påvirker hinanden. Til dette forløb om digitale, skønlitterære multimodale tekster arbejder vi derfor også med kategorier for modaliteternes funktioner og relationer.

I eksemplet med “eksamens- snappen” er ordene “læser til eksamen” uddybende for billedet af skrivebordet med computeren og notaterne. Ordene uddyber det budskab, som bliver formidlet i billedet - og omvendt. De tre ikoner kunne derimod hentyde til et tidspres, og at det er hårdt(!) at læse til eksamen. Derfor udvider ikonerne budskabet, fordi de siger noget ekstra i supplement til de to andre modaliteter.

Funktioner
  • Uddyber
  • Udvider
Relationer
  • Harmoni
  • Disharmoni

Alle modaliteter - ikoner, ord og billede - fungerer i dette eksempel harmonisk med hensyn til måden, budskabet er overleveret. Hvis én eller flere af modaliteterne var modstridende, ville relationen i stedet være uharmonisk.

Kan I lave to multimodale tekster på Snapchat, som er 1. udvidende og harmonisk, 2. uddybende og disharmonisk?

Opgave: I par og på klassen

Relationerne og funktionerne imellem modaliteterne spiller sammen og påvirker hinanden i vores læsning af multimodale tekster. List alle de modaliteter I kan se på disse to snaps og kategoriser dem ift. funktion (udvidende/uddybende) og relation (disharmoni/harmoni). Diskuter på klassen, om der er nogen typisk sammenhæng imellem en modalitets relation til og funktion i teksten. Med hvilket formål bruger f.eks. aviser, fagbøger og kunstinstallationer forskellige modaliteter?

En Snapchat bruger mange forskellige modaliteter.En Snapchat bruger mange forskellige modaliteter.

Analyse af multimodale tekster

Fordi vi hele tiden møder multimodale tekster i vores hverdag, er det også vigtigt, vi forstår at analysere dem. Når man laver en multimodal analyse af f.eks. en nyhedsartikel på en hjemmeside, en tegneserie eller en musikvideo ser man på, hvordan de forskellige modaliteter skaber mening i samspillet med hinanden.

Det er altså ikke kun artiklens skrift, tegneseriens billeder eller musikvideoens lyd, som er genstand for analysen. Alle modaliteter spiller derfor altid en rolle, når vi fortolker vores multimodale hverdag.

Alle modaliteter har altså en mulighed for at bidrage til den måde, vi forstår teksten på. Det er derfor nødvendigt først at se på, hvilken betydning de enkelte modaliteter i teksten har hver for sig. Derefter undersøger en multimodal analyse, hver enkelt modalitet og særligt hvordan de forskellige modaliteter påvirker hinanden.

Vælg nu den tekst, i skal arbejde med: