Multimodalitet
Hvad betyder multimodalitet?
Ordet “modalitet” kommer fra det latinske “modalis”, som betyder “med hensyn til måden”. Eksempler på modaliteter kan være skrift, video, lyd, kropssprog, infobokse, ikoner osv. Når en tekst udtrykker sig på mere end én måde kalder vi den for en multimodal tekst.
Når man arbejder med multimodale tekster skal man altså forholde sig til, hvilke forskellige modaliteter (måder) den multimodale tekst udtrykker sig med og på og hvad de enkelte modaliteter betyder for den multimodale teksts helhed.
Den multimodale tekstanalyse adskiller sig dermed ved både at forholde sig til både måderne teksten udtrykker sig, og hvordan disse forskellige modaliteter (måder) spiller sammen på.
Eksempel
En “snap” med tekst og ikoner (emojies) er et eksempel på en multimodal tekst, fordi der bliver brugt flere forskellige udtryksformer til at overlevere et budskab. Så hvis I f.eks. tager et billede på Snapchat af jeres skrivebord, tilføjer nogle ikoner og skriver “læser til eksamen”, så har I lavet en multimodal tekst. Teksten er multimodal, fordi I både bruger bogstaver, ikoner og billede for at afsende teksten. Sætningen
“læser til eksamen” alene er altså ikke den multimodale tekst, og det er billedet eller ikonerne heller ikke.
Den multimodale tekst skal forstås som jeres budskab, mens billedet, skriften og ikonerne er de modaliteter, I bruger til at afsende budskabet. Alle udtryksformer kan være en måde at afsende et budskab på, og derfor kan alle udtryksformer være en modalitet.
Hvor og hvordan bruges multimodaliteter?
Multimodalitet bruges i meget mere og andet end Snapchats. Multimodale tekster er nemlig ikke forbeholdt nogen genre eller platform, selvom de er mere almindelige i nogle sammenhænge som f.eks. i børnebøger, tegneserier, reklamer eller på hjemmesider.
Især de digitale medier gør det meget let at blande forskellige modaliteter, på den samme hjemmeside kan man f.eks. sagtens finde både skrift, videoer, billeder, ikoner, lyd, tabeller osv. Men fysikbøger med grafer, H.C. Andersens eventyr med illustrationer og avisartikler med billeder er også multimodale tekster.
Modaliteternes grupper
Fordi “multimodalitet” er så bredt et begreb, at det i teorien kan rumme alle udtryksformer og alle genrer, må vi starte med at indsnævre det multimodale begreb. Til dette forløb om digitale, skønlitterære, multimodale tekster arbejder vi med en tredelt gruppering af modaliteterne:
Modalitetsgrupper
- Den skriftlige modalitetsgruppe
- Den billedlige modalitetsgruppe
- Den lydlige modalitetsgruppe
Modaliteternes kategorier
Alle modaliteter bidrager til den måde, vi forstår teksten – men på forskellige måder. Derfor kan man undersøge, hvordan de forskellige modaliteter påvirker hinanden. Til dette forløb om digitale, skønlitterære multimodale tekster arbejder vi derfor også med kategorier for modaliteternes funktioner og relationer.
I det første eksemplet, her på siden, billedet af “eksamens-snappen” er ordene “læser til eksamen” uddybende for billedet af skrivebordet med computeren og notaterne. Ordene uddyber det budskab, som bliver formidlet i billedet – og omvendt. De tre ikoner kunne derimod hentyde til et tidspres, og at det er hårdt(!) at læse til eksamen. Derfor udvider ikonerne budskabet, fordi de siger noget ekstra i supplement til de to andre modaliteter.
Funktioner
- Uddyber
- Udvider
Relationer
- Harmoni
- Disharmoni
Alle modaliteter – ikoner, ord og billede – fungerer i dette eksempel harmonisk med hensyn til måden, budskabet er overleveret. Hvis én eller flere af modaliteterne var modstridende, ville relationen i stedet være uharmonisk.
Opgaver: I par og på klassen
Opgave 1:
Relationerne og funktionerne imellem modaliteterne spiller sammen og påvirker hinanden i vores læsning af multimodale tekster.
List alle de modaliteter I kan se på disse to snaps og kategoriser dem ift. funktion (udvidende/uddybende) og relation (disharmoni/harmoni). Diskuter på klassen, om der er nogen typisk sammenhæng imellem en modalitets relation til og funktion i teksten. Med hvilket formål bruger f.eks. aviser, fagbøger og kunstinstallationer forskellige modaliteter?
Lav to forskellige multimodale tekster på Snapchat, som er
1. udvidende og harmonisk
2. uddybende og disharmonisk
Analyse af multimodale tekster
Fordi vi hele tiden møder multimodale tekster i vores hverdag, er det også vigtigt, vi forstår at analysere dem. Når man laver en multimodal analyse af f.eks. en nyhedsartikel på en hjemmeside, en tegneserie eller en musikvideo ser man på, hvordan de forskellige modaliteter skaber mening i samspillet med hinanden.
Det er altså ikke kun artiklens skrift, tegneseriens billeder eller musikvideoens lyd, som er genstand for analysen. Alle modaliteter spiller altid en rolle, når vi fortolker vores multimodale hverdag.
Alle modaliteter har altså en mulighed for at bidrage til den måde, vi forstår teksten på. Det er derfor nødvendigt først at se på, hvilken betydning de enkelte modaliteter i teksten har hver for sig. Derefter undersøger en multimodal analyse, både hver enkelt modalitet og hvordan de forskellige modaliteter spiller sammen.