7
Preface: Multimodal tropes in contemporary corpora
This special issue is the result of a conference which was organized on May 19th
and 20th, 2022 by the Linguistics Research Center (Centre d’Études Linguistiques
- Corpus, Discours et Sociétés) at Jean Moulin Lyon 3 University
(France). The aim consisted in bringing together various researchers working
empirically on figures of speech and adopting a multimodal approach.
Monomodal metaphors have recently been the focus of a vast majority of
studies on linguistics imagery, for example in the fields of literature and
linguistics (verbal metaphors) or in the field of visual studies (pictorial
metaphors). According to Forceville (2009: 23), monomodal metaphors could be
conceived as “metaphors whose target and source are exclusively or predominantly
rendered in one mode” and he, moreover, argues that modes
“include, at least, the following: (1) pictorial signs; (2) written signs; (3) spoken
signs; (4) gestures; (5) sounds; (6) music; (7) smells; (8) tastes; (9) touch.”
Müller/Cienki (2009: 299) distinguish between two different modes: “[…] what
is expressed orally and perceived primarily aurally as sound (the oral/aural
modality)” on the one hand, and the “bodily forms and movements in space
which are primarily perceived visually (the spatial/visual modality)” on the
other hand. Hence, multimodal metaphors are defined as relying on different
modes: “In contrast to monomodal metaphors, multimodal metaphors are
metaphors whose target and source are each represented exclusively or
predominantly in different modes” (Forceville 2009: 24). In other words, the
source domain and the target domain are rendered in different modes.
If the main area of multimodal research was initially multimodal metaphors, a
growing number of research started to investigate the role of multimodal
metonymies, among other tropes. Forceville (2019: 371) rightly points out that
“we ‘live by metaphors’ – but we live by many other things – metonyms, stories,
colour symbolism… – as well”, which calls for theoretical, methodological and
empirical improvement (cf. Forceville 2019). Consequently, multimodal metaphors
and metonymies should not exclusively be studied, but also any other
type of multimodal tropes (such as hyperbole, irony, allegory, antithesis,
oxymoron, onomatopoeia, etc.), following what Forceville (2019) calls a
“Cognitive Trope Theory”. The five papers in this special issue contribute to the
metaphorik.de 34/2023
8
study of the multimodal dimension of these tropes, as well as the combination
of multimodal metaphors with less frequently used tropes as mentioned above.
Finally, the main bulk of research dealing with multimodal tropes has
essentially advertisements, be it for profit, non-profit, institutional, promotional
purposes, etc. (mostly for the combination of the visual and verbal modes).
Other studies engaged with political discourses (mostly with the combination
of the verbal mode and gestures, cf. Charteris-Black (2004); Müller (2009);
Musolff (2016)) and films (cf. Coëgnarts/Kravanja 2012, 2015; Bateman 2012;
Coëgnarts 2019). Less attention has so far been paid to corpora such as comics
(cf. Forceville 2005, 2011), cartoons (cf. Górska 2019), op-ed illustrations,
animation films (cf. Forceville/Jeulink 2011; Fahlenbrach 2017; Forceville/
Paling 2018), logos, banners, placards, posters, street art and wall-paintings,
memes or music. As Forceville (2019: 374) puts it:
It is to be noticed, incidentally, that in most of this work the discussion
of modes partaking in multimodal metaphor is restricted to the visual
and the written-verbal mode. Multimodal metaphor research – and
multimodal discourse analysis more generally – including the sonic
and musical modes is still rare.
It is for this reason that the papers in this special issue focus on various corpora
in an attempt to expanding the research so far conducted on multimodality,
although much remains to be done in this area as well.
The volume opens with a theoretical contribution entitled “Reflections on
developing Multimodal Metaphor Theory into Multimodal Trope Theory” by
Charles Forceville. He discusses the research that has been conducted in the
field of identification and analysis of visual and multimodal tropes, launches
some new proposals, and advocates for a true “multimodal trope theory” based
on cognitivist-oriented work. He concludes that studying the non-verbal and
multimodal manifestations of tropes which have long been considered
exclusively verbal phenomena will undoubtedly benefit research in the field of
communication.
The following contributions in this anthology are case studies that focus on
different corpora and various aspects of multimodal metaphor, and partly on
other tropes:
9
In “Multimodal representations of MOTION in cartoons on IMMIGRATION - The
case of France and the US”, Aurélie Héois and Bérengère Lafiandra show that
the mismatch between the textual and pictorial modes creates cognitive
dissonance, which is in turn strengthened by complex networks of metaphors.
They also analyse the discrepancies in metaphor interactional patterns between
French and American cartoons and demonstrate that the depiction of
IMMIGRATION is mostly accompanied by metaphors linked to violence (literal or
symbolic).
In her paper entitled “The Red Rebel Brigade and the Blood Bath:
Environmental artivism and the visual impacts of metaphors”, Anaïs Augé
investigates the reception and the impact of visual metaphors identified during
two performances produced by the environmental movement Extinction
Rebellion. She examines how different uses of the visual metaphor scenario
SHARED ENVIRONMENTAL CIRCUMSTANCES AS COMMON BLOOD may affect the
public while also raising awareness about the climate crisis.
In the fourth paper of this issue, “Brexit as an oven-ready pie? A case study of
Boris Johnson’s BREXIT IS A PIE multimodal metaphor”, Pauline Rodet examines
how BREXIT was and perhaps is still conceptualised as a PIE in different media.
Her study is empirically based on a short video clip, an ad campaign, the 2019
Conservative Party manifesto, and a series of caricatures. The paper shows how
the metaphor was extended and developed through different modes as the
political campaign unfolded and spread.
Finally, in “Multimodal Figuration in Internet Memes”, Silya Benammar
examines the role played by figurative language in memes and discloses the
way it functions. Her analysis focuses on multimodal cases of metaphor,
metonymy and simile and highlights the importance of figurative combinations
raising issues about aspects of categorization in the study of figuration and
multimodal figuration in Internet memes.
To conclude, we would like to thank the editors of metaphorik.de, and
particularly Judith Visser and Sabine Heinemann, with whom we worked
closely, for providing the opportunity to publish the papers in this special issue.
We hope that researchers in the field of multimodality will find this anthology
stimulating and will be inspired to contribute to and further the development
of a “multimodal trope theory”.
metaphorik.de 34/2023
10
Our thanks also go to Kerstin Sterkel for her outstanding support, as always, in
preparing the layout and to Wehrhahn Verlag for publishing the print edition.
Bochum, Bremen, Duisburg-Essen, Flensburg, Graz, Hamburg, Lyon and
Saarbrücken
Denis Jamet, Adeline Terry
Sabine Heinemann, Judith Visser
Martin Döring, Katrin Mutz, Dietmar Osthus, Claudia Polzin-Haumann
References
Bateman, John A./Schmidt, Karl-Heinrich (2012): Multimodal Film Analysis: How
Films Mean, New York: Routledge.
Charteris-Black, Jonathan (2004): Corpus approaches to critical metaphor analysis,
Basingstoke: Palgrave Macmillan.
Coëgnarts, Maarten/Kravanja, Peter (2012): “From thought to modality: A
theoretical framework for analysing structural-conceptual metaphor and
image metaphor in film”, in: Image [&] Narrative 13(1), 96-113.
Coëgnarts, Maarten/Kravanja, Peter (eds.) (2015): Embodied cognition and cinema,
Leuven: Leuven University Press.
Coëgnarts, Maarten (2019): “Analyzing metaphor in film: Some conceptual
challenges”, in: Navarro i Ferrando, Ignasi (ed.): Current approaches to
metaphor analysis in discourse, Berlin: De Gruyter, 295-320.
Fahlenbrach, Kathrin (2017): “Audiovisual metaphors and metonymies of
emotions and depression in moving images”, in: Ervas, Francesca/Gola,
Elisabetta/Grazia, Maria (eds.): Metaphor in communication, science and
education, Berlin: De Gruyter, 95-117.
Forceville, Charles (2008): “Metaphor in pictures and multimodal
representations”, in: Gibbs, Raymond W. Jr. (ed.): The Cambridge handbook
of metaphor and thought, Cambridge: Cambridge University Press, 462-482.
Forceville, Charles (2005): “Visual representations of the Idealized Cognitive
Model of anger in the Asterix album La Zizanie”, in: Journal of Pragmatics
37, 69-88.
Forceville, Charles (2011): “Pictorial runes in Tintin and the Picaros”, in: Journal
of Pragmatics 43, 875-890.
Forceville, Charles (2016): “Visual and Multimodal Metaphor in Film”, in:
Fahlenbrach, Kathrin (ed.): Embodied metaphors in film, television, and video
games: Cognitive approaches, New York: Routledge, 17-32.
11
Forceville, Charles (2019): “Developments in multimodal metaphor studies: A
response to Górska, Coëgnarts, Porto & Romano, and Muelas-Gil”, in:
Navarro i Ferrando, Ignasi (ed.): Current approaches to metaphor analysis in
discourse, Berlin: De Gruyter, 367-378.
Forceville, Charles/Jeulink, Marloes (2011): “The flesh and blood of embodied
understanding: the source-path-goal schema in animation film”, in:
Pragmatics & Cognition 19(1), 37-59.
Forceville, Charles/Paling, Sissy (2018): “The metaphorical representation of
DEPRESSION in short, wordless animation films”, in: Journal of Visual
Communication (published ahead of print 21-9-2018 at
http://journals.sagepub.com/doi/10.1177/1470357218797994).
Górska, Elżbieta (2019): “Spatialization of abstract concepts in cartoons: A case
study of verbo-pictorial image-schematic metaphors”, in: Navarro i
Ferrando, Ignasi (ed.): Current approaches to metaphor analysis in discourse,
Berlin: De Gruyter, 279-294.
Müller, Cornelia/Cienki, Alan (2009): “Words, gestures, and beyond: Forms of
multimodal metaphor in the use of spoken language”, in: Forceville,
Charles J./Urios-Aparisi, Eduardo (eds.): Multimodal metaphor, Volume 11
of Applications of cognitive linguistics, Berlin: De Gruyter Mouton, 297-
328.
Musolff, Andreas (2016): Political metaphor analysis: Discourse and scenarios,
London: Bloomsbury.

13
Vorwort: Multimodale Tropen in zeitgenössischen Korpora
Der vorliegende Sonderband ist das Ergebnis einer Konferenz, die am 19. und
20. Mai 2022 am Linguistic Research Center (Centre d’Études Linguistiques
- Corpus, Discours et Sociétés) der Universität Jean Moulin Lyon 3
(Frankreich) stattfand. Ihr Ziel bestand darin, verschiedene Forscher:innen
zusammenzubringen, die sich mit multimodalen Dimensionen verschiedener
Tropen aus einer empirischen Perspektive befassen.
Dies geschah vor dem Hintergrund, dass monomodale Metaphern in den
letzten Jahren im Mittelpunkt der meisten Studien über sprachliche Bilder
standen, beispielsweise in der Literatur- und Sprachwissenschaft (verbale
Metaphern) oder im Bereich der visuellen Studien (bildliche Metaphern).
Nach Forceville (2009: 23) können monomodale Metaphern verstanden werden
als „metaphors whose target and source are exclusively or predominantly
rendered in one mode”. Er argumentiert weiterhin, „[that these modi] include,
at least, the following: (1) pictorial signs; (2) written signs; (3) spoken signs; (4)
gestures; (5) sounds; (6) music; (7) smells; (8) tastes; (9) touch.” Müller/Cienki
(2009: 299) unterscheiden im Gegensatz hierzu zwei Modi: „[…] what is
expressed orally and perceived primarily aurally as sound (the oral/aural
modality)” auf der einen Seite und die „bodily forms and movements in space
which are primarily perceived visually (the spatial/visual modality)” auf der
anderen. Multimodale Metaphern definieren sich demnach dadurch, dass sie
sich auf unterschiedliche Modi stützen: „In contrast to monomodal metaphors,
multimodal metaphors are metaphors whose target and source are each
represented exclusively or predominantly in different modes” (Forceville 2009:
24). Die Ursprungs- und die Zieldomäne verteilen sich also auf verschiedene
Modi.
Lag der Schwerpunkt der multimodalen Forschung zunächst auf multimodalen
Metaphern, so begann eine wachsende Zahl von Forschungsarbeiten die Rolle
multimodaler Metonymien und anderer Tropen zu untersuchen. Forceville
(2019: 371) weist zu Recht darauf hin „[that] we ‘live by metaphors’ – but we
live by many other things – metonyms, stories, colour, symbolism… – as well”,
ein Umstand also, der sowohl theoretisch als auch methodologisch und
empirisch Berücksichtigung finden muss.
metaphorik.de 34/2023
14
Folglich sollten nicht nur multimodale Metaphern und Metonymien Gegenstand
von Analysen sein, sondern auch jede andere Art multimodaler Tropen
(wie Hyperbel, Ironie, Allegorie, Antithese, Oxymoron, Onomatopoesie usw.),
die laut Forceville (2019) in eine „Cognitive Trope Theory“ eingehen. Genau an
diesem Punkt setzen die fünf Beiträge in diesem Sonderheft an, indem sie einen
Beitrag zur Untersuchung der multimodalen Dimension dieser Tropen leisten.
(cf. supra).
Der Großteil der Forschung, die sich mit multimodalen Tropen befasst, hat
bislang das Augenmerk im Wesentlichen auf Werbung gelegt, sei es für Profit-,
Non-Profit-, institutionelle oder andere Werbezwecke (meist in Bezug auf die
Kombination von visuellem und verbalem Modus). Andere Studien beschäftigten
sich mit politischen Diskursen (meist in Bezug auf die Kombination von
verbalem Modus und Gesten, vgl. Charteris-Black (2004); Müller (2009); Musolff
(2016)) und Filmen (vgl. Coëgnarts/Kravanja 2012, 2015; Bateman 2012;
Coëgnarts 2019). Weniger beachtet wurden bisher Korpora wie Comics (vgl.
Forceville 2005, 2011), Cartoons (vgl. Górska 2019), Op-Ed-Illustrationen,
Animationsfilme (vgl. Forceville/Jeulink 2011; Fahlenbrach 2017; Forceville/
Paling 2018), Logos, Banner, Plakate, Poster, Street Art und Wall-Paintings,
Memes oder Musik. Wie Forceville (2019: 374) zusammenfasst:
It is to be noticed, incidentally, that in most of this work the discussion
of modes partaking in multimodal metaphor is restricted to the visual
and the written-verbal mode. Multimodal metaphor research – and
multimodal discourse analysis more generally – including the sonic
and musical modes is still rare.
Aus diesem Grund konzentrieren sich die Beiträge in diesem Sonderheft auf
unterschiedliche Korpora und versuchen, die bisher durchgeführte Forschung
zur Multimodalität zu erweitern.
Den Band eröffnet ein theoretischer Beitrag von Charles Forceville mit dem Titel
„Reflections on developing Multimodal Metaphor Theory into Multimodal
Trope Theory”. Er gibt einen Überblick über die Forschung, die im Bereich der
Identifikation und Analyse visueller und multimodaler Tropen bislang
betrieben wurde, schlägt inhaltliche Weiterentwicklungen vor und plädiert für
eine echte „multimodal trope theory”, die theoretisch auf kognitivistischen
Studien fußt. Forceville kommt zu dem Schluss, dass die Auseinandersetzung
mit nonverbalen und multimodalen Ausdrucksformen von Tropen, deren
15
Betrachtung lange Zeit auf die verbale Ebene beschränkt war, der Forschung im
Bereich der Kommunikation zweifellos zugutekommen wird.
Die weiteren Beiträge im vorliegenden Sonderband sind Fallstudien, die
unterschiedliche Korpora und verschiedene Aspekte der multimodalen
Metapher und in Teilen anderer Tropen in den Blick nehmen.
Im Beitrag „Multimodal representations of MOTION in cartoons on IMMIGRATION
- The case of France and the US” zeigen Aurélie Héois and Bérengère Lafiandra,
dass die Diskrepanz zwischen dem Text- und dem Bildmodus zu kognitiven
Dissonanzen führt, die wiederum durch komplexe Metaphernnetzwerke
verstärkt werden. Sie analysieren darüber hinaus die Diskrepanzen in den
Metaphern-Interaktionsmustern zwischen französischen und amerikanischen
Cartoons und verdeutlichen, dass die Darstellung von IMMIGRATION meist von
Metaphern begleitet wird, die mit Gewalt (wörtlich oder symbolisch)
verbunden sind.
In der Studie „The Red Rebel Brigade and the Blood Bath: Environmental
artivism and the visual impacts of metaphors” untersucht Anaïs Augé die
Rezeption sowie die Auswirkungen visueller Metaphern, die während zweier
Performances der Umweltbewegung Extinction Rebellion identifiziert wurden.
Sie beschäftigt sich mit der Frage, wie unterschiedliche Verwendungen des
visuellen Metaphernszenarios SHARED ENVIRONMENTAL CIRCUMSTANCES ARE
COMMON BLOOD die Öffentlichkeit beeinflussen und gleichzeitig das Bewusstsein
für die Klimakrise schärfen können.
Im vierten Beitrag dieser Ausgabe, „Brexit as an oven-ready pie? A case study
of Boris Johnson‘s BREXIT IS A PIE multimodal metaphor“, analysiert Pauline
Rodet, wie der BREXIT in verschiedenen Medien als PIE konzeptualisiert wurde
und möglicherweise immer noch wird. Ihre Studie stützt sich empirisch auf
einen kurzen Videoclip, eine Werbekampagne, das Parteiprogramm der
Konservativen für 2019 und eine Reihe von Karikaturen. Johnson zeigt, wie die
Metapher im Laufe der politischen Kampagne durch verschiedene Modi erweitert
und weiterentwickelt wurde.
In „Multimodal Figuration in Internet Memes“ untersucht Silya Benammar
schließlich die Rolle und Funktionsweise der figurativen Sprache in Memes.
Ihre Analyse konzentriert sich auf multimodale Fälle von Metapher, Metonymie
und Gleichnis und betont die Relevanz figurativer Kombinationen, die Fragen
metaphorik.de 34/2023
16
zur Kategorisierung bei der Untersuchung von Figuration und multimodaler
Figuration in Internet-Memes aufwerfen.
Abschließend möchten wir uns bei den Herausgeber:innen von metaphorik.de
und insbesondere Judith Visser und Sabine Heinemann für die enge Zusammenarbeit
und Möglichkeit bedanken, die Beiträge in diesem Sonderheft zu
veröffentlichen. Wir hoffen, dass Forscher:innen auf dem Gebiet der Multimodalität
dieses Sonderheft als anregend empfinden und dazu inspiriert
werden, zur Entwicklung einer ‚multimodalen Trophentheorie‘ beizutragen.
Unser Dank geht auch an Kerstin Sterkel für die wie immer hervorragende
Unterstützung bei der Erstellung des Layouts und an den Wehrhahn Verlag für
die Herausgabe der Printausgabe.
Bochum, Bremen, Duisburg-Essen, Flensburg, Graz, Hamburg, Lyon und
Saarbrücken
Denis Jamet, Adeline Terry
Sabine Heinemann, Judith Visser
Martin Döring, Katrin Mutz, Dietmar Osthus, Claudia Polzin-Haumann
Literatur
Bateman, John A./Schmidt, Karl-Heinrich (2012): Multimodal Film Analysis: How
Films Mean, New York: Routledge.
Charteris-Black, Jonathan (2004): Corpus approaches to critical metaphor analysis,
Basingstoke: Palgrave Macmillan.
Coëgnarts, Maarten/Kravanja, Peter (2012): „From thought to modality: A
theoretical framework for analysing structural-conceptual metaphor and
image metaphor in film”, in: Image [&] Narrative 13(1), 96-113.
Coëgnarts, Maarten/Kravanja, Peter (eds.) (2015): Embodied cognition and cinema,
Leuven: Leuven University Press.
Coëgnarts, Maarten (2019): „Analyzing metaphor in film: Some conceptual
challenges”, in: Navarro i Ferrando, Ignasi (ed.): Current approaches to
metaphor analysis in discourse, Berlin: De Gruyter, 295-320.
Fahlenbrach, Kathrin (2017): „Audiovisual metaphors and metonymies of
emotions and depression in moving images”, in: Ervas, Francesca/Gola,
Elisabetta/Grazia, Maria (eds.): Metaphor in communication, science and
education, Berlin: De Gruyter, 95-117.
17
Forceville, Charles (2008): „Metaphor in pictures and multimodal
representations”, in: Gibbs, Raymond W. Jr. (ed.): The Cambridge handbook
of metaphor and thought, Cambridge: Cambridge University Press, 462-482.
Forceville, Charles (2005): „Visual representations of the Idealized Cognitive
Model of anger in the Asterix album La Zizanie”, in: Journal of Pragmatics
37, 69-88.
Forceville, Charles (2011): „Pictorial runes in Tintin and the Picaros”, in: Journal
of Pragmatics 43, 875-890.
Forceville, Charles (2016): „Visual and Multimodal Metaphor in Film”, in:
Fahlenbrach, Kathrin (ed.): Embodied metaphors in film, television, and video
games: Cognitive approaches, New York: Routledge, 17-32.
Forceville, Charles (2019): „Developments in multimodal metaphor studies: A
response to Górska, Coëgnarts, Porto & Romano, and Muelas-Gil”, in:
Navarro i Ferrando, Ignasi (ed.): Current approaches to metaphor analysis in
discourse, Berlin: De Gruyter, 367-378.
Forceville, Charles/Jeulink, Marloes (2011): „The flesh and blood of embodied
understanding: the source-path-goal schema in animation film”, in:
Pragmatics & Cognition 19(1), 37-59.
Forceville, Charles/Paling, Sissy (2018): „The metaphorical representation of
DEPRESSION in short, wordless animation films”, in: Journal of Visual
Communication (published ahead of print 21-9-2018 at
http://journals.sagepub.com/doi/10.1177/1470357218797994).
Górska, Elżbieta (2019): „Spatialization of abstract concepts in cartoons: A case
study of verbo-pictorial image-schematic metaphors”, in: Navarro i
Ferrando, Ignasi (ed.): Current approaches to metaphor analysis in discourse,
Berlin: De Gruyter, 279-294.
Müller, Cornelia/Cienki, Alan (2009): „Words, gestures, and beyond: Forms of
multimodal metaphor in the use of spoken language”, in: Forceville,
Charles J./Urios-Aparisi, Eduardo (eds.): Multimodal metaphor, Volume 11
of Applications of cognitive linguistics, Berlin: De Gruyter Mouton, 297-
328.
Musolff, Andreas (2016): Political metaphor analysis: Discourse and scenarios,
London: Bloomsbury.