Kitabı oku: «Schrift - Bild - Ton (E-Book)»

Schreiben als multimodale Kommunikation – Einführung ins Forschungsfeld und praktische Herausforderungen

Mirjam Weder, Adrian Aebi, Susan Göldi

Schreiben als multimodale Kommunikation

Mit der Digitalisierung der Gesellschaft haben sich die Bedingungen der Kommunikation radikal verändert. Die paradigmatisch neuen technischen Mittel zur Produktion, Distribution und Rezeption von Botschaften haben unsere Kommunikationsformen ausdifferenziert und vervielfältigt.

Mit dieser Entwicklung einher ging eine Veränderung der Bedingungen des Schreibens: In Schule und Ausbildung, in der Wirtschaft, im Journalismus, generell in unserem Alltag wurden schriftsprachliche Zeichen zunehmend durch visuelle und auditive Zeichen ergänzt und überlagert. Das hat dazu geführt, dass heute für das Verfassen von Botschaften schreiben allein nicht mehr genügt: «Writing», so postuliert der Editorial Designer Francesco Franchi, «is no longer enough» (Franchi 2014).

Die beschriebene Entwicklung lässt sich gut am Beispiel des Printjournalismus illustrieren: Die Tageszeitung hat sich von einem textorientierten zu einem multimodalen Medium entwickelt, die Praxis der Textproduktion zu einer Praxis des Textdesigns, das Text, Typografie, Foto und Grafik zu einem sinnbildenden Ganzen verbindet (vgl. dazu Blum & Bucher 1998, Blum & Blum 2001, Bucher 2002). Mit der Infografik hat sich bereits eine neue, trimodale Textsorte etabliert, die mittels Datenvisualisierung, Grafik und Storytelling Aufmerksamkeit zu wecken und leichte Zugänge zu komplexen Themen zu schaffen vermag (vgl. Bräm & Göldi in diesem Band). Online erscheint die Weiterentwicklung der Infografik als interaktive Grafik, die neue Formen der Text-Leser/-innen-Interaktion ermöglicht.

Die Digitalisierung hat somit zu einer globalen Aufwertung der visuellen Kommunikation geführt und das seit der frühen Neuzeit herrschende Primat der Schrift als «angesehenste[r] Kulturträger» (Schmitz 2010, S. 388) zunehmend in Frage gestellt. Bilder haben den ihnen lange unterstellten Makel der einfachen Unterhaltung abgestreift (vgl. zur historischen Entwicklung des Verhältnisses zwischen Text und Bild Bucher 2002, 2016a, 2016b; Gruber, Drecoll & Leppin 2018; Schmitz 2010; Wenzel 1995).

Schrift und Bild in Opposition zu sehen, griff allerdings schon immer zu kurz. Auch rein schriftliche Texte waren und sind immer auch materielle bzw. visuelle Gebilde – schon die Schrift selbst ist ein «Hybrid zwischen Sprache und Bild» (Krämer 2006, S. 79), was sich besonders deutlich an der piktografischen Basis der frühen Schriften wie etwa der sumerischen Schrift zeigt (Haarmann 2011, S. 36). Sprachgebrauch ist nur in «materialisierter bzw. medialisierter Form» (Klug & Stöckl 2014, S. 242) denkbar, d.h., Sprache muss sich eines Mediums bedienen (Stimme, Papier, Buchdruck, Computer, Smartphone) und zur Bedeutungskonstruktion tragen immer verschiedene Modi bzw. verschiedene semiotische Ressourcen bei (vgl. etwa Stöckl 2006, Cope & Kalantzis 2009, Kress 2010, Chmelik in diesem Band). So kommen in der mündlichen Interaktion nebst verbalen Mitteln immer auch non- und paraverbale semiotische Ressourcen zum Einsatz (vgl. Deppermann 2018, Mondada 2016; vgl. auch Rieder & Schwarze sowie Jörissen in diesem Band). In der schriftlichen Kommunikation sind neben dem verbalen Code der Schrift stets auch deren visuellen Eigenschaften beteiligt. Zu diesen visuellen Eigenschaften zählen insbesondere Schriftart, -farbe und -größe sowie weitere Modi der Textkommunikation wie Layout und die Verknüpfung des schriftlichen Textes mit Bildern (vgl. bspw. Aebi & Frischherz und Chmelik in diesem Band). Ball & Charlton (2015, Kap. 2.4) konstatieren deshalb zu Recht: «All writing is multimodal.»

Neue Anforderungen an die Vermittlung von Schreibkompetenz

Auch wenn Multimodalität demnach kein junges Phänomen ist, hat die Digitalisierung mit ihren technischen Möglichkeiten der Textproduktion und -distribution zu neuen, höheren Anforderungen an Schreibprozesse geführt. Schreibende brauchen heute Fähigkeiten, die über die genuin schriftbezogenen Kompetenzen, wie sie die Schreibdidaktik vermittelt, hinausgehen: Sie müssen Schrift in ein multimodales Ensemble integrieren und verschiedene Designentscheidungen (z.B. Layout, Schriftwahl) treffen. Denn auch die von den Rezipierenden an Texte gestellten Ansprüche und Erwartungen sind gestiegen. Multimodalität, so hält Gunter Kress fest, sei heute «the normal state of human communication» (Kress 2010, S. 1). Entsprechend dringend ist es, Schülerinnen, Schüler und Studierende heute dazu zu befähigen, unter diesen Bedingungen adäquat zu kommunizieren (vgl. z.B. Serafini 2015, Papadopoulou, Goria, Manoli & Pagkourelia 2018).

Vor allem die aktuelle Vermittlung von Schreibkompetenz an Hochschulen muss der multimodalen Kommunikation stärker Rechnung tragen (vgl. dazu etwa den Sammelband Archer & Breuer 2015). Schreiben gilt auch auf der tertiären Bildungsstufe als Schlüsselkompetenz und es muss deshalb gefragt werden, wie fach- und berufsspezifische Schreibkompetenzen im Studium unter den beschriebenen Voraussetzungen effektiv und nachhaltig gefördert werden können.

Gerade die tertiäre Ausbildung hinkt allerdings den neuen Anforderungen an die Vermittlung von Schreibkompetenz noch hinterher (vgl. z.B. Führer 2017, S. 3, 14). Khadka & Lee diagnostizieren für den angelsächsischen Raum «an uneasy gap between theory and practice and between students’ preferred literacy practices and actual instruction in writing classrooms» (2019, S. 3). An unseren (Hoch-)Schulen dürfte diese Kluft nicht weniger unbehaglich sein.

Das ist erstaunlich. Denn im Schriftspracherwerb machen Kinder ihre ersten Begegnungen mit Schrift und Text in multimodalen Kontexten: Beispielsweise erfahren sie im öffentlichen Raum an dreidimensionalen Schriftzügen die Materialität der Schrift und in Bilderbüchern, wie vielfältige Text-Bild-Beziehungen Bedeutungen konstruieren können. Auch das erste Experimentieren mit der Schrift in der präliteralen Phase des frühen Schriftspracherwerbs ist von einer engen Verschränkung von Schrift und Bild geprägt (vgl. dazu Günther 1995, Dehn & Sjölin 1996, Weinhold 2000). Multimodale Lese- und Schreibkompetenz wären also schon im Vorschulalter angebahnt. Dennoch ist der Schreib- und Leseerwerb von der Schrift dominiert. So verschiebt sich etwa der Text-Bild-Anteil der im Unterricht angebotenen Lektüren mit zunehmenden Lesefertigkeiten Richtung Text, parallel dazu fokussiert der traditionelle Schreibunterricht auf die Vermittlung des Schriftsprachsystems, d.h. auf die Prozesse des Verschriftens; die materielle, mediale, modale Verfasstheit der Texte wird im Schulunterricht oft nur noch nachgelagert thematisiert, wenn überhaupt, und visuelles Gestalten wird in ein eigenes Fach ausgelagert. Auf der Sekundär- und vor allem auf der Tertiärstufe wird zwar je nach Schultyp und Studienrichtung Visualisierungskompetenz erwartet und gefordert – so werden etwa Grafiken und Tabellen für die Visualisierung von Forschungsergebnissen, Mindmaps für die Ideenfindung verlangt (vgl. Schmohl in diesem Band) –, aber meist nicht explizit vermittelt (vgl. Kellerhals & Rast in diesem Band).

Für die Vermittlung von adäquater Schreibkompetenz braucht es also einen angepassten Textbegriff, den multimodalen Text, und ein angepasstes Kompetenzmodell für das Verfassen und Rezipieren von Texten, eine multimodal literacy bzw. eine multimodale Textkompetenz, wie sie von Weidacher (2007) in die deutsche Diskussion eingeführt worden ist (vgl. auch Stöckl 2011, S. 45). In die Modellierung einer solchen multimodalen Textkompetenz müsste schließlich auch die heute geforderte digitale Textkompetenz (Frederking & Krommer 2019) eingehen. Darüber hinaus wird für die Vermittlung in der Schule und Hochschule eine Metasprache notwendig, die es Lehrenden sowie Schülerinnen/Schülern und Studierenden erlaubt, Multimodalität überhaupt erst zu thematisieren (Papadopoulou et al. 2018, S. 318; vgl. auch Archer in diesem Band).

Begriffsklärung und Forschungsüberblick

Die oben geschilderten Phänomene werden seit über 20 Jahren unter dem Begriff Multimodalität gefasst und in verschiedenen Disziplinen erforscht. Bevor das Forschungsfeld Multimodalität umrissen wird, sollen zunächst die Begriffe Multimodalität und Modalität näher geklärt werden.

Eine basale Definition von Multimodalität fasst multimodale Kommunikation als ein Interagieren mittels Texten, die Zeichen mindestens zweier Modalitäten strukturell und funktional, d.h. mit kommunikativer Absicht integrieren (vgl. Stöckl 2016, S. 88, S. 93; Bucher 2007, S. 53). Mit Modalität sind dabei vereinfacht gesagt Zeichentypen wie Schrift, Bild, Ton, aber auch zum Beispiel Elemente des Textdesigns wie Schriftfarben oder Schriftarten gemeint (vgl. z.B. Bucher 2011a, S. 123). In der angelsächsischen Social Semiotics werden diese Zeichentypen auch oft Zeichenressourcen genannt, um zu betonen, dass die Bedeutung eines Zeichens nicht vorgegeben ist, sondern erst im Gebrauch konstruiert wird (van Leeuwen 2005, S. 3).

Die nähere Betrachtung des Begriffs Modalität offenbart freilich dessen Komplexität und eine eindeutige Begriffsdefinition bzw. eine möglichst trennscharfe Beschreibung einzelner Modalitäten stellt für die Multimodalitätsforschung eine kontinuierliche Herausforderung dar. Stöckl (2016, S. 95) etwa stellt eine Definition von Zeichenmodalität vor, die sich aus drei Dimensionen speist: aus der sinnlichen Wahrnehmung der Zeichenrezeption (z.B. visueller oder auditiver Kanal), der Medialität des Zeichens (materielle und technische Realisierung) und der Zugehörigkeit zu einem semiotischen Code, d.h. zu einem Zeichensystem mit den Dimensionen Syntax, Semantik und Pragmatik.

Auf der Basis dieses Modalitätsbegriffs geht Stöckl von vier Grundtypen multimodaler Texte aus: Printtext, Audiotext, audiovisueller Text und elektronischer Text (Stöckl 2016, S. 96). Diese sind nach multimodaler Komplexität gestuft und unterscheiden sich grundlegend in der zeitlichen und räumlichen Dimension. Des Weiteren können Modalitäten laut Stöckl (2016; S. 97) autonom sein (Sprache, Bild, Musik) oder von anderen Modalitäten abhängen wie die Schriftgestaltung oder das Textdesign.

Ein so gefasster Modalitätsbegriff ist insbesondere dann fruchtbar, wenn es darum geht, die multimodale Komplexität eines Textes zu fassen, nach dem Beitrag der einzelnen Modi zur Gesamtbedeutung des Textes zu fragen oder das Bedeutungspotenzial zu verstehen, das eine Modalität innerhalb einer kommunikativen Praxis anbietet. Er stößt aber dann an seine Grenzen, wenn es darum geht, verschiedene Modalitäten systematisch voneinander abzugrenzen, wenn diese verschmelzen, z.B. in der Schrift die Modalitäten Sprache und Bild (Stöckl 2016; S. 96), im Gesang die Modalitäten Sprache und Ton.

Den wichtigsten Impuls erhielt die Multimodalitätsforschung in den 80er-Jahren aus den angelsächsischen Social Semiotics, die auf Michael Hallidays Funktionaler Linguistik aufbauen (vgl. zu Social Semiotics z.B. Kress 2010 oder die konzise Übersicht in Jewitt & Henriksen 2016). Im Zentrum der Social Semiotics steht das pädagogische Konzept der Multiliteracies, das von einer angelsächsischen Gruppe von Forschenden aus verschiedenen Disziplinen, der sogenannten New London Group, geprägt wurde (The New London Group 1996), aber im deutschsprachigen pädagogischen Diskurs lange wenig Beachtung fand (vgl. die Übersicht in Küster 2014). Unter dem Begriff Multiliteracies setzte die New London Group einem als veraltet empfundenen, eindimensionalen (monomodalen, monokulturellen) Verständnis von Literalität als Schreib- und Lesekompetenz ein neues Konzept entgegen, das zwei Entwicklungen gerecht werden sollte: den durch neue Kommunikationstechnologien bereits Mitte der 90er-Jahre veränderten Anforderungen an Schreiben und Lesen sowie der im Zuge der Globalisierung und Migration zunehmenden kulturellen und sprachlichen Heterogenität (vgl. zum Konzept Multiliteracies Cope & Kalantzis 2000, Cope & Kalantzis 2009, The New London Group 1996).

In den Social Semiotics wird Multimodalität auf verschiedene Ebenen untersucht (Ledin & Machin (2019, S. 503):

 Mikroebene: der konkrete Text in seiner semiotischen Verfasstheit (z.B. eine Werbeanzeige oder ein Meme);

 Mesoebene: anerkannte und typische Gebrauchsweisen einer semiotischen Ressource in einem bestimmten Kontext (z.B. wird eine Fotografie in einer Kriegsreportage anders eingesetzt als ein Schnappschuss, der in einem Familien-Chat ausgetauscht wird), sodass die Auswahl und Kombination der semiotischen Ressourcen in einem bestimmten Text vor diesem Hintergrund interpretiert werden müssen (ebd.);

 Makroebene: die soziale und kulturelle Tradition, in der ein Text eingebettet ist, die Ressourcen (z.B. Technologien), die für die Textproduktion, -distribution, und -rezeption zur Verfügung stehen, sowie die Praktiken und Werte, die in der Kommunikationsgemeinschaft geteilt werden (ebd.).

Im deutschsprachigen Raum sind es besonders die Text- und Medienlinguistik, die das Thema der Multimodalität aufgegriffen und als konstitutiven Bestandteil der Textkommunikation begriffen haben. Im Fokus der älteren Forschung stand vor allem das Text-Bild-Verhältnis (vgl. etwa Muckenhaupt 1986, Stöckl 1992). Hintergrund dieser Hinwendung zum Bild dürfte der in der Kunstgeschichte und Literaturwissenschaft in den 90er-Jahren vorgenommene iconic bzw. pictorial turn gewesen sein (vgl. Böhm 1995, Mitchell 1994), aus dem heraus eine Bildwissenschaft entstanden ist, die eine wissenschaftliche Auseinandersetzung mit Bildern und deren Bedeutungspotenzial befördert hat (vgl. dazu etwa die Einführung in die Bildlinguistik von Große 2011 oder den Sammelband von Sachs-Hombach 2005). Allerdings haben sich die Linguistik und die Semiotik selbst schon seit längerem mit verschiedenen Zeichentypen – bspw. mit der Unterteilung in verbale, non- und paraverbale Zeichen – und deren Beitrag zur Bedeutungskonstruktion in der Interaktion beschäftigt (vgl. Meier 2011, S. 500). Welche Rolle aber die non- und paraverbalen Zeichen in der Kommunikation konkret spielen und wie sie zur Konstruktion der Botschaft beitragen, wurde lange Zeit zu wenig in der (text-)linguistischen Analyse bedacht (vgl. Stöckl 2016, S. 93).

Die Auseinandersetzung mit der Multimodalität aus text- und medienlinguistischer Perspektive hat in der deutschsprachigen Linguistik neben anderen Hartmut Stöckl vorangetrieben (vgl. etwa Stöckl 2004a, 2004b, 2008, 2011, 2015, 2016). Stöckl hat sich mit Formen und Funktionen multimodaler Texte sowie mit neuen Anforderungen an die Rezeption – und in etwas geringerem Umfang an die Produktion – multimodaler Texte auseinandergesetzt sowie Analysemodelle zur Beschreibung multimodaler Texte sowie «multimodaler Kompetenz» (Stöckl 2011, S. 45) zur Diskussion gestellt. Etliche Einzeluntersuchungen zu verschiedenen multimodalen Gattungen haben mittlerweile diese und verwandte Konzepte angewendet und ausdifferenziert und dabei auch andere Modi in den Blick genommen: so etwa Typografie (Stöckl 2004a, Spitzmüller & Antos 2007, Spitzmüller 2010) bzw. Textdesign (Hackl-Rössler 2006, Bucher 2007, vgl. auch die Beiträge im Sammelband Roth & Spitzmüller 2007) oder Musik und Ton für die Analyse von Musikvideos (Jost, Neumann-Braun & Schmidt 2010).

Die deutschsprachige Forschung konzentrierte sich aber bislang auf einige wenige Kontexte. So gibt es viele Untersuchungen zu multimodalen Texten in den Massenmedien (bspw. Blum & Bucher 1998 zu Zeitungstexten; Luginbühl 2011 und Holly 2011 zu Fernsehnachrichten oder der Sammelband von Roth & Spitzmüller 2007). Zu multimodalen Texten in anderen Kontexten wie etwa den sozialen Medien (z.B. Siever 2015), der Werbung (z.B. Held & Bendel 2008), der Wissenschaftskommunikation (z.B. Knoblauch & Schnettler 2007; Liebert 2011, Bucher & Niemann 2015) oder der politischen Kommunikation (z.B. Klemm 2011, Demarmels 2007) liegen bis anhin lediglich Einzeluntersuchungen vor.

Nebst der Text- und Medienlinguistik ist es insbesondere auch die (kritische) Diskursanalyse, welche das Konzept der Multimodalität aufgreift. Im Rahmen der multimodalen Diskursanalyse werden die Konstruktion sozialer Realitäten und Wissensbestände mittlerweile konsequent in allen medialen und modalen Erscheinungsformen untersucht (vgl. Klug 2016, Meier 2011).

Nun liegt der Fokus der text-, medienlinguistischen und diskursanalytischen Untersuchungen vornehmlich auf den multimodalen Kommunikaten selbst. Rezeptions- und Produktionsprozesse im engeren Sinne wurden bis anhin erst vereinzelt untersucht. Rezeptionsprozesse aus medienlinguistischer Perspektive nimmt etwa Bucher mit der Methode des Eye-Trackings und des Lauten Denkens in den Blick, um individuelle Rezeptionsprozesse in multimodalen, nichtlinearen Textkonglomeraten in Zeitungen (print, online, e-paper) nachzuzeichnen (vgl. etwa Bucher 2011a, 2011b, Bucher 2007).

Eine andere Perspektive auf Rezeptionsprozesse nehmen psycholinguistische und lernpsychologische Untersuchungen zum Wissenserwerb aus multimodalen Texten ein. Mittels experimenteller Methoden werden die Prozesse des Textverstehens multimodaler Texte untersucht, um daraus etwa didaktische Folgerungen zur optimalen Gestaltung von Unterrichtsmaterial abzuleiten (vgl. bspw. die Übersicht in Kürschner & Schnotz 2007 oder die Untersuchung von Dittmar et al. 2017 zu Biologielehrmitteln). Besonders im Fokus steht dabei die Frage, wie sich der Einsatz unterschiedlicher Modalitäten auf das Textverstehen und den Wissenserwerb auswirken. So konnte einerseits festgestellt werden, dass Text-Bild-Kombinationen den Wissenserwerb unterstützen können (vgl. die Forschungsübersicht in Anglin, Vaez, & Cunningham 2004; Ballstaedt 2017, S. 155–156; Schüler, Arndt & Scheiter 2019), allerdings nur unter gewissen Bedingungen, z.B. wenn die Informationen redundant in Text und Bild präsentiert werden (Anglin, Vaez, & Cunningham 2004, S. 876). Probleme beim Textverstehen treten dann auf, wenn die Informationen auf Text und Bild aufgeteilt erscheinen, was beim Textverstehen eine höhere kognitive Belastung verursacht, da Informationen aus verschiedenen Quellen integriert werden müssen (vgl. zu diesem sogenannten Split-Attention-Effekt Ayres & Sweller 2005).

Seit dem Aufkommen von mobilen Geräten wie Smartphones gerät zunehmend ein weiteres Phänomen in den Blick: der Second- oder Multi-Screen, d.h. die Verteilung eines Kommunikationsangebots auf verschiedene Mediensysteme, sodass die Nutzer parallel zwei oder gar mehrere Monitore oder Geräte benützen (z.B. in dem sie eine Fernsehsendung via Smartphone kommentieren), vgl. dazu den Sammelband von Göttlich, Heinz & Herbers (2017) oder die Studie zur Beeinträchtigung des Textverstehens von Van Cauwenberge, Schaap & van Roy (2014).

Weitaus weniger Berücksichtigung fanden in der Forschung bis anhin Produktionsprozesse im engeren Sinne. Eine Ausnahme bilden die Studien von Klemm, Perrin & Michel (2016) und Gnach & Perrin (2011), die mittels Schreibprozess-Analyse und ethnografischen Interviews zeigen, wie Sprache, Bild und Ton in der Produktion von Fernsehnachrichten und TV-Programmtrailern kombiniert werden und auf welchen Kriterien Journalisten ihre Entscheidungen basieren. Doch gerade für die Weiterentwicklung der Schreibdidaktik zu einer multimodalen Schreibdidaktik wären Studien zu grundlegenden Prozessen multimodaler Textproduktion nötig.

Zu diesem Band

Der vorliegende Band betrachtet das Phänomen der Multimodalität aus theoretischer und praktischer Perspektive und zeigt, wie sich eine konsequente Berücksichtigung von Schreiben als multimodale Kommunikation auf Anforderungen und Praktiken des Schreibens, v.a. im Hochschulkontext, aber auch in der Grundschule und in der professionellen Kommunikation auswirkt.

Ausgehend von der Prämisse, dass Texte heute immer multimodale Kommunikationsereignisse sind, wird dem kommunikativen Zusammenwirken unterschiedlicher semiotischer Systeme in Texten nachgegangen: Wie gestalten sich multimodale Schreib- und Gestaltungsprozesse? Und welche praktischen Implikationen hat die zunehmende Multimodalität von Texten für die Vermittlung wissenschaftlicher und beruflicher Schreibkompetenz?

Diesem Sammelband zugrunde liegen ausgewählte, mit einem Doppelblind-Verfahren begutachtete Beiträge zur Konferenz Schrift – Bild – Ton. Schreiben als multimodales Ereignis, die im Juni 2018 an der Hochschule Luzern – Wirtschaft (HSLU W) vom Forum wissenschaftliches Schreiben und dem Institut für Kommunikation und Marketing der HSLU W durchgeführt wurde.

Die Beiträge zeichnen sich dadurch aus, dass sie mit unterschiedlichen Textkorpora arbeiten und somit Praktiken in unterschiedlichen Handlungsfeldern zu beleuchten vermögen, in denen multimodale Textproduktion eine bedeutsame Rolle spielt, z.B. unterschiedliche multimodale Textsorten aus den Domänen Hochschule, Wirtschaft und Journalismus.

Ziel der Konferenz wie auch dieses Bandes ist es, theoretische und anwendungsorientierte Positionen zum Thema Schreiben und Multimodalität in einen Dialog zu bringen und fruchtbare Impulse für die Zukunft des Schreibens in Studium und Beruf zu setzen.

Übersicht über die Beiträge

Der erste Teil des Sammelbands ist der Multimodalität des Schreibens im Bildungskontext gewidmet.

Arlene Archer beschäftigt sich in ihrem Beitrag mit den sich verändernden Formen des Schreibens in der Hochschulbildung. Den Fokus legt sie dabei auf ein Schlüsselkonzept des akademischen Schreibens: Voice (das sich mit Stimme nur unzureichend ins Deutsche übertragen lässt). Sie untersucht, wie Schreibende durch semiotische Entscheidungen in verschiedenen Modi «authorial engagement» realisieren und wie sie Voice intertextuell konstruieren. Schließlich argumentiert sie für den Nutzen kritischer Metasprachen, um Studierende, Lehrende und Forschende bei der Produktion und Kritik verschiedener Arten von Texten zu unterstützen.

Einer visuellen Seite des multimodalen Schreibens widmen sich Ursina Kellerhals und Vinzenz Rast. Sie fordern, dass an der Hochschule neben Schreiben und Reden auch das Visualisieren gelehrt werden müsse. Visualisieren, so halten sie fest, müsse sich an ein Regelwerk halten und dürfe nicht einfach nur in gefälliger Darstellung bestehen. Als Beispiel für ihre Vorstellung von Vermittlung multimodaler Textkompetenz stellen sie ein Unterrichtsmodul vor mit dem Namen Visual Communication in Corporate Contexts und fokussieren dabei auf didaktische Stolpersteine.

Eine Verbindung der Frage nach der Vermittlung von visueller Kommunikation und der Domäne der wissenschaftlichen Kommunikation findet sich im nächsten Beitrag. Roswitha Dubach, Anita Gertiser und Ruth Wiederkehr stellen darin basierend auf der Analyse von 45 Postern von angehenden Ingenieurinnen und Ingenieuren dar, wie Multimodalität im Hochschulkontext gezielt ausgeschöpft werden kann. Die Untersuchung zeigt, dass sich Studierende beim Gestalten von Postern stark an Mustern orientieren, Corporate-Design-Elemente übernehmen und vor allem Titel, Fließtext, Infoboxen, Fotografien und Skizzen einsetzen. An vier Beispielen zeigen die Autorinnen, welche Mittel Zusammenhang zwischen unterschiedlichen sprachlichen und bildlichen Elementen stiften und welche Wechselbeziehungen dadurch entstehen. Es wird klar, und darin kommen Dubach, Gertiser und Wiederkehr mit Kellerhals und Rast überein, dass Studierende neben Vorlagen auch Anleitung brauchen, damit sie Multimodalität in Postern ausschöpfen können. Daraus ziehen die Autorinnen Konsequenzen für die Lehre.

Dem multimodalen Schreiben in der Vermittlung von Mathematik widmet sich Stefan Jörissen, wenn er die Bedeutung von Wandtafelnotationen in Kombination mit mündlicher Erklärung und Herleitung im Unterrichtskontext untersucht. Jörissen thematisiert das Zusammenspiel typografischer, stimmlicher und körpersprachlicher Gestaltung multimodaler kommunikativer Handlungen im Mathematikunterricht. Dabei unterscheidet er Produkt und Prozess: Während das Produkt (finished mathematics) an der Wandtafel stringent und logisch erscheint, ist der Entstehungsprozess (mathematics in the making) geprägt von Dynamik und Iterationen zum Eliminieren von Unsicherheit. Das Produkt ist charakterisiert durch ein oft nichtlineares Neben- und Miteinander unterschiedlicher Zeichensysteme und Gestaltungselemente wie Farben, Einrahmungen, Variationen in Strichdicke und Schriftgröße. Der Prozess ermöglicht es z.B. mittels Streichungen eine Umformung unmittelbar an der Tafel vorzunehmen oder Variablen durch Auswischen zu ersetzen – im Zusammenspiel von Schrift, Bild und Ton lassen sich so wesentliche Prozesse des mathematischen Denkens und Handelns dynamisch veranschaulichen.

Bernadette Rieder und Cordula Schwarze stellen in ihrem Beitrag ein hochschuldidaktisches Konzept vor, das von Studierenden Kompetenzen in geschriebener und gesprochener Sprache fordert und fördert. Es geht dabei um das Kompetenzfeld Argumentieren am Beispiel der wissenschaftlichen Debatte und um das Kompetenzfeld literarisches Leben am Beispiel der Autorenlesung. Rieder und Schwarze verbinden Positionen der modernen Textlinguistik mit Positionen der interaktionalen Linguistik und thematisieren verschiedene Aspekte von Multimodalität.

Tobias Schmohl schlägt im anschließenden Beitrag ein Modell zur wissenschaftlichen Begleitung von Promotionen vor. Das Modell schöpft über die verschiedenen Stufen der Informationserschließung, der Wissensgenese und -organisation sowie der Textproduktion systematisch multimediale und multimodale Verfahren aus und hebt sich somit von anderen Formen der Wissensgenese- und -organisation ab, die eher an assoziatives Schreiben anknüpfen.

Matthias Knopp und Kirsten Schindler schließlich untersuchen in ihrem Beitrag multimodale Verfahren in fiktionalen Schülertexten, die im Rahmen von zwei Kooperationsprojekten zwischen Studierenden des Lehramtsfaches Deutsch der Universität Köln und Grundschülern und -schülerinnen entstanden sind. Beide Projekte erlaubten es den Schülern und Schülerinnen, erste Erfahrungen mit kooperativem Schreiben sowie dem Verfassen von Texten am Computer mit all seinen gestalterischen Möglichkeiten zu sammeln, wobei das Endprodukt in einem Projekt ein linearer Text und in einem anderen ein Hypertext war. Die quantitativen und qualitativen Analysen der Textprodukte zeigen, dass schon in der Grundschule multimodale Schreibkompetenz angebahnt ist, die beim Schreiben am Computer aber noch stark an die Praxis des Handschreibens und -zeichnens angelehnt ist.

Der zweite Teil des Bandes versammelt Beiträge zum multimodalen Schreiben in der professionellen Kommunikation.

Den Anfang machen hier Adrian Aebi und Bruno Frischherz. Sie unternehmen in ihrem Beitrag eine empirische Bestandsaufnahme des multimodalen Designs der Textsorte Nachhaltigkeitsbericht. Dazu unterziehen sie ein Korpus von 50 Nachhaltigkeitsberichten aus den D-A-CH-Ländern einer quantitativen und einer qualitativen semiotischen Analyse und suchen so nach einem textsortenspezifischen Muster für den Einsatz und die Verknüpfung von Bild und Text in diesem immer wichtiger werdenden Instrument der Unternehmenskommunikation.

Dem Zusammenhang von Multimodalität und Suchmaschinenoptimierung gehen Susan Göldi und Cécile Zachlod nach. Weil Lesende stark gelayoutete Texte mit Verlinkungen und Visualisierungen schätzen, bewerten Suchmaschinen multimodale Texte als relevanter als wenig gestaltete reine Schriftwerke. Die Autorinnen zeigen, wie für die Suchmaschinenoptimierung in dieser Hinsicht die Konzepte Keywords und Metadaten genutzt werden können. Diese Konzepte werden im Beitrag eingeführt und in Hinsicht auf eine Multimodale Schreibkompetenz für die Suchmaschinenoptimierung interpretiert.

Aus der Domäne Journalismus stammt der Beitrag von Marina Bräm und Susan Göldi. Dieser beschäftigt sich mit visuellem Storytelling und der Textsorte Infografik und bietet neben Definitionen auch Kategorisierungen von Infografiken im journalistischen Kontext. Insbesondere unterscheidet er zwischen abstrakten Infografiken zur Datenvisualisierung und konkreten Infografiken zur Erklärung komplexer Zusammenhänge. Zu beiden Kategorien zeigt er an je einem Beispiel aus der journalistischen Praxis, wie aus Recherchematerial eine visuelle Idee entsteht und daraus eine multimodale Geschichte entwickelt wird. Der Beitrag macht deutlich, dass visueller Journalismus neue Anforderungen an Redaktionen stellt und multimodale Geschichten in Form von Infografiken ein neues hochwertiges Genre begründen.

Im abschließenden Beitrag zeigt der Graphic Designer Jiří Chmelik, wie multimodale Kommunikation im Kommunikationsdesign realisiert wird. Er nutzt kommunikationstheoretische Ansätze aus anderen Disziplinen dazu, die strukturellen Möglichkeiten des Kommunikationsdesigns zu erweitern, und schlägt vor, Kommunikation als Ritual und als Rollenspiel zu verstehen. Chmeliks Beitrag ist auch ein Plädoyer für eine verstärkte Zusammenarbeit von Wissenschaft und Praxis bei der Erforschung und Umsetzung von multimodaler Kommunikation bzw. der Vermittlung von multimodaler Kommunikationskompetenz und rundet den Sammelband so stimmig ab.

Literatur

Anglin, G.J., Vaez, H., & Cunningham, K. (2004). Visual representations and learning: The role of static and animated graphics. In D. Jonassen (Hrsg.), Handbook of research on educational communications and technology (2. Auflage) (S. 865–916). Mahwah, NJ: Erlbaum.

Archer, A., & Breuer, E.O. (Hrsg.) (2016). Multimodality in higher education. Leiden, Boston: Brill.

Ayres, P., & Sweller, J. (2005). The Split-Attention Principle in Multimedia Learning. In R. Mayer (Hrsg.), The Cambridge Handbook of Multimedia Learning (S. 135–146). Cambridge: Cambridge University Press.

Ball, C.E., & Charlton, C. (2015). All Writing Is Multimodal. In Adler-Kassner, L., & Wardle, E. (Hrsg.), Naming What We Know: Threshold Concepts of Writing Studies (E-Book, Chap. 2.4). Utah State University Press.

Ballstaedt, S.-P. (2017). Text und Bild: Ein didaktisches Traumpaar. In K. Heck (Hrsg.), Bildendes Sehen (S. 45–55). Berlin: De Gruyter.

Blum, C., & Blum, J. (2001). Vom Textmedium zum Multimedium. Deutsche Tageszeitungen im Wandel. In H.-J. Bucher, & U. Püschel (Hrsg.). Die Zeitung zwischen Print und Digitalisierung (S. 19–43). Springer Fachmedien: Wiesbaden.

Blum, J., Bucher, H.-J. (1998). Die Zeitung. Ein Multimedium. Textdesign – ein Gestaltungskonzept für Text, Bild und Grafik. Konstanz: UVK-Medien.

Boehm, G. (Hrsg.) (1995a). Was ist ein Bild? München: Wilhelm Fink.

Bucher, H.-J. (2002). Visualisierungen – das Ende der journalistischen Schriftkultur? Grundlagen einer multimodalen Konzeption der Medienkommunikation. In E. Haller (Hrsg.). Die Kultur der Medien. Untersuchungen zum Rollen und Funktionswandel des Kulturjournalismus in der Mediengesellschaft (S. 143–178). Münster: Hamburg, London.

Bucher, H.-J. (2007). Textdesign und Multimodalität: Zur Semantik und Pragmatik medialer Gestaltungsformen. In K.S. Roth, & J. Spitzmüller (Hrsg.), Textdesign und Textwirkung in der massenmedialen Kommunikation (S. 49–76). Konstanz: UVK.

Bucher, H.-J. (2011a). Multimodales Verstehen oder Rezeption als Interaktion. Theoretische und empirische Grundlagen einer systematischen Analyse der Multimodalität. In H. Dieckmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 123–156). Berlin: Erich Schmidt Verlag.

Bucher, H.-J. (2011b). «Man sieht, was man hört» oder: Multimodales Verstehen als interaktionale Aneignung. Blickaufzeichnungsstudie zur Rezeption von zwei Werbespots. In J.G. Schneider, & H. Stöckl (Hrsg.), Medientheorien und Multimodalität: Ein TV-Werbespot–sieben methodische Beschreibungsansätze (S. 109–150). Köln: Herbert von Halem Verlag.

Bucher, H.-J. (2016a). Mehr als Text mit Bild. Zur Multimodalität der illustrierten Zeitungen und Zeitschriften im 19. Jahrhundert. In N. Igl, & J. Menzel (Hrsg.), Illustrierte Zeitschriften um 1900. Mediale Eigenlogik, Multimodalität und Metaisierung (S. 25–73). Bielefeld: transcript.

Bucher, H.-J. (2016b). Ein ‹Pictorial Turn› im 19. Jahrhundert? Überlegungen zu einer multimodalen Mediengeschichte am Beispiel der illustrierten Zeitungen. In S. Geise, T. Birkner, K. Arnold, M. Löblich, & K. Lobinger (Hrsg.), Historische Perspektiven auf den Iconic Turn. Die Entwicklung der öffentlichen visuellen Kommunikation (S. 280–317). Köln: Herbert von Halem Verlag.

Bucher, H.-J., & Niemann, P. (2015). Medialisierung der Wissenschaftskommunikation: Vom Votrag zur multimodalen Präsentation. In H. Bonfadelli, M.S. Schäfer, & S. Kristiansen (Hrsg.), Wissenschaftskommunikation im Wandel (S. 67–101). Köln: Herbert von Halem Verlag.

Cope, B., & Kalantzis, M. (Hrsg.) (2000). Multiliteracies: Literacy Learning and the Design of Social Futures. Routlege: London.

Cope, B., & Kalantzis, M. (2009). ‹Multiliteracies›: New literacies, new learning. Pedagogies: An International Journal, 4(3), 164–195.

Dehn, M., & Sjölin, A. (1996). Frühes Lesen und Schreiben. In H. Günther, & O. Ludwig (Hrsg.), Schrift und Schriftlichkeit. Ein interdisziplinäres Handbuch internationaler Forschung (S. 1141–1153). Berlin, New York: de Gruyter.

Demarmels, S. (2007). Konvergenz und Divergenz im Text-Bild-Design von politischen Plakaten. In K.S. Roth, & J. Spitzmüller (Hrsg.), Textdesign und Textwirkung in der massenmedialen Kommunikation (S. 143–160). Konstanz: UVK Verlagsgesellschaft.

Deppermann, A. (2018). Sprache in der multimodalen Interaktion. In A. Deppermann, & S. Reineke (Hrsg.), Sprache im kommunikativen, interaktiven und kulturellen Kontext (S. 51–86). Berlin, Boston: De Gruyter.

Dittmar, M., Schmellentin, C., Gilg, E., & Schneider, H. (2017). Kohärenzaufbau aus Text-Bild-Gefügen: Wissenserwerb mit schulischen Fachtexten. leseforum.ch, 2017(1). Abgerufen von https://www.leseforum.ch/sysModules/obxLeseforum/Artikel/579/2017_1_Dittmar_et%20al.pdf

Franchi, F. (2014). Writing is no longer enough. Speech at Kerning International Conference on Typography Faenza, Italy, 5–6. June 2014. https://vimeo.com/107876602

Frederking, V., & Krommer, A. (2019). Digitale Textkompetenz. Abgerufen von https://www.deutschdidaktik.phil.uni-erlangen.de/Dokumente/frederking-krommer-2019-digitale-textkompetenzpdf.pdf

Führer, C. (2017). Multimodale Texte in der Hochschuldidaktik. Lehramtsstudierende rekonstruieren und reflektieren das Lesen und Schreiben von SekundarschülerInnen zu multimodalen Texten. Leseforum.ch, 2017(1). Abgerufen von https://www.leseforum.ch/sysModules/obxLeseforum/Artikel/601/2017_1_Fuehrer.pdf

Gnach, A., & Perrin, D. (2011). Kritische Situationen und Gute Praktiken: Text-Bild-Strategien kooperativer Nachrichtenproduktion. In H. Dieckmannshenke, M. Klemm, & H. Stöckl, Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 213–229). Berlin: Erich Schmidt Verlag.

Göttlich, U., Heinz, L., & Herbers, M.R. (Hrsg.) (2017). Ko-Orientierung in der Medienrezeption: Praktiken der Second-Screen-Nutzung. Wiesbaden: Springer VS.

Große, F. (2011). Bild-Linguistik. Grundbegriffe und Methoden der linguistischen Bildanalyse in Text- und Diskursumgebungen. Frankfurt am Main u.a.: Peter Lang.

Gruber, C., Drecoll, V.H., & Leppin, V. (2018). Radikal-reformatorische Themen im Bild: Druckgrafiken der Reformationszeit (1520–1560). E-Book. Abgerufen von http://public.eblib.com/choice/publicfullrecord.aspx?p=5493656

Günther, K.B. (1995). Ein Stufenmodell der Entwicklung kindlicher Lese- und Schreibstrategien. In H. Balhorn, & H. Brügelmann (Hrsg.), Rätsel des Schriftspracherwerbs. Neue Sichtweisen aus der Forschung (S. 98–121). Lengwil: Libelle.

Haarmann, H. (2011). Geschichte der Schrift (4., durchgesehene Auflage). München: Beck.

Hackl-Rössler, S. (2006). Textstruktur und Textdesign: Textlinguistische Untersuchungen zur sprachlichen und optischen Gestaltung weicher Zeitungsnachrichten. Tübingen: Narr.

Held, G. & Bendel, S. (Hrsg.) (2008). Werbung – grenzenlos. Multimodale Werbetexte im interkulturellen Vergleich. Frankfurt am Main u.a.: Peter Lang.

Holly, W. (2011). Bildüberschreibungen. Wie Sprechtexte Nachrichtenfilme lesbar machen (und umgekehrt). In H. Diekmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 233–253). Berlin: Erich Schmidt.

Jewitt, C., & Henriksen, B. (2016). Social Semiotic Multimodality. In N.-M. Klug, & H. Stöckl (Hrsg.), Handbuch Sprache im multimodalen Kontext (S. 145–164). Berlin Boston: De Gruyter.

Jost, C., Neumann-Braun, K., & Schmidt, A. (2010). Bild-Text-Ton-Analysen intermedial – am Beispiel von Musik(video)clips. In A. Deppermann, & A. Linke (Hrsg.), Sprache intermedial (S. 469–492). Berlin, New York. De Gruyter.

Khadka, S., & Lee, J.C. (Hrsg.) (2019). Bridging the Multimodal Gap. From Theory to Practice. Louisville: University Press of Colorado.

Klemm, M., Perrin, D., & Michel, S. (2016). Produktionsforschung. In N.-M. Klug, & H. Stöckl (Hrsg.), Handbuch Sprache im multimodalen Kontext (S. 277–299). Berlin, Boston: De Gruyter.

Klemm, M. (2011). Bilder der Macht. Wie sich Spitzenpolitiker visuell inszenieren (lassen) – eine bildpragmatische Analyse. In H. Dieckmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 187–209). Berlin: Erich Schmidt Verlag.

Klug, N.-M. (2016). Multimodale Text- und Diskurssemantik. In N.-M. Klug, & H. Stöckl (Hrsg.), Handbuch Sprache im multimodalen Kontext (S. 165–189). Berlin Boston: De Gruyter.

Klug, N.-M., & Stöckl, H. (2014). Sprache im multimodalen Kontext. In E. Felder & A. Gardt (Hrsg.), Handbuch Sprache und Wissen. Berlin, München, Boston: De Gruyter.

Klug, N.-M., & Stöckl, H. (Hrsg.) (2016). Handbuch Sprache im multimodalen Kontext. Berlin, Boston: De Gruyter.

Knoblauch, H., & Schnettler, B. (Hrsg.) (2007). Powerpoint-Präsentationen. Neue Formen der gesellschaftlichen Kommunikation von Wissen. Konstanz: UVK.

Krämer, S. (2006). Die Schrift als Hybrid aus Sprache und Bild. Thesen über die Schriftbildlichkeit unter Berücksichtigung von Diagrammatik und Karthographie. In T. Hoffmann, & G. Rippl (Hrsg.), Bilder: Ein (neues) Leitmedium? (S. 79–92). Göttingen: Wallstein-Verlag.

Kress, G.R. (2010). Multimodality: a social semiotic approach to contemporary communication. London, New York: Routledge.

Kürschner, C., & Schnotz, W. (2007). Konstruktion mentaler Repräsentationen bei der Verarbeitung von Text und Bildern. Unterrichtswissenschaft, 35(1), 48–67.

Küster, L. (2014). Multiliteralität. Zur Einführung in den Themenschwerpunkt. Fremdsprache lehren und lernen, 43(2), 3–11.

Ledin, P., & Machin, D. (2019). Doing critical discourse studies with multimodality: From metafunctions to materiality. Critical Discourse Studies, 16(5), 497–513.

Liebert, W.-A. (2011). Mit Bildern Wissenschaft vermitteln. Zum Handlungscharakter visueller Texte. In H. Dieckmannshenke, M. Klemm, & H. Stöckl (Hrsg.). Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 357–368). Berlin: Erich Schmidt Verlag.

Luginbühl, M. (2011). Vom kommentierten Realfilm zum multimodalen Komplex – Sprache-Bild-Beziehungen in Fernsehnachrichten im diachronen und internationalen Vergleich. In H. Dieckmannshenke, M. Klemm, & H. Stöckl. Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 255–276). Berlin: Erich Schmidt Verlag.

Meier, S. (2011). Multimodalität im Diskurs: Konzept und Methode einer multimodalen Diskursanalyse. In R. Keller, A. Hirseland, W. Schneider, & W. Viehöver (Hrsg.), Handbuch Sozialwissenschaftliche Diskursanalyse (3., erweiterte Auflage, S. 499–532). Wiesbaden: VS Verlag für Sozialwissenschaften.

Mitchell, W.J.T. (1994). Picture theory: essays on verbal and visual representation. Chicago: University of Chicago Press.

Mondada, L. (2016). Challenges of multimodality: Language and the body in social interaction. Journal of Sociolinguistics, 20(2), 2–32.

Muckenhaupt, M. (1986). Text und Bild. Grundfragen der Beschreibung von Text-Bild-Kommunikationen aus sprachwissenschaftlicher Sicht. Tübingen: Niemeyer.

Myhill, D. (2005). Prior knowledge and the (re)production of school written genres. In T. Kostouli (Hrsg.), Writing in context(s) textual practices and learning processes in sociocultural settings (S. 117–136). New York: Springer Science.

Papadopoulou, M., Goria, S., Manoli, P., & Pagkourelia, E. (2018). Developing multimodal literacy in tertiary education. Journal of visual Literacy 37(4), 317–329.

Roth, K.S., & Spitzmüller, J. (Hrsg.) (2007). Textdesign und Textwirkung in der massenmedialen Kommunikation. Konstanz: UVK.

Sachs-Hombach, K. (Ed.). (2005). Bildwissenschaft zwischen Reflexion und Anwendung. Köln: von Halem.

Schmitz, U. (2010). Schrift an Bild im World Wide Web. Articulirte Pixel und die schweifende Unbestimmtheit des Vorstellens. In A. Deppermann, & A. Linke (Hrsg.), Sprache intermedial. Stimme und Schrift, Bild und Ton (S. 383–418). Berlin: de Gruyter.

Schüler, A., Arndt, J., & Scheiter, K. (2019). Does text-picture integration also occur with longer text segments? Applied Cognitive Psychology, acp.3558. https://doi.org/10.1002/acp.3558 [vorgezogene online Publikation].

Serafini, F. (2015). Multimodal Literacy: From Theories to Practices. Language Arts, 92(6), 412–423.

Siever, C.M. (2015). Multimodale Kommunikation im Social Web: Forschungsansätze und Analysen zu Text-Bild-Relationen. Frankfurt a.M.: Peter Lang Edition. (= Sprache – Medien – Innovationen Band 8).

Spitzmüller, A., & Antos, G. (2007). Was bedeutet Textdesign? Überlegungen zu einer Theorie typographischen Wissens. In K.S. Roth, & J. Spitzmüller (Hrsg.), Textdesign und Textwirkung in der massenmedialen Kommunikation (S. 35–48). Konstanz: UVK.

Spitzmüller, J. (2010). Typografische Variation und (Inter-)Medialität. Zur kommunikativen Relevanz skripturaler Sichtbarkeit. In A. Deppermann, & A. Linke (Hrsg.), Sprache intermedial: Stimme und Schrift, Bild und Ton (S. 97–126). Berlin/NewYork: de Gruyter.

Stöckl, H. (1992). Der ‹picture relation type› – Ein praktischer Analysemodus zur Beschreibung der vielfältigen Einbettungs- und Verknüpfungsbeziehungen von Bild und Text. Papiere zur Linguistik, 46(11), 49–61.

Stöckl, H. (2004a). Typografie: Gewand und Körper des Textes – Linguistische Überlegungen zu typografischer Gestaltung. Zeitschrift für Angewandte Linguistik, 41, 5–48.

Stöckl, H. (2004b). Die Sprache im Bild – Das Bild in der Sprache. Zur Verknüpfung von Sprache und Bild im massenmedialen Text. Konzepte, Theorien, Analysemethoden. Berlin/New York.

Stöckl, H. (2006). Zeichen, Text und Sinn. Theorie und Praxis der multimodalen Textanalyse. In E.M. Eckkrammer & G. Held (Hrsg.), Textsemiotik. Studien zu multimodalen Texten (S. 11–36). Frankfurt am Main, New York: Peter Lang.

Stöckl, H. (2008). Die Sprache im Bild – Das Bild in der Sprache: Zur Verknüpfung von Sprache und Bild im massenmedialen Text. Konzepte. Theorien. Analysemethoden. Berlin, New York: De Gruyter.

Stöckl, H. (2011). Sprach-Bild-Texte lesen. Bausteine zur Methodik einer Grundkompetenz. In H. Diekmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 43–70). Berlin: Erich Schmidt.

Stöckl, H. (2015). From Text Linguistics to Multimodality. Mapping Concepts and Methods across Domains. In J. Wildfeuer (Hrsg.), Building Bridges for Multimodal Research. International Perspectives on Theories and Practices of Multimodal Analysis (S. 51–75). Frankfurt/Main: Lang.

Stöckl, H. (2016). Multimodales Verstehen – Zwischen Zeichensystemwissen und Textsortenkompetenz. In K. Sachs-Hombach (Hrsg.), Verstehen und Verständigung. Intermediale, multimodale und interkulturelle Aspekte von Kommunikation und Ästhetik (S. 88–112). Köln: Herbert von Halem.

The New London Group (1996). A pedagogy of multiliteracies: Designing social futures. Harvard Educational Review, 66 (1), 60–93.

Van Cauwenberge, A., Schaap, G., & van Roy, R. (2014). «TV no longer commands our full attention»: Effects of second-screen viewing and task relevance on cognitive load and learning from news. Computers in Human Behavior, 38, 100–109.

Weidacher, G.E. (2007). Multimodale Textkompetenz. In S. Schmölzer-Eibinger, G.E. Weidacher, & P.R. Portmann-Tselikas (Hrsg.), Textkompetenz: Eine Schlüsselkompetenz und ihre Vermittlung (S. 39–56). Tübingen: Narr.

Weinhold, S. (2000). Text als Herausforderung. Zur Textkompetenz am Schulanfang. Freiburg i. Brsg.: Fillibach.

Wenzel, H. (1995). Hören und Sehen, Schrift und Bild: Kultur und Gedächtnis im Mittelalter. München: C.H. Beck.

Teil 1: Multimodales Schreiben im Bildungskontext
Multimodality and Writing: Academic Voice across Modes

Arlene Archer

Introduction

I am the director of the Writing Centre at the University of Cape Town. This is a voluntary drop-in centre where students at all levels of study can come and consult about their academic writing. We also run workshops and seminars on writing which are more embedded within the disciplines. As social, political and economic power is closely associated with knowledge of certain discourse forms, our Writing Centre aims to promote and facilitate access to higher education, within an ethos of social justice and national redress in the South African context. Our ethos is that the Writing Centre can work effectively with students if that work is situated within a desire to understand and negotiate diversity and difference rather than the institutional need to manage it (Archer 2010).

I am currently engaged in a three-year British Academy funded project called Changing Writing. There are three themes in the project. The first theme, which this chapter feeds into, includes looking at how academic voice and argument are constructed through different modes. A mode is the culturally shaped material available for representation such as visual mode, oral mode or written mode. Secondly, the project is looking at ways of teaching and assessing writing in diverse contexts. And lastly, it is examining how writing is re-configured in different media, focusing on the materiality of the media, the mobility of the media, the imagined audiences, the spaces and places of writing. A paper-based manga comic, as compared to the same comic on screen, is a good example of the effects of the materiality of the media. The book as object does play a role in narrative and in comics, page turning typically functions as a transition device. Materiality, in this way, is incorporated into the narrative. Compare that to the online version. Many comics found online are actually produced for the page, which means that viewing them on the screen can place particular constraints on them. For example, the page on screen cannot be viewed as a full image but can be seen only when scrolled down. This affects the flow in the reading. Online comics, however, have other affordances. They allow access to other volumes of work, connection to a community and provide spaces for comment (see Huang & Archer 2014). In this example, it is clear how writing and image as modes translate differently onto the media of page and screen.

Drawing on multimodal social semiotics as a framework, this chapter aims to explore a number of theoretical tools which can «account for the whole domain of representation; which do so aptly for the specificities of each mode» (Kress 2010, 105). It aims to explore semiotic signifiers of academic voice within a range of modes and genres, and to develop a critical metalanguage or framework for academic voice, in order to assist students both in the production and critique of multimodal texts.

Voice as enabling critical access to dominant practices

At the crux of Writing Centre work is what we call the access paradox – how to provide students with access to dominant forms and practices related to academic writing and genres, whilst at the same time enabling critique of those practices (Archer 2010). By dominant practices, I mean dominant languages, language varieties, discourses, modes of representation, genres, and types of knowledge. The focus on critical access by the Writing Centre is especially important in the light of ongoing student protest action across Higher Education in South Africa over the last three years which began with the Rhodes must fall campaign, and the ongoing calls for decolonization of the curriculum. Ngugi wa Thiong’o describes how colonialism on the African continent not only included the taking of land and resources, but importantly included the «mental universe of the colonized, the control, through culture, of how people perceived themselves and their relationship to the world» (1986, 16).

Voice is a key concept in Higher Education which can enable student awareness of their own agency within the constraints of academic practices. It is not a new concept, but the investigation here is new in that it focuses on voice across modes, media and genres. Voice is an elusive concept with multiple definitions. It can be used as a proxy for an essentializing humanist view, as in finding your own voice (Elbow 2007). Or, in progressivist pedagogy, voice can be seen as taking a certain standpoint and also as a critical term for formulating an alternative pedagogy (Cope & Kalantzis 1993). Usefully, Clark and Ivanič (1997) speak about writers creating a discoursal self through the act of writing and the discourses they enter into as they write.

Why then use a mode-specific term like voice which is so closely linked to the mode of speech (and writing)? The concept of voice comes with a particular history, and with particular theoretical resonances which allow us to look at text in a way that draws on theories of writing and an academic literacies perspective. An academic literacies approach to writing takes into account issues of identity, institutional relationships of discourse and power, and the contested nature of writing practices (Lea & Street 1998, 159). The field of academic literacies has a long history of theorizing agency that a term like stance or style may not have. Stance refers to authorial point of view (Hyland 1999) whereas voice is more concerned with the relation between the writer and reader. I use the term voice to refer to the way a sign-maker establishes presence in a text through the choice and use of semiotic resources (signifiers of authorial engagement), as well as positioning in relation to other sources, and positioning in relation to the audience and site of display.

Instead of thinking about voice as aligned to coherence, which is perhaps a more liberal humanist notion of voice, I think about voice as negotiating and containing contesting voices. This is Bakhtin’s (1981) notion of dialogism which emphasizes voice as a site of struggle. However, these choices are not infinite, and voice is subject to contextual conditions which are located within larger patterns of inequality and power relations (Blommaert 2005). This notion of voice operating within constraints provides a useful way of thinking about voice and agency. There are contextual constraints which include institutional culture, as well as discursive practices, such as disciplinary genres. Besides semiotic alternatives for meaning-making, there are also semiotic constraints within different modes and media, as we saw with the manga comic on screen versus on paper.

To stay with this idea of constraints for a while, Simon Bell (2016) reports on student writing projects in the context of the Higher Education subject of design. The projects were characterized by artificially imposed constraints such as: writing within image and shape restrictions; writing within font restrictions; and writing within word restrictions. Bell argues that paradoxically more weight is given to each word by using so few. This sharpens the focus on the words, «making them work harder to produce meaning» (Bell 2016, 141). This is a lot like a PechaKucha style presentation. In this type of presentation, there are only 20 slides in the powerpoint. Each slide is to last 20 seconds and they are to be comprised of images and no writing. Here the constrictions of form can also enable a new kind of thinking and a tightening of argument, for example, finding an image to illustrate a concept could tighten or broaden your notion of that concept. Constricting time can also provide a certain energy to a presentation in the way that slides containing a list of bullet points cannot. However, as with any form, there are certain gains and losses. Definitions of concepts are difficult to do in images and are often less precise than when realized through writing. For instance, I could try to capture my definition of voice in four images – as being about presence in text, choice of semiotic resources, positioning in relation to other sources (citation), and in relation to audience (see Abbildung 1).

Abbildung 1: Definition of voice portrayed visually

Choice is represented by a fork in the road, citation as a head amongst smaller heads located in a speech bubble, and audience is held in the palm of your hand. It is clear that the images function more metaphorically here and less clearly and explicitly than a written definition would. How well this definition works is thus debatable. In addition, these images are all taken from open access websites. These kinds of generic images are problematic in some ways, as the sign-maker has to force a connection between the image and the concept. My point here is that constraints can enable creativity and different ways of thinking, but also that certain modes and genres are better suited for different functions (and definitions tend to work better in language than in image).

A framework for academic voice

In order to engage with the concept of voice, we need appropriate semiotic categories for analysis that work across modes. I would like to propose two categories for looking at academic voice. The first is authorial engagement which concerns the extent to which authors choose to engage with their audiences and subject matter (Hyland 1999) and is realized through different mode-specific conventions. The second category is citation. Citation is central to the construction of academic voice and is marked by positioning in relation to a particular discourse community. I will begin by focusing on authorial engagement.

Authorial engagement

Authorial engagement is expressed through choice, namely the type and the composition of the representation. These representational choices depend on context – aptness for purpose and audience. In writing, authorial engagement can be revealed through attitude markers, the use of pronouns, active and passive voice, and rhetorical questions. Authorial engagement can even be established through the visual design of the writing such as typographical choices, the use of punctuation (for instance, the use of commas to pause and breathe), layout, the use of white space, spelling (is it grey or is it gray?) and ways of asserting identity through cool visual lexicons (such as homophones is short text messages).

In images, authorial engagement can be demonstrated through aspects such as the choice or type of image, how the image is sourced, the use of colour and even colour saturation, composition (what is foregrounded and backgrounded), and social relations between represented participants in an image (see Archer 2013). In terms of composition, Kress and Van Leeuwen talked about the concepts of given and new in their 2006 book, Reading Images. A grammar of visual design. Perhaps they have moved away from these more prescriptive notions now, but the fact remains that in composition, position matters. For example, in the past, the figure of Johnny Walker on the whiskey bottle was represented as walking from right to left. This directionality was seen as signifying movement into the past and it was then changed to the current logo where he walks from left to right, signifying walking into the future. Positionality and directionality as such are thus important semiotic resources for meaning-making.

Now, I will look at a how authorial engagement is realized in infographics and data visualizations. It is important to be aware of the construction of these texts as the assumptions underlying the numbers are generally hidden and numerical representations are often regarded as more factual and objective than other kinds of evidence. Here we need to look at: what is measured and summarized; the type and choice of information graphic; the composition of the graphic (Prince & Archer 2014). There are design choices to be made here in terms of size, shape, colour and composition in order to represent an argument to a particular audience in the most apt way. One could, for example, choose the default design option when creating a bar chart to represent data. This would comprise blue bars on a grey background. There are a host of other design choices that could be made, however, such as using different colours for different bars for ease of comparison or making the spaces between the bars narrower or wider, including horizontal lines to facilitate ease of reading. The range of options for representation of information is endless and can be creative depending on the communicative purpose and audience (see Abbildung 2).

Abbildung 2: Authorial engagement in infographics

The representational choices made in Abbildung 2 may not be appropriate in certain academic disciplines, and may, in fact, weaken academic voice, whereas they function well in popular journalistic genres. However, in creating information graphics, we need to be aware of the full range of representational resources in order to make appropriate selections for the particular domain in which we are operating, both in terms of content and voice. Understanding the relation between agency and constraints is crucial for exploring how we construct authorial voice here. As Thesen describes it, «voice, like language, is never neutral; it is always in tension between pulls towards convention (centripetal forces) and pushes away from the centre towards more hybrid, experimental and open forms» (Thesen 2014, 6). I have shown that authorial engagement in information graphics is largely realized through the choice of type of graphic and the composition of the graphic.

I want to move on to think about something a little different, to see how the notion of authorial engagement manifests in three-dimensional texts. In certain courses and subjects, students need to produce three-dimensional texts for assessment. Although these texts do not necessarily involve writing, they are academic texts produced for assessment. Examples of such text include architectural models, jewellery designs, art, engineering models. I have argued that authorial engagement is made manifest in designed artefacts through material choices around the surface of the artefact, the substance of the artefact, and through the traces of the tools of production (Archer 2018). In terms of the surface of the artefact, colour contributes to meaning-making through associations or symbolic meanings and through combinations of colours, hues, degrees of contrast, degrees of saturation and purity. Surface texture is another aspect to consider, for instance, metals, natural materials and synthetics could have high shine, be polished or unpolished, be hammered, embossed, rough or smooth, shiny or matt. Finally, light and shadow are of interest in terms of surface choices. Light reflects off surfaces and is influenced by the surface texture and material. In Abbildung 3, the surface texture of the earrings is smooth and polished. Transparency and opacity are employed as semiotic resources, as is light and surface reflection.

Abbildung 3: Authorial engagement manifest in the surface of the artefact

Choices around the substance of the artefact also realize voice and include the stuff or material out of which the artefact is made, such as iron, wire, paper. The physical materials could be raw or processed, natural (such as wood, bone, stone, shell) or synthetic (such as plastic or rubber), durable or non-durable, upcycled (as in Abbildung 4). Finally, the tools and the traces of the tools used in the production of an artefact also realize voice. The traces can include pen inscriptions rather than printed ink or erased pencil marks, scraping or marks from hammering or chiselling, as seen in the flattened bottle top earrings in Abbildung 4.

The advantage of looking at the three-dimensional texts above in the way that I have is to show that voice manifests in a number of different kinds of texts that students need to produce, and to work with the concept of voice and see how it manifests differently across different modes, media and genres. I have argued that authorial engagement is expressed through choice; the type of representation chosen and the compositional choices made. I have suggested ways in which these choices manifest differently across modes. Now, I will move on to discuss the ways in which academic voice is realized through citation.

Abbildung 4: Earrings upcycled from cooldrink bottle tops

Citation in different modes

Citation is a resource used in the design of meanings in socially shaped and regular ways and is central to academic voice. Citation across modes involves appropriating a source into your argument and using the voices of others to negotiate your position in a particular discourse community. The rhetorical function of citation is thus to enter the academic conversation. The term citation works better across modes than a term like quoting or paraphrasing or even referencing. It is thus useful for talking about multimodal texts.

We are very familiar with the conventions around citation in writing and how this impacts on voice. For instance, the choice of where to place a reference in academic writing has implications for authorial voice. A reference placed at the beginning of a sentence, as in Bakhtin (1981) indicates that … is different to a reference in brackets following a statement, as in: (Bakhtin, 1981). Citation in images is, however, less known to us, or, at least, less theorized. Citation in images can mostly be thought of as paraphrasing, for instance, drawing a cartoon from a painting or a flow chart from a diagram, or an abstract drawing of a building. However, these terms taken from writing do not work well when looking at citation in images. We need more precise semiotic terms to describe these processes. Gunther Kress has proposed more generic terms to talk about semiotic processes, namely transformation and transduction. Transformation refers to the processes of meaning change through the re-ordering of the elements in a text, but working within the same mode, such as writing (Kress 2010, 129). Transduction names the «process of moving meaning-material from one mode to another – from speech to image; from writing to film» (Kress 2010, 129). So, if you describe an image in writing, it is not so much paraphrasing as transducting from one mode to another.

Citation in three dimensional artefacts functions slightly differently to both writing and images. In Archer (2018), I propose that citation in three dimensional artefacts comprises intertextual negotiation with authoritative conventions, such as big names, art periods, and specific genres. Citation can also be thought of as connotative provenance. Of course, the notions of intertextuality and provenance apply to all texts, including writing, but I am using them now specifically to think about voice in designed artefacts. Provenance refers to the fact that we «constantly import signs from other contexts (another era, social group, culture) into the context in which we are now making a new sign, in order to signify ideas and values which are associated with that other context» (Kress & Van Leeuwen 2001, 10). Björkvall (2018) points to how provenance is concerned with connotational meanings that require specific cultural knowledge in order to be recognized, even as these meanings may change over time. To illustrate this idea of provenance, I take an example from my university campus (see Abbildung 5).

Abbildung 5: Citation as provenance: Decolonial Struggles

This is an image of the department of architecture building taken two years ago during the student protests, which I mentioned earlier. Pieces of paper are stuck on the windows, spelling the words Decolonial Struggles. Here the relationship between writing and place is important and the temporary nature of the message is evident by the fact that some of the papers had already peeled off the windows. What is interesting was that a week or two later the same font and aesthetic (and some of the wording) was then taken into a poster for advertising a particular event, called unsettling colonialism. I would argue that this is an example of citation as provenance. The poster draws on the aesthetics, values and discourses of the protest action by replicating a version of the typography as seen on the building. Interestingly, this is very local and in-house citation, as you needed to have been there and seen the transient slogans at a particular time and place. This example highlights sharply that citation is about creating communities, with both insiders and outsiders to those communities.

See Abbildung 6 below for another example of citation as provenance. They are bangles produced from plastic water bottles. When people do upcycling they draw on different discourses and these discourses provide much of the value adding that is the key feature of upcycling. Here the material of the artefact, namely plastic, has provenance in discourses of ethical consumerism (Archer & Björkvall 2018). Something as natural as water is a scarce resource in some global contexts and has become fashionably commodified into a branded product for consumption in others. Plastic water bottles are rife and are a scourge on the environment, but here they are upcycled to make something beautiful and of value. The colour blue is foregrounded, keeping the resonances of both the plastic bottle and the water it contained. The plastic and the silver weave together like ripples in water, creating a sense of movement, transparency, and translucency. These bangles and other products upcycled from waste materials indicate alignment with and indeed cite larger discourses of ethical consumerism, given the provenance of the upcycled materials.

I have argued that citation can be thought of in terms of the semiotic terms transduction and transformation of meaning material. In addition, I have emphasized that citation is crucial to academic voice as it concerns positioning oneself in relation to others, as well as in relation to particular conventions. This can be achieved through the provenance of semiotic resources chosen and the discourses that these resources index. Tabelle 1 below summarizes the framework for academic voice across writing, image, infographics and designed artefacts. Writing, images and information graphics are often co-present in texts in Higher Education. The types of texts realized predominantly through writing, however, include academic essays and reports. Those realized predominantly through images could be powerpoint presentations, storyboards, posters. Information graphics are present in texts in economics and the social sciences and others. Designed artefacts are specific to certain disciplines. There are, of course, other aspects of academic voice besides authorial engagement and citation. For instance, modality is another aspect to consider, the perceived credibility and truth value of a text. However, for the sake of analytical clarity, this particular framework only works with two aspects.

Abbildung 6: Provenance and materiality (Plastic water bottle and sterling silver bangles. Mikhela Hawker)

Aspect of Academic Voice	Realization through writing	Realization through image	Realization through information graphic	Realization through designed artefact
Authorial engagement Authorial engagement concerns the extent to which authors choose to engage with their audiences and subject matter, «their degree of intimacy or remoteness, and the ways they represent themselves in the discourse» (Hyland, 1999, 101).	Attitude markers – attitude verbs, necessity modals, adjectives Pronouns / person markers Active or passive voice Relational markers (e.g. rhetorical questions) Visual aspect of writing: typography, spelling, punctuation, white space.	Type and choice of image Composition – salience, spatial positioning (left, right, top, bottom, centre, periphery), directionality of vectors, framing Direct / indirect address by represented participants Point of view (Objective/subjective) Use of colour (e.g. colour saturation)	What is measured and summarized? Type and choice of graphic (e.g. pie charts, bar charts, line diagrams) Composition: ways of ordering (alphabetical or magnitude); positioning of elements (title, axes, legend) Relation between graphic and writing (footnotes, title, legend, labels)	Material choices Surface of the artefact Substance of the artefact Tools of production
Citation Citation involves appropriating a source into your own argument and thus creating a new composition, which necessarily has intertextual relations.	Quoting – number, length and function Paraphrasing – summary or generalization Integrated versus non-integrated citation	Transformation (Quoting or copying an image) Transduction: Paraphrasing (clip art, drawing over existing image); written into visual (flow diagrams)	Data generated empirically and no citation necessary Integration of own data with cited data Data compiled from multiple sources	Negotiation with authoritative conventions (such as big names, art periods, specific genres) Sensory and connotative provenance

Tabelle 1: A framework for looking at academic voice in multimodal texts

Final comments

This chapter has proposed a way of recognizing and analyzing resources drawn on in producing voice in a range of genres and modes. Voice is about negotiating amongst a set of choices. Allowing students the opportunity to work with various media can enable them to experiment with the properties of these and exploit their affordances in more mindful ways. To develop academic voice, students can be encouraged to recognize constraints – both working within them and using a variety of resources to counterbalance them. My aim has been partly to look for semiotic categories that work across modes in order to devise metalanguages for teaching and learning. These include the concepts of engagement; citation; provenance; transformation; transduction. Most importantly, a metalanguage gives one the tools to think about things in ways that we would not otherwise have had. In this sense metalanguages serve as a way of «verbalising what you know in relation to other ways of knowing» (Thesen 2001, 143). This is important for enabling student access into academic discourse. It can also have important implications for assessment practices. Effective teaching of writing and text construction in all its forms thus involves a dialogue between the culture and discourses of academia and those of students, offering students from diverse backgrounds an empowering and critical experience, not just pathways to established conventions.

References

Archer, A. (2010). Challenges and Potentials of Writing Centres in South African Tertiary Institutions. South African Journal of Higher Education, 24(4), 495–510.

Archer, A. (2013). Voice as Design: Exploring academic Voice in multimodal Texts in Higher Education. In M. Bock, & N. Pachler (Eds.), Multimodality and Social Semiosis. Communication, Meaning-Making, and Learning in the Work of Gunther Kress (pp. 150–161). New York and London: Routledge.

Archer, A. (2018). Academic Voice re-imag(in)ed: Interest and Design in Artwork and three dimensional Artefacts. Multimodal Communication, 7(1). Doi: https://doi.org/10.1515/mc-2017-0016

Archer, A., & Björkvall, A. (2018). Material Sign-Making in diverse Contexts: upcycled Artefacts as refracting global / local Discourses. In A. Sherris, & E. Adami (Eds.), Making Signs, translanguaging Ethnographies: Exploring urban, rural and educational Spaces (pp. 45–63). Clevedon: Multilingual Matters.

Bakhtin, M. (1981). From the Prehistory of novelistic Discourse. In M. Holquist (Ed. and trans.), The dialogic Imagination. Four Essays by M. Bakhtin (pp. 41–83). Austin: University of Texas Press.

Bell, S. (2016). Writing against formal Constraints in Art and Design: Making Words count. In A. Archer, & E. Breuer (Eds.), Multimodality in Higher Education (pp. 136–166). Leiden: Brill.

Björkvall, A. (2018). Critical Genre Analysis of Management Texts in the public Sector. Towards a theoretical and methodological Framework. In D. Wojahn, C. Seiler Brylla, & G. Westberg (Eds.), Kritiska text- och diskursstudier (pp. 57–80). Huddinge: Södertörns högskola.

Blommaert, J. (2005). Discourse. Cambridge: Cambridge University Press.

Clark, R., & Ivanicˇ, R. (1997). The Politics of Writing. London and New York: Routledge.

Cope, B., & Kalantzis, M. (Eds.) (1993). The Powers of Literacy. A Genre Approach to teaching Writing. London, Washington: Falmer Press.

Elbow, P. (2007). Voice in Writing again. Embracing Contraries. College English, 70(2), 168–188.

Huang, C., & Archer, A. (2014). Fluidity of modal Logics in the Translation of Manga: The Case of Kishimoto’s Naruto. Visual Communication, 13(4), 471–486. doi: https://doi.org/10.1177/1470357214541746.

Hyland, K. (1999). Disciplinary Discourses: Writer Stance in research Articles. In C. Candlin, & K. Hyland (Eds.), Writing: Texts, Processes and Practices (pp. 99–121). London and New York: Longman.

Kress, G. (2010). A Social Semiotic Approach to contemporary Communication. Oxon, New York: Routledge.

Kress, G., & Van Leeuwen, T. (2001). Multimodal Discourse. The Modes and Media of contemporary Communication. London: Arnold.

Kress, G., & Van Leeuwen, T. (2006). Reading Images. The Grammar of visual Design. London: Routledge.

Lea, M.R., & Street, B. (1998). Student Writing and Faculty Feedback in Higher Education: an academic Literacies Approach. Studies in Higher Education, 23(2), 157–165.

Prince, R., & Archer, A. (2014). Exploring academic Voice in multimodal quantitative Texts. Literacy and Numeracy studies, 22(1), 39–57.

Thesen, L. (2001). Modes, Literacies and Power: A University Case Study. Language and Education, 14(2 and 3), 132–145.

Thesen, L. (2014). Risk as productive: Working with Dilemmas in the Writing of Research. In L. Thesen, & L. Cooper (Eds.), Risk in Academic Writing. Postgraduate Students, their Teachers and the Making of Knowledge (pp. 1–24). Bristol, Buffalo, Toronto: Multilingual Matters.

wa Thiong’o, N. (1986). Decolonizing the Mind. The Politics of Language in African Literature. London: James Curry.

Vermittlung multimodaler Textkompetenz: Ein Erfahrungsbericht

Ursina Kellerhals, Vinzenz Rast

Visualisieren als wiederentdeckte Kulturtechnik

Die Bedeutung visueller Elemente in der schriftlichen Alltagskommunikation – Bild oder Bewegtbild – ist über die letzten zwei Jahrzehnte stark gewachsen. Haben wir früher vor allem über unsere Handschrift und mehr oder weniger fehlerlose Typoskripte immer auch visuelle Information vermittelt, bleibt heute fast keine Botschaft mehr ohne Illustration, Fotografie oder Film: Emojis ergänzen Text in Whatsapp, Posts in Instagram verzichten oft ganz auf Text, im Buhlen um Aufmerksamkeit werden Texte auf Twitter oder LinkedIn mit animierten Bildern auffällig gemacht.

Multimodales Schreiben gehört heute zu unseren gesellschaftlichen Grundkompetenzen und somit zu den Fertigkeiten, die von Studienabgängerinnen und -abgängern erwartet werden. Neben Schreiben und Reden muss auch Visualisieren in Ausbildungen integriert werden.

In journalistischen Texten hat das Bild – auch das Bewegtbild – schon lange einen festen Platz. Dieses Phänomen kann am Beispiel der New York Times gezeigt werden.1 Nachdem die erste Ausgabe am 18. September 1851 erscheint, dauert es mehr als 60 Jahre bis zum ersten Bild auf der Titelseite. Mitte des 20. Jahrhunderts werden die Bilder fester Bestandteil. Ab 1997 sind sie dann auch in Farbe (Jobson 2017).

Die Wichtigkeit des Bildes sowie das Zusammenspiel von Bild- und Textelementen finden in der Werbeforschung wie auch in der linguistischen Analyse von Werbetexten schon länger Beachtung (Leech 1966; Dyer 1982; Vestergaard & Schrøder 1986; Janich 2001; Kellerhals 2008; Stöckl 2012 und andere). Hier gehen die Untersuchungen (meist implizit) davon aus, dass die multimodalen Texte von Spezialistinnen und Spezialisten entwickelt und erstellt werden.

Zu beobachten ist, dass vermehrt – bei privaten wie auch bei professionell eingesetzten Texten – statt statische Bilder Bewegtbilder (Gifs, kurze Filmsequenzen) verwendet werden. Auch im Bereich Infografik werden je länger, je häufiger animierte Diagramme eingesetzt.

Das Erstellen – oder Schreiben – multimodaler Texte muss gelernt sein. Auch visuelle Kommunikation hat ihre Regeln, die wir beim Lesen anwenden, derer wir uns aber meist wenig bewusst sind. Wir nehmen Bilder rascher auf als Sätze. Irrtümer können sich – zum Beispiel in Diagrammen – schneller verbreiten, weil der fehlerhafte Inhalt im Bild unmittelbarer und intuitiver wahrgenommen wird. Dies zeigt sich zum Beispiel an der Illustration zu einem Artikel auf einem Hochschul-Blog, die wir aus Anonymitätsgründen nachgezeichnet haben (vgl. Abbildung 7). Hier war vermutlich der Wunsch nach Gefälligkeit oder Unterhaltung der Stolperstein, was im Übrigen in Infografiken sehr oft zu beobachten ist.

Abbildung 7: Design als Stolperfalle (anonymisierte Verfremdung des Originals)

Dreidimensionale Darstellungen sind zwar schön, aber das Volumen der Pyramiden entspricht nicht den in der Studie erhobenen Unterschieden zwischen 21,4 Prozent, 22,2 Prozent und 56,4 Prozent. Die Visualisierung ist überzeichnet. Und die Schatten verstärken den falschen Eindruck weiter; auch die Schattenflächen geben das Verhältnis nicht korrekt wieder.

Ansprechendes Design ist wichtig heutzutage, aber noch wichtiger wäre die Einhaltung eines visuellen Regelwerks, das im Gegensatz zu Wörterbüchern und Regelgrammatiken bei der nichtvisuellen Sprache fehlt. Man könnte aber – basierend auf mathematisch-geometrischen und statistischen Regeln oder anhand von gestalterischen Grundsätzen – durchaus Normen und Richtlinien formulieren und diese auch analogen Kategorien zu Orthografie, Grammatik, textlichen oder stilistischen Aspekten zuordnen. Und der angemessene Umgang mit einem solchen visuellen Regelwerk wäre als Kompetenz in die Ausbildung zu integrieren.

Die Vermittlung von Textkompetenz bedeutet also die Vermittlung des Schreibens multimodaler Texte. Das Kompetenzzentrum Business Communication der Hochschule Luzern ist bestrebt, diesem Bedürfnis mit neuen Ausbildungsinhalten nachzukommen. Multimodales Schreiben gehört zum Studium, um den erfolgreichen Einstieg der Absolventinnen und Absolventen der Hochschule Luzern in die Arbeitswelt zu sichern.

Der folgende Bericht soll Einblick in unsere Erfahrungen mit dem Unterricht in visueller Kommunikation geben. Wir berichten dabei primär über didaktische Stolpersteine und unsere Erkenntnisse daraus. Damit erhoffen wir uns, andere bei der Vermittlung von multimodalem Schreiben unterstützen zu können.

Visual Communication in Corporate Contexts – ein neu konzipiertes Modul

Der vorliegende Erfahrungsbericht bezieht sich ausschließlich auf ein neu konzipiertes Modul im englischsprachigen Studiengang International Bachelor of Business Administration an der Hochschule Luzern – Wirtschaft. Dieses Modul namens Visual Communication in Corporate Contexts legt seinen Schwerpunkt explizit auf die Vermittlung von Textkompetenz, die konsequent multimodal ist.

Das 14-wöchige Modul ist aus drei Sequenzen aufgebaut. Die erste widmet sich Bild-Text-Kompositionen und darauf aufbauend den Produktverpackungen bzw. -etiketten. Die zweite Sequenz hat Infografiken zum Thema. Im dritten Teil werden die Studierenden angeleitet, wie ein Erklärvideo aufgebaut und umgesetzt wird.

Mit dem ersten Thema können wir so an ein vorangehendes Modul anknüpfen, in dem multimodale Werbetexte analysiert werden. Ebenso war uns bei der Konzeption wichtig, das bewegte Bild miteinzubeziehen, weil dieses an Wichtigkeit gewinnt. Das zeigt sich zum Beispiel auf Social-Media-Kanälen oder auch darin, dass schriftliche Bedienungsanleitungen durch Online-Erklärvideos ersetzt werden. Wir können das auch an unserem eigenen Verhalten beobachten. Wie schnell ist ein Online-Tutorial gefunden, nahezu zu jedem Problem (Batteriewechsel des Autoschlüssels, Fragen zu Softwarenutzung, das perfekte Soufflé backen etc.). In den einzelnen Apps der Adobe-Suite, die man inzwischen nur noch mieten kann, sind Tutorials direkt in die Software eingebaut. Nur so können diese mit den immer kürzeren Entwicklungszyklen überhaupt aktuell bleiben. Gedruckte Anleitungen beziehungsweise Bücher zur Nutzung der Adobe-Programme wären am Tag des Erscheinens wieder veraltet.

Die mittlere Sequenz – Infografiken – betrifft ein Genre der visuellen Kommunikation, dessen Einbezug in unsere Ausbildungsgänge auch deshalb wichtig ist, weil seine Komplexität oftmals unterschätzt wird. Zudem wird in den verschiedensten Bereichen vermehrt mit Erkenntnissen aus Daten gearbeitet, die natürlich häufig grafisch aufbereitet werden.

In jeder der Sequenzen erarbeiten die Studierenden je ein multimodales Produkt. Die Ergebnisse werden Ende Semester in einem Leistungsnachweis-Portfolio zusammengestellt und reflektiert.

Die erste Durchführung des Moduls zeigte deutlich, dass der Infografik-Teil die größte didaktische Herausforderung darstellt. Aus diesem Grund fokussieren wir in unserem Erfahrungsbericht auf diese Sequenz.

Visualisieren mit Infografiken

Datenvisualisierung kann zwei Ziele verfolgen: In den meisten Fällen sollen Erkenntnisse aus Daten visuell kommuniziert werden. Das Abfüllen von Daten in Grafiken kann aber auch der Analyse selbst dienen, weil Erkenntnisse, die in den Daten versteckt sind, rascher erkennbar werden. Diese zweite Funktion der Datenvisualisierung wird in der Lernsequenz jedoch bewusst ausgeklammert, weil der Fokus auf der Sensibilisierung für die Wahl und korrekte Anwendung des richtigen Charts für spezifische Aussagen sowie dem Vermitteln von Botschaften mit Grafiken liegen soll.

Für die Infografik-Vermittlungssequenz stehen drei zweistündige Sitzungen zur Verfügung, die im Wochenrhythmus stattfinden. Nach einem kurzen theoretischen Input zu verschiedenen Diagrammen, ihren Funktionen und einem Einblick in erste sich durchsetzende Normen- und Regelwerke zur Datenvisualisierung basierend auf McCandless (2012 und o.J.), Tufte (2001) oder Wong (2010), folgt ein kurzer Vertiefungsschritt. Danach erhalten die Studierenden den Auftrag, ein Set von drei Infografiken auf Basis eines selbst gewählten Datensatzes zu erstellen, um eine Gesamtbotschaft zum Ausdruck zu bringen. Als Datenfundus dienen die online zugänglichen Statistiken der OECD (OECD o.J.; OECD – Better Life Index, o.J.). Die Studierenden arbeiten an dieser Aufgabe in mehreren Arbeitsdurchgängen und erhalten regelmäßig Feedback. Die finalisierte Version ist Bestandteil des Portfolios, welches kurz nach Semesterende eingereicht wird und 50 Prozent der Gesamtnote der Modulbewertung ausmacht.

Im Folgenden wird der Aufbau der Sequenz in der ersten Durchführung im Frühlingssemester 2018 beschrieben. Diese fand mit zwei Halbklassen bestehend aus 18 respektive 17 Studierenden statt.

In der ersten Sitzung wurden die Studierenden ins Thema eingeführt und erhielten eine Übersicht über Chart-Typen, ihre Funktionen und mögliche Fehlerquellen. Der Theorie-Input wurde mit konkreten Fällen (und publizierten fehlerhaften Grafiken) aus Medienberichten und Studien unterlegt, welche die Studierenden in Gruppen diskutierten. Dieser Schritt diente zur Vertiefung und Schärfung des Bewusstseins für diagrammtypische Fallstricke.

Danach wurde die Aufgabe der Sequenz (vgl. oben) eingeführt und die Datensätze vorgestellt (OECD o.J.). Die Studierenden sollten nun in den Datensätzen nach ihrer Botschaft, ihrer Geschichte suchen. Sie begannen während der ersten Sitzung mit dieser Suche und hatten die Aufgabe, sich bis zur nächsten Sitzung weiter mit den Datensätzen und möglichen Themen auseinanderzusetzen und ihre Botschaft zu entwickeln.

Die zweite Sitzung war die erste von insgesamt zwei Werkstattsequenzen. Die Studierenden präsentierten ihre Projekte und erhielten Rückmeldungen aus der Klasse und von der Dozentin. Nachdem sie ihre Ideen für ihre Botschaft vorgestellt und die dazugehörigen Datensätze benannt hatten, begannen sie mit den Visualisierungen. Vor diesem Arbeitsschritt wurde – um Unsicherheiten vorwegzunehmen – der ganze Entwicklungsprozess von der Auswahl der Daten über die Formulierung einer Botschaft bis hin zur Visualisierung anhand einer Beispiellösung aufgezeigt.

Die Studierenden sollten ihre Visualisierungen in einem ersten Schritt skizzieren und danach mithilfe von Software-Tools erstellen.2 Sollte eine Grafik zu komplex sein, um sie grafisch im zur Verfügung stehenden Zeitraum umsetzen zu können, waren auch Handskizzen in der Endversion erlaubt. Während der Werkstattsitzung unterstützte die Dozentin Studierende individuell und half bei Fragen zu Datensätzen, Darstellungsformen und Aufgabenstellung.

Zwischen den beiden Werkstattsitzungen hatten die Studierenden den Auftrag, die erste Version ihrer drei Diagramme fertigzustellen und diese auf einen Modul-internen Wordpress-Blog hochzuladen, sodass die Studierenden den Stand der Projekte innerhalb der Klasse einsehen und – in der Sitzung dann – unkompliziert dem Plenum präsentieren konnten. Dort sollten die Studierenden den Erstellungsprozess kommentieren sowie über die Schwierigkeiten und ihrem Umgang damit Auskunft geben.

In der Werkstatt arbeiteten die Studierenden dann in Paaren und wendeten die Methode des lauten Denkens an. Diese qualitative Methode, die in den Sozialwissenschaften und der Pädagogik entwickelt wurde, wird inzwischen auch in Usability-Tests bei der Softwareentwicklung angewendet (Hofmann 2017). Hofmann (2017, Abs. 1) beschreibt die Methode wie folgt: «Das Laute Denken ist eine Methode, die verwendet wird, um kognitive Vorgänge erfassbar zu machen, die sonst implizit und damit unausgesprochen bleiben.» Mit der Methode kann der Decodierungsprozess überprüft werden. Werden die visuellen Aussagen Außenstehenden sofort klar oder muss die Kommunikation noch geschärft werden? Besteht Bedeutungsverwirrung beziehungsweise müssen die Inhalte eindeutiger aufbereitet werden? Mit diesen Rückmeldungen und dem Klären abschließender individueller Fragen wurde die Sequenz abgeschlossen. Die Dozentin gab den Studierenden noch die in Abbildung 8 gezeigte Checkliste mit zur selbstständigen Finalisierung der Infografik-Sets fürs Semesterabschluss-Portfolio.

Die Aufgabe beinhaltet mindestens eine Grafik, die flächenproportional (area-proportionate) ist. Der Grund für diesen Zusatz liegt darin, dass oftmals gegen mathematisch-geometrische Regeln verstoßen wird, wenn – teils aus Gründen der Ästhetik – die Daten zwei- oder dreidimensional dargestellt werden. Ein Beispiel für diese Erscheinung wurde eingangs erwähnt (Abbildung 7), wo das Volumen der Pyramiden eine viel größere Menge suggeriert als die, die dargestellt werden sollte. Die Schwierigkeiten bestehen aber auch im zweidimensionalen Raum, wenn Flächen einen Datenpunkt darstellen. Je nach Diagrammtyp gibt es bei Flächendiagrammen zusätzliche Restriktionen. Kuchen- oder Baumdiagramme3 eignen sich nur für abgeschlossene Mengen (100 Prozent). Anteile der Fläche werden dann einzelnen Kategorien zugeordnet.

Abbildung 8: Checkliste Sequenz Infografik

Die Studierenden sollten weiter nicht einfach beschreibende Überschriften, sondern aussagekräftige Headlines für ihre drei Grafiken finden. So wurden sie gezwungen, in ihren ausgewählten Datensätzen ihre Botschaften oder eben ihre Geschichte zu finden. Wie weiter unten ausgeführt wird, stellte dieser Teil der Aufgabe eine besondere Herausforderung dar. Weitere Punkte der Checkliste entsprechen den diskutierten visuellen Regeln, so zum Beispiel das Überprüfen nach grafischen Redundanzen. Jedes Element einer Grafik muss eine Funktion erfüllen, sonst ist es überflüssig und stört die Ästhetik oder verwirrt beim Lesen. Tufte (2001, S. 51) bringt dies auf den Punkt mit seinem grafischen Prinzip: «Graphical excellence is that which gives to the viewer the greatest number of ideas in the shortest time with the least ink in the smallest space.»

Wie oben erwähnt, fand diese Überprüfungsschlaufe im Selbststudium während des restlichen Semesters statt. In den Abschluss-Portfolios ergänzten die Studierenden ihre überarbeiteten Diagramme mit einem kurzen Text, in dem sie den kreativen Prozess beschrieben und reflektierten.

Fragestellung und Vorgehen

Schon beim Konzipieren des Moduls waren wir uns der hohen Anforderungen an die Eingangskompetenzen der Studierenden bewusst. Was bringen die Studierenden an mathematischen Fähigkeiten mit? Sind sie im Umgang mit Daten geübt? Inwiefern sind sie sich intuitiv der verschiedenen Funktionen der Chart-Typen bewusst? Zudem wird der Studiengang oftmals von Austauschstudierenden4 mitbelegt, deren detaillierte Eingangskompetenzen noch schwieriger einschätzbar sind. Aus diesem Grund war es für uns wichtig, die Erfahrungen der ersten Durchführung festzuhalten und – auf der Basis der Ergebnisse – für die didaktische Verbesserung des Moduls zu nutzen. Neben den Beobachtungen durch die Dozierende selbst wurden die Werkstattsitzungen von einem weiteren Dozenten besucht. Er war bestrebt, als teilnehmender Beobachter möglichst viele Aspekte der Lerndynamik festzuhalten. In den Resultaten unten werden diese Beobachtungen beschrieben und diskutiert. Die daraus abgeleiteten Schlussfolgerungen dienen einerseits der Optimierung des Moduls (insbesondere der Sequenz Infografik), sind aber auch als Tipps für Lehrende gedacht, die multimodales Schreiben unterrichten (wollen).

Resultate – Beobachtungen und erstellte Diagramme

Im Folgenden beschreiben wir die Beobachtungen der beiden Werkstattsitzungen und spiegeln diese an den – überarbeiteten – Diagrammen, welche die Studierenden als Teil ihres Leistungsnachweis-Portfolios am Ende des Semesters einreichten.

Beobachtungen aus den beiden Werkstattsitzungen

In den beiden Werkstattsitzungen fiel auf, dass vielen Studierenden mathematisches Basiswissen fehlt. So bereitete es unerwartet große Schwierigkeiten, Zahlen zwei- oder dreidimensional richtig darzustellen, wie zum Beispiel bei der Verwendung von flächenproportionalen Darstellungen.

Trotz des Vorbereitungsauftrags fiel es den meisten Studierenden zudem schwer, Themen zu finden und darin Botschaften zu erkennen. Da sie ohne diese Konzeptionsphase begannen, Datensätze in Diagramme zu fassen, hatten sie Mühe mit dem Auftrag, die Aussage einer Grafik auf eine Headline zu verdichten. Das Finden und Aufarbeiten von (zusammenhängenden) Informationen zu Botschaften – also der journalistische Umgang mit den Datensätzen – stellte sich als sehr viel anspruchsvoller dar als erwartet.

Insgesamt stellte der teilnehmende Beobachter fest, dass die Studierenden sehr unterschiedlich vorgingen. Wie oben erwähnt, waren sie teilweise gegenüber den Datensatz-Tabellen ratlos und suchten Inspiration bei bestehenden Infografiken. Kaum jemand setzte Skizzen ein. Diagrammfunktionen in unterschiedlichen Software-Tools wurden oftmals im Trial-and-Error-Verfahren eingesetzt. Gefiel ein ansehnliches Ergebnis, wurde dieses kaum mehr infrage gestellt.

Oftmals schien auch eine Vorstellung vom Diagramm zu bestehen, bevor Thema und Botschaft gefunden worden waren, zum Beispiel wenn Studierende mit Landkartendiagrammen arbeiteten. Die Diagramme an sich genügten ihnen, obwohl sie inhaltlich nicht Bestandteil des abzuliefernden Diagrammsets (geschweige denn einer kohärenten Botschaft) waren. In einzelnen Fällen wurden Darstellungen, welche die Statistik-Plattformen (OECD o.J.; Statista o.J.) schon aufbereitet anbieten, als Inspiration genutzt, was teils zu einer gefährlichen Nähe zum Plagiat führte.

Einzelne Austauschstudierende nutzten die Zeit in den Werkstattsequenzen wenig zielführend und gaben sich zu früh mit inhaltsarmen, rasch erstellten Diagrammen zufrieden. Der Gruppendynamik war dies nicht zuträglich. Diesen voreiligen Fokus auf die Tools konnten wir oft, aber nicht systematisch beobachten. Er führte auch zu falschen Anwendungen im Bereich flächenproportionaler Grafiken (zum Beispiel Baumdiagramme für nicht abgeschlossene Mengen).

Auffallend waren auch der unsichere Umgang mit Zahlen und Diagrammen und die mangelhafte Überprüfung der scheinbar perfekten Entwürfe. Deren teils verführerisch professionellem Design, das diese Hilfsmittel generieren, steht insgesamt ein wenig gefestigtes mathematisches Verständnis gegenüber, mit dem die aufbereiteten Zahlenzusammenhänge überprüft werden müssen. So wurden zum Beispiel absolute Zahlen angeführt, wo wenn überhaupt nur Anteilswerte verglichen werden konnten. Oder die Ergebnisse wurden keinem Realitätstest unterzogen. Ein simpler Plausibilitätstest – also mit etwas Abstand das Dargestellte betrachten und sich fragen, ob das überhaupt sein kann oder ob das überhaupt Sinn ergibt – wurde nicht ausgeführt.

Finalisierte Diagramme der Studierenden

Betrachten wir die von den Studierenden kreierten Produkte, so widerspiegeln diese teils die oben beschriebenen Schwierigkeiten. Es finden sich aber auch gelungene Botschaften in den Diagrammen. Zur Illustration der Ergebnisse führen wir unten exemplarisch drei Diagramme an.

Im ersten Beispiel (vgl. Abbildung 9) ist die Headline stimmig; auch im Set ist das Diagramm sinnvoll, da die Studentin in allen Grafiken auf Gesundheitskosten (hier relativ zum Bruttosozialprodukt eines Landes) der OECD-Staaten fokussiert. Ebenso gibt sie die Datenquelle an. Einziger Kritikpunkt ist, dass das Diagramm der Musterlösung, die im Unterricht vorgestellt worden war, formal sehr ähnlich ist. Aber die Studentin hat in den Daten ihre eigene Botschaft gesucht und gefunden.

Abbildung 9: Beispiel aus den Studierendenportfolios – gelungen

Weniger gelungen ist das Beispiel in Abbildung 10. Die Headline passt nicht zu den Zahlen. Entwicklungen werden üblicherweise als Liniendiagramme dargestellt, wobei der Zeitraum von 2012 bis 2015 zu kurz ist, um die Entwicklung der Lebenserwartung aussagekräftig darzustellen. Das verwendete Säulendiagramm zeigt auch nur einen Ausschnitt der Y-Achse an, was zu einer visuellen Überhöhung der Unterschiede führt. Hier zeigt sich zudem die Schwierigkeit, Diagramme richtig zu interpretieren oder – vice versa – die gefundene Botschaft mit den richtigen Datendarstellungen zu untermauern. So stellt das Diagramm nur Daten des einen inhaltlichen Aspekts dar, während die Headline zwei Themen in Zusammenhang bringt.

Abbildung 10: Beispiel aus den Studierendenportfolios – misslungen

Abbildung 10 illustriert weiter eine zentrale Stolperfalle im Umgang mit Daten: Die Korrelation von Daten können einen vermeintlichen Zusammenhang insinuieren. Über die Qualität der Abhängigkeit sagt statistische Korrelation jedoch nichts aus. Trotzdem geschieht es häufig, dass wir in diesen Fällen fälschlicherweise Kausalität ableiten, was dann die Interpretation der Daten entsprechend verzerrt oder gar falsch ausfallen lässt.

Neben der Schwierigkeit mit den Inhalten zeigen einige Beispiele aus den Portfolios fehlende Überprüfung der Daten bzw. der mathematischen Zusammenhänge. Das dritte Beispiel (vgl. Abbildung 11) illustriert die falsche Verwendung eines Baumdiagrammes, das trotz der Diskussionen während der Werkstattsitzungen in einem der Portfolios doch so verwendet wurde.

Abbildung 11: Beispiel aus den Studierendenportfolios – falsche Flächenproportionalität

Flächenproportionale Grafiken wie dieses Baumdiagramm eignen sich, um die Anteile der Kategorien (hier Länder) an einer geschlossenen Menge aufzuzeigen. Geht es jedoch um den Vergleich von Länderkennzahlen, so muss man die Flächen auch visuell möglichst vergleichbar gestalten, sprich unterschiedlich große Quadrate, Kreise oder Balken mit gleicher Breite nebeneinander reihen. Die ausgewählten Kennzahlen geben zwar relative Zahlen wieder, bilden in der Summe aber keine Gesamtheit, was jedoch durch den gewählten Diagrammtyp suggeriert wird. Weitere Schwächen des Beispiels sind fehlende Zahlen zu den Teilflächen sowie eine rein zufällige, nicht funktional begründete Farbgebung.

Neben den gelungenen und den misslungenen Diagrammen wurden in Einzelfällen auch substanzarme Diagrammsets abgeliefert, besonders von jenen Studierenden, die sich schon während des Werkstattunterrichts kaum auf die Arbeit an den Aufgaben einließen.

Learnings für die Überarbeitung der Sequenz und des Moduls insgesamt

Die erste Durchführung des Moduls hat gezeigt, dass unsere Studierenden in ihrem Umgang mit Diagrammen unsicher sind. Es fällt ihnen schwer, Daten zu lesen, sie flüchten sich rasch in elektronische Tools oder sie unterschätzen die Komplexität der Aufgabe. Die Hilfsmittel nehmen es den Autorinnen und Autoren nicht ab, vorgängig Inhalte zu erarbeiten, sprich, die Themen und Botschaften zu finden und die Visualisierung zu konzipieren. Die Darstellungen mögen zwar schön aussehen, inhaltlich können sie aber nichtssagend bis falsch sein. Hier zeigt sich weiter, dass für solche Visualisierungen ein mathematisches Basiswissen, etwas Erfahrung im Umgang mit Daten sowie ein Gespür für Datenqualität nötig sind. Das erste Learning ist also, dass das Modul einem Bedarf der Studierenden entspricht.

Die zweite Erkenntnis ist, dass die Studierenden in der Sequenz Infografik überfordert wurden. Die Aufgabe war zu wenig strukturiert, sowohl in Bezug auf den Umgang mit Datenmaterial wie auch in der Erarbeitung der visuellen Darstellung der Information. Folgende didaktische Anpassungen sind daher nötig:

Die Sequenz muss zusätzlich strukturiert werden. Es braucht eine Trennung zwischen den Arbeitsschritten: Zuerst ist der Inhalt zu entwickeln (Thema wählen, Daten sichten, Botschaft erkennen), auf dessen Basis dann die Visualisierung konzipiert wird. Dann sollen die Zahlen aufbereitet und gestaltet werden. Erst in dieser zweiten Phase geht es darum, Tools kennenzulernen und richtig anzuwenden. Davor müssen diese noch ausgeschlossen werden. Die Visualisierung wird idealerweise zuerst von Hand skizziert.

Didaktisch ist es geschickter, wenn Erfolgserlebnisse eingebaut werden. Der Auftrag muss in kleinere Arbeitspakete gebündelt werden. Anhand dieser kann die Dozentin oder der Dozent konsequenter durch den gesamten Auftrag führen. So werden auch Zwischenerfolge für die Studierenden möglich, was für sie befriedigender ist und den Lernerfolg erhöhen dürfte.

Obwohl die Aufgabe insgesamt sehr schwierig angelegt war, wurde sie dennoch von vielen Studierenden unterschätzt. Mit modernen Tools können mit nur wenigen Klicks grafisch sehr ansprechende Diagramme erstellt werden. Für die Lernsequenz bedeutet dies, dass die Komplexität der Aufgabe mit den Studierenden besser reflektiert werden sollte. Gute Infografiken sind aufwendig und anspruchsvoll. In der Übungssequenz sollten neben der Diskussion von problematischen Beispielen auch gelungene, anspruchsvolle Beispiele in ihrer Komplexität von den Studierenden analysiert werden.

Die Voraussetzung an mathematisches Grundwissen und das nötige Bewusstsein für den Umgang mit Zahlen muss mitbedacht werden. Allenfalls sind individualisierte Tutorials während der Werkstatt einzubauen, in denen Studierende mit mangelnden Vorkenntnissen unterstützt werden können. Weiter ist die Konzeptions- und Strukturierungsphase zentral für die Qualität des Schlussresultats. Studierende unterschätzen die Wichtigkeit der Planung und beginnen zu schnell mit Umsetzungen.

Motivierende Rückmeldungen der Studierenden

Die gesamthafte Bewertung der Studierenden nach Abschluss des Moduls war äußerst positiv. Sie beurteilten den Kurs als sehr praxisrelevant, lehrreich und spannend. Dies war für die Dozierende umso erfreulicher, als die Infografik-Sequenz noch didaktische Mängel aufwies. Die Erkenntnisse aus der teilnehmenden Beobachtung während der Workshops und die Reflexion der Resultate haben zentrale Schwachstellen in der Sequenz Infografik aufgezeigt und wichtige Impulse gegeben, um das Modul für seine nächste Durchführung zu verbessern.

Literatur und Tools

Begley, J. (2017). Every NYT Front Page since 1852. Abgerufen von https://: vimeo.com/204951759

Dyer, G. (1982). Advertising as Communication. London: Methuen.

Hofmann, M. (2017). Die Erhebungsmethode des Lauten Denkens. QUASUS. Methoden qualitativer Sozial-, Unterrichts- und Schulforschung. Abgerufen von https://quasus.ph-freiburg.de/2217-2/

Janich, N. (2001). Werbesprache: Ein Arbeitsbuch (4. Auflage). Tübingen: Narr.

Jobson, C. (2017). The Rise of the Image: Every NY Times Front Page since 1852 in Under a Minute. Abgerufen von https://www.thisiscolossal.com/2017/02/the-rise-of-the-image-every-ny-times-front-page-since-1852-in-under-a-minute/

Kellerhals, U. (2008). «There is no better way to fly.» Die Wirkung englischer Slogans in der Deutschschweizer Anzeigenwerbung. Zürich: Rüegger.

Leech, G.N. (1966). English in Advertising: A linguistic Study of Advertising in Great Britain. London: Longman.

McCandless, D. (2012). Information is Beautiful (2. Auflage). London: William Collins.

McCandless, D. (o. J.) Infografik-Beispiele. Abgerufen am 20.5.2019 von https://informationisbeautiful.net/

N.N. (2016). Wie die Medien über den 11. September 2001 berichteten. Abgerufen von https://www.sueddeutsche.de/politik/presseschau-zu-so-titelte-die-presse-ueber-den-terror-am-september-1.3150143-6

OECD (o.J.). Statistiken der OECD-Länder. Abgerufen von https://stats.oecd.org/

OECD Better Life Index (o.J.). Better Life Index. Abgerufen von http://www.oecdbetterlifeindex.org/#/11111111111

Statista (o.J.). Statistikportal Deutschland. Abgerufen von https://de.statista.com/.

Stöckl, H. (2012). Werbekommunikation semiotisch. In N. Janich (Hrsg.), Handbuch Werbekommunikation. Sprachwissenschaftliche und interdisziplinäre Zugänge (S. 243 – 262). Tübingen: UTB Francke.

Tufte, E.R. (2001). The Visual Display of Quantitative Information (2. Auflage). Cheshire: Graphics Press.

Wong, D.M. (2010). The Wall Street Journal Guide to Information Graphics: The Dos and Don’ts of Presenting Data, Facts, and Figures. New York: Norton.

Vestergaard, T., & Schroeder, K. (1985). The Language of Advertising. Bd. 9: Language in Society. Oxford: Basil Blackwell.

Poster im Hochschulkontext: Multimodalität gezielt ausschöpfen

Roswitha Dubach, Anita Gertiser, Ruth Wiederkehr

Einführung

Poster sind ein zentrales Medium für Forscherinnen, Forscher und Studierende, um die wichtigsten Resultate ihrer Studien an Konferenzen und Ausstellungen zu präsentieren. Mit visuell attraktiven Elementen und fokussiertem sowie aussagekräftigem Text sollen Poster von ihrem Inhalt überzeugen und die Adressierten in einen wissenschaftlichen Diskurs einbinden.

Poster sind per se multimodal (Ball & Charlton 2015, S. 42). Elemente wie Titel, Fotos, Grafiken, Schemata, Textblöcke übernehmen in Postern verschiedene Funktionen und sollen sich inhaltlich ergänzen. Diese Funktionen beziehungsweise funktionalen Handlungsabschnitte sind dabei durch verschiedene Modalitäten realisiert, in einem Poster entweder durch Sprache oder durch Visualisierungen. Im Idealfall werden diese funktionalen Handlungsabschnitte sinnstiftend verknüpft und nutzen das multimodale Potenzial für das meaning making. So kann das breite Publikum trotz unterschiedlichen Wissensständen und unterschiedlichen Intentionen bei der Poster-Session angesprochen werden (Archer & Breuer 2015, S. 2 f. und 9).

Ziel der vorliegenden Untersuchung ist es, sinnstiftende Verknüpfungen in Postern zu beschreiben und aus den Ergebnissen Erkenntnisse für die Lehre abzuleiten. Denn bisher enthalten Studienratgeber zu Postern kaum Hinweise auf explizite Verknüpfungen zwischen (visuellen und textlichen) Handlungsabschnitten, auch wenn sie das Zusammenspiel von Bild und Text erwähnen (vgl. beispielsweise Foster 2017, S. 294 f.). Gemäß Hartmut Stöckl haben solche Analysen Pioniercharakter, da sinnstiftende Verknüpfungen und Verknüpfungsmuster «in multimodalen Gesamttexten» bisher «unzureichend beschrieben» worden sind (Stöckl 2016, S. 4).

Die Basis der Analyse bilden 45 Poster zu Diplomarbeiten (Thesen) an der Hochschule für Technik der Fachhochschule Nordwestschweiz (FHNW). Sie wurden im Rahmen einer öffentlichen Postersession präsentiert und nach engen Formatvorgaben (Templates) erstellt. Als Analysemodell dient die «multimodale Textanalyse» von Hartmut Stöckl (Stöckl 2016). Für die Bild-Text-Beziehungen stützt sich die Analyse zusätzlich auf die Erkenntnisse Kerstin Alexanders zur visuellen Kommunikation im technischen Umfeld (Alexander 2013, S. 63–80).

In einem ersten Schritt werden die Posterelemente definiert, zweitens erfolgt die Benennung der Funktionen der Elemente. Schließlich beschreibt diese Untersuchung, wie die einzelnen Funktionen zu sinnhaften Aussagen verknüpft werden und welche Folgerungen daraus für die Lehre im Bereich Poster gezogen werden können.

Korpus und Posterelemente

In Postersessionen zeigt sich, dass auditive Elemente wie die gesprochene Sprache und Geräusche elementar sind für die Sinnübertragung. Durch die Interaktion aller Zeichensysteme – durch Sprache, Bild und Ton – fügen sich Poster im Idealfall tatsächlich zu einem Sinnganzen und fungieren als «kommunikative Handlungen» (Stöckl 2011, S. 45). Diese Untersuchung klammert die auditiven Elemente aus und konzentriert sich auf den eindimensionalen Bereich: visuelle Zeichentypen, die als Zeichenmodalitäten Sprache und Bild beinhalten (Stöckl 2016, S. 6).

Die Binnenstruktur der 45 untersuchten Poster setzt sich aus verschiedenen Elementen zusammen. Es lassen sich zehn Elemente-Kategorien bilden:

1 Corporate-Design-Elemente: Kopf, Logo, grüner Balken

2 Titel: Haupttitel, Untertitel, Zwischentitel

3 Text A: Fließtext

4 Text B: Infoboxen

5 Text C: Aufzählungen durch Bullet-Points (in Abb. 12 nicht enthalten)

6 Text D: Bildlegenden und -beschriftung

7 Visualisierungen A: Bilder, Fotografien, Skizzen, Karten

8 Visualisierungen B: Diagramme (auch Blockdiagramme), Tabellen (in Abb. 12 nicht enthalten)

9 Visualisierungen C: Schemata

10 Visualisierungen D: Informationsgrafiken (Infografik), komplexe Darstellungen (von Abläufen/Zusammenhängen) (in Abb. 12 nicht enthalten)

Sowohl Aufzählungen (Text C) als auch Diagramme, Tabellen und Informationsgrafiken (Visualisierungen B und D) sind im Template (vgl. Abbildung 12) nicht enthalten, werden aber häufig verwendet.

Abbildung 12: Die Formatvorgaben für die Poster zu Diplomarbeiten sind eng: grüner Balken, Logo, Haupttitel, Lead, Bilder, Zwischentitel, Text, Infoboxen, Credit(s). Bild: Hochschule für Technik FHNW

Die Kategorien 1 und 2 (Corporate-Design-Elemente sowie Titel) sind bei den untersuchten Postern durchgehend vertreten, da die Elemente an der Hochschule obligatorisch einzufügen sind. Generell werden die Textkategorien A bis D unterschiedlich häufig gewählt: Während Fließtext als erklärender Text in allen 45 untersuchten Postern vorkommt, enthalten 20 Poster im Korpus Infoboxen oder Aufzählungen (Elemente Text B und C). Legenden und Beschriftungen (Element Text D) hingegen sind dann notwendig, wenn Visualisierungen enthalten sind. Visuelle Elemente der Kategorien 7 und 8 (Visualisierungen A und B) finden sich ebenfalls auf allen Postern. Schemata sind zum Beispiel in der Elektrotechnik häufig. Bei insgesamt 18 der 45 untersuchten Poster kommt eine Form von Schema oder eine Abbildung eines Schemas vor. Informationsgrafiken (Infografiken), also die Darstellung von (komplexen) Zusammenhängen auf visueller Ebene, oder andere komplexe Visualisierungen hingegen sind selten. Insgesamt sind in 8 der 45 Poster Arten von Visualisierungen enthalten, die einer Infografik ähnlich sind oder die mehrere visuelle Ebenen (zum Beispiel eine Karte und weitere textliche und visuelle Elemente) kombinieren. Generell zeigt sich, dass sich die Studierenden stark an den Vorgaben beziehungsweise Vorschlägen orientieren, die im Template enthalten sind. Nebst Corporate-Design-Elementen, Titeln und Fließtext gehören dazu sowohl die Infoboxen als auch Fotografien oder Skizzen. Nachfolgend sollen besonders die häufig verwendeten Elemente weiter betrachtet werden.

Handlungsstrukturen

Alle aufgeführten Elemente übernehmen innerhalb eines Posters Funktionen. Diese funktionalen Textteile oder funktionalen Handlungsabschnitte werden auch als Stages bezeichnet. Dabei informiert die Analyseebene der Stages auch darüber, ob die Funktionen der Abschnitte über Sprache oder über Bilder vermittelt werden – und in welchem mengen- und gewichtmäßigen Verhältnis die beiden Modalitäten zueinanderstehen (Stöckl 2016, S. 23–26).

Am nachfolgenden Beispiel (Abbildung 13) wird verdeutlicht, was Stages sind. Dabei ist zu beachten, dass es sich hierbei um ein Poster handelt, das die Formatvorlage erweitert. Es fällt auf, dass zwischen Textboxen formale Verbindungen bestehen. Um diese formalen oder um andere Verbindungen geht es indes erst beim dritten Analyseschritt.

Abbildung 13: Am Poster «Finance Dashboard» können verschiedene funktionale Handlungsabschnitte (Stages) gezeigt werden. Bild: Hochschule für Technik FHNW

Der Titel setzt das Thema, den Inhalt des Posters: Es geht um ein Finance-Dashboard. Der Untertitel bestimmt das Thema genauer. Er verdeutlicht, dass die Evaluation einer intelligenten Geschäftssoftware (für Finanzangelegenheiten) im Zentrum steht. Der zweite Untertitel sowie der grüne Balken am linken Rand verfolgen keinen inhaltlichen Zweck. Diese Stages verorten die Arbeit im Hochschulbetrieb; es handelt sich um eine Diplomarbeit aus dem Jahr 2015 in der Vertiefungsrichtung Process-Controlling. Das Titelbild hat wiederum einen inhaltlichen Zweck. Es führt Elemente eines Finance-Dashboards und einen Geschäftsherrn vor Augen. Gemäß Bildlegende, die den Inhalt des Bildes definiert, handelt es sich um die Darstellung von «Business Intelligence». Das Diagramm unterhalb der Bildlegende sowie der vertikale Zeitstrahl zeigen den Projektmanagementprozess in zeitlicher Dimension auf. Diese Stages informieren also wiederum auf organisatorischer, nicht auf inhaltlicher Ebene.

Anhand von Abbildung 13 konnten unter anderem folgende Funktionen einzelner Stages gezeigt werden: Thema setzen, verdeutlichen, organisatorisch verorten, vor Augen führen, also verbildlichen, definieren, Projektmanagementprozess aufzeigen.

Die Realisierung der Stages und deren Gewichtung unterscheiden sich. Vier Stages sind geschrieben-sprachlich vermittelt, die restlichen vier sprachlich und visuell beziehungsweise bildlich. Das Titelbild (Geschäftsmann) hat durch seine Breite und die Platzierung einen hohen Status; es sticht ins Auge. Es hat aber ein geringes Gewicht. Denn erst durch den Text in der Legende erhält es seine Bedeutung. Die geschriebene Sprache dagegen hat ein hohes Gewicht, und zwar unabhängig von ihrem mengenmäßigen oder augenfälligen Anteil, also ihrem Status. Die Sprache ist bedeutungsgebend (vgl. Nöth 2016, S. 206–209). Dieses Phänomen illustriert auch der grüne Balken: Er sticht ins Auge, hat also einen hohen Status, aber inhaltlich ein sehr geringes Gewicht, da er außer der Verortung im Hochschulkontext keine projektbezogene Bedeutung trägt.