Kitabı oku: «Mensch. Maschine. Kommunikation.», sayfa 4

2.2 Semiotische Ressourcen: Multimedialität und MultimodalitätMultimodalität

Die Internetkommunikation verläuft zu einem grossen Teil über die Schrift, hinzu kommen aber auch andere semiotische Ressourcen. Zwar sind

Chats, Newsgroups oder Emails […] semiotisch verhältnismäßig ‹arme› Umgebungen, in denen Schrift die zentrale, wenn nicht die ausschließliche Ressource darstellt. Allerdings stellen diese gegenwärtigen, semiotisch reichhaltigen Web 2.0-Umgebungen dringende Fragen über den Anteil von Multimedialität und MultimodalitätMultimodalität an der Erzeugung von kommunikativem Sinn und über das Zusammenspiel von Sprache [sic]1 mit anderen Zeichensystemen. (Androutsopoulos 2010: 425)

Die Möglichkeiten zur multimedialen und multimodalenMultimodalität Kommunikation haben sich seit 2010 noch einmal beträchtlich weiterentwickelt, weswegen sie hier etwas ausführlicher diskutiert werden. Den beiden Termini ‹multimodal› und ‹multimedial› liegen keine einheitlichen, sprachwissenschaftlichen Definitionen zugrunde. Nach Steinseifer (2011: 164) wird ‹multimedial› zunehmend durch ‹multimodalMultimodalität› ersetzt oder es werden beide Wörter synonym verwendet. Auch die Unterscheidung von Androutsopoulos (2010) ist deutungsoffen, wenn er schreibt, er unterscheide:

Multimedialität (Koexistenz und Kombination verschiedener MedienMedium/Medien) und MultimodalitätMultimodalität (Koexistenz und Kombination verschiedener semiotischer Modalitäten, Zeichensysteme in einem Text). (Androutsopoulos 2010: 425; Fussnote 6)

Im vorliegenden Beitrag werden die beiden Termini folgendermassen verwendet: ‹Multimedialität› bezieht sich auf die Frage, über welche Medialitäten kommuniziert werden kann. Dazu gehören beispielsweise die Fragen: Kann ein PDF-Dokument, ein Bild, ein Video, eine Audiodatei versendet werden? Wie aufwändig ist dies technischTechnik? Für die Untersuchungen in diesem Beitrag relevanter ist aber die ‹MultimodalitätMultimodalität›. Sie fragt nach den zur Verfügung stehenden semiotischen Ressourcen, die einen Beitrag kommunikativ kohärent machen. Dabei wird beispielsweise relevant, wie Bildzeichen, Bilder, Videos, GIFsGIF, Layout und Farben verwendet werden. Es wird deutlich, dass sich die beiden Termini inhaltlich überschneiden können: Eine Audiodatei zu versenden kann eine multimediale Möglichkeit der Kommunikation sein und gleichzeitig ein semiotisches Zeichen darstellen, das in Kombination mit anderen Zeichen den kommunikativen Sinn prägt, verändert oder erst ergibt.

Eine vieldiskutierte semiotische Einheit sind «Emoticons» und «Emojis»,2 wobei Letztere Erstere teilweise ablösen (vgl. dazu z.B. Arens 2014, Dürscheid 2016, Dürscheid/Frick 2014, Hinz 2015, Pappert 2017, Siever 2015). Emojis werden in der sprachwissenschaftlichen Forschung als typisch für die private, digitale KommunikationKommunikationdigitale beschrieben. Dies wird häufig so begründet, dass Emojis para- und nonverbale Ausdrucksmittel ikonografisch abbilden und damit nähesprachlichnähesprachlich wirken (vgl. z.B. Pappert 2017: 179). Auch die Frage nach den kommunikativen Funktionen von Emojis als in die Schrift eingebettete Einheiten ist sprachwissenschaftlich interessant und wurde mehrfach diskutiert. Dürscheid/Frick (2016) schlagen dazu drei Kategorien vor: Am häufigsten werden Emojis zur Kommentierung verwendet, sodass dem schriftlich Vorliegenden eine bestimmte Konnotation verliehen wird. Bei der zweiten Funktion werden Emojis zur piktoralen Veranschaulichung einer Situation oder eines Gefühls genutzt. Bei der dritten Funktion schliesslich wird ein Bildzeichen anstelle der graphischen Realisierung verwendet, um ein Wort (oder eine andere sprachliche Einheit) abzubilden (vgl. Dürscheid/Frick 2016: 104f.). Emojis stellen jedoch schon länger nicht mehr das einzige Zeichensystem dar, um die genannten Funktionen zu erfüllen. Dahingehend vergleichbar mit Emojis sind «Sticker», «Animojis», «Memojis» und «GIFsGIF» («Graphics Interchange Format») (s.a. den Beitrag von Tanchis/Walder i.d.B.). Da diese Zeichen teilweise spezifisch für die einzelnen Dienste sind, werden sie im nächsten Unterkapitel genauer erläutert.

2.2.1 WhatsAppWhatsApp

Der Dienst WhatsAppWhatsApp erlaubt Kommunikation über verschiedene MedienMedium/Medien. So können NutzerNutzer*in*innen Fotos und Videos mit wenigen Klicks direkt aufnehmen und versenden; zudem ist es möglich, auf die gesamte Mediathek zurückzugreifen und in der Vergangenheit produzierte Inhalte zu versenden. Die Foto- und Videodateien können vor dem Versenden auf unterschiedliche Weise bearbeitet werden; beispielsweise kann eine Zeichnung oder ein EmojiEmoji über die Bilddatei gelegt werden. Mit wenig Aufwand ist es auch möglich, den aktuellen Standort zu versenden oder Kontaktdaten zu teilen. Interessanterweise können auch Dokumente verschickt werden, sofern sie in einer Cloud abgespeichert sind (siehe Abb. 1).

WhatsAppWhatsApp erlaubt zudem eine mündliche Form der Kommunikation. So ist es möglich, eine SprachnachrichtSprachnachricht zu versenden, die bei der rezipierenden Person phonisch ankommt. Weiter kann ein Beitrag phonisch produziert, aber graphisch empfangen werden. Dies erlaubt die sogenannte «Diktierfunktion». Interessanterweise sind die Ikone für diese beiden Funktionen identisch; die Perspektive der Rezeption wird von WhatsApp hier folglich ausgeklammert.

Abb. 1:

Multimediale Kommunikationsmöglichkeiten bei WhatsAppWhatsApp

WhatsAppWhatsApp bietet auch in Bezug auf die MultimodalitätMultimodalität unterschiedliche Möglichkeiten. Das Design der Tastatur verweist bereits darauf, wie zentral die Kommunikation über Bildzeichen (Emojis) ist. Per Knopfdruck wechselt man die Tastatur, sodass statt graphischer Einheiten (Buchstaben) Bildzeichen angezeigt werden. Eine andere Möglichkeit ist das Versenden von «GIFsGIF».1 WhatsApp kategorisiert diese nach «Aktuell», «Haha», «Traurig», «Liebe» und «Reaktion» (siehe Abb. 2). Das ist dahingehend interessant, als dadurch impliziert wird, dass den GIFs eine einheitliche Bedeutung zugemessen wird und sie damit semiotisch determiniert sind. Damit sollen sie explizit zur Bedeutungskonstitution beitragen: Etwas ist beispielsweise lustig, traurig oder liebevoll gemeint oder soll die entsprechenden Emotionen bei der oder dem Rezipient*in auslösen.

Abb. 2:

Kategorisierung der GIFsGIF nach Gefühlslagen bei WhatsAppWhatsApp

Abb. 3:

MemojiMemoji als persönlicher AvatarAvatar

Verhältnismässig neu ist die Möglichkeit für das Betriebssystem iOS, sogenannte «Memojis» zu versenden.2 Dabei handelt es sich um unbewegte Bilder («Sticker»3). NutzerNutzer*in*innen können Memojis selbst gestalten. So kann ein solches Zeichen beispielsweise für den oder die Nutzer*in selbst stehen.Ethik4 Diesem AvatarAvatar können die von den Emojis bekannten Attribute auferlegt werden (wie beispielsweise die Herz-Augen oder die Träne) (siehe Abb. 3). Weiter ist auch möglich, statt eines selbstkreierten Avatars eines von 27 Tieren bzw. Figuren auszuwählen. So entsteht beispielsweise ein augenzwinkernder Tintenfisch oder ein schlafendes Einhorn. Es wäre hier interessant zu untersuchen, welche semiotische Aussagekraft einem solchen MemojiMemoji zukommt und ob die Wahl des Tieres bzw. des Avatars für die Erzeugung des kommunikativen Sinns gleichermassen relevant ist wie die Attribute.

2.2.2 iMessageiMessage

Auch wenn Design und entsprechendes Vorgehen minim abweichen, erlaubt iMessageiMessage sämtliche Funktionen, die auch WhatsAppWhatsApp anbietet. In vielen Punkten gehen die multimodalenMultimodalität Funktionen sogar über die von WhatsApp hinaus. In Bezug auf Emojis ist es möglich, eine graphisch realisierte Nachricht in Emojis zu überführen. Dabei werden entsprechende Wörter orange markiert; per Knopfdruck ersetzt iMessage das Wort sodann durch das entsprechende Bildzeichen. Das betrifft Objekte (wie «Flugzeug» oder «Palme»), aber es werden auch Handlungen abgebildet («Hallo» wird durch ein Winken dargestellt, «Autofahren» durch ein Auto). Dies entspricht der dritten von Dürscheid/Frick (2016) beschriebenen Funktion von Emojis als Ersatz für Schriftzeichen (s.o.).

Auch in Bezug auf die oben bereits erwähnten Memojis gehen die Funktionen bei iMessageiMessage weiter. Neben statischen Bildzeichen ist hier das Versenden von «Animojis» möglich (s. den Beitrag von Tanchis/Walder i.d.B.).EmojiAnimation1 Dabei erkennt das SmartphoneSmartphone die Bewegungen und die Mimik des eigenen Gesichts. Zusätzlich wird eine Audioaufnahme gemacht. So entsteht ein Video des eigenen Avatars oder eines Tiers, das Geräusche oder auch vollständige syntaktische Einheiten mündlich realisiert und dabei nonverbale Signale (wie beispielsweise Stirnrunzeln) integriert.

Abb. 4:

Animierter Hintergrund bei iMessageiMessage, wobei es Konfetti von oben nach unten regnet

Eine weitere Funktion, die semiotisch interessant ist, ist das Senden von Beiträgen mit einem «Effekt». Die bzw. der Produzent*in schafft damit einen gemeinsamen Wahrnehmungsraum und kann dabei einerseits den Hintergrund verändern (indem es beispielsweise bei beiden Beteiligten Konfetti regnet, siehe Abb. 4), andererseits kann er/sie die Sprechblase selbst modifizieren und ihr dabei eine bedeutungstragende Einheit zukommen lassen. Nachrichten können so beispielsweise «auffällig» oder «mit Wucht» gesendet werden. Bei Letzterem springt die Nachricht der oder dem Rezipient*in quasi ins Auge, ehe sie wieder auf die Standardgrösse zurückschrumpft. Ferner können die Sprechblase bzw. der entsprechende Inhalt – egal ob er selbst produziert wurde oder nicht – durch einen Kommentar modifiziert werden, also beispielsweise mit einem Herz oder einem «Daumen-hoch-Zeichen» versehen werden. Diese Kommentarfunktion ist eine weitere Möglichkeit, sich ohne die Verwendung graphischer Zeichen auszudrücken.

Was die Multimedialität betrifft, so bietet iMessageiMessage ebenfalls einige Funktionen, die bei WhatsAppWhatsApp nicht vorzufinden sind. Deren Umfang ist nicht klar definiert, denn iMessage ist mit dem AppStore verknüpft, wodurch – teilweise kostenpflichtige – Erweiterungen dazu erworben werden können. So ist es beispielsweise möglich, rundenbasierte Spiele zu spielen, Lieder von AppleMusic direkt zu teilen, Zeichnungen zu verschicken oder neue, themenspezifische Sticker zu erwerben.

2.2.3 E-MailE-Mail

Bezüglich der multimedialen Möglichkeiten unterscheidet sich die E-MailE-Mail in einigen Punkten von den beiden Instant-MessagingInstant-Messanging-Diensten. Auch hier lassen sich sowohl Dokumente als auch Fotos und Videos verschicken. Diese können aus der Mediathek ausgewählt werden oder direkt nach dem Moment der Produktion verschickt werden. Auf der anderen Seite motiviert die E-Mail-Kommunikation vor allem zu einer schriftbasierten Kommunikation. Zwar kann beispielsweise ein Text mündlich diktiert und von der SoftwareSoftware dann graphisch realisiert werden, allerdings sind keine Sprachnachrichten vorgesehen. Um Audiodateien zu versenden, die sich in der Mediathek befinden, muss der oder die NutzerNutzer*in*in einen anderen Weg gehen: Dazu muss die Audiodatei geöffnet und dann die Option «Teilen» angewählt werden. Dies weist darauf hin, dass spontan verfasste Sprachnachrichten nicht zur E-Mail-Kommunikation gehören. Auch in Bezug auf die multimodaleMultimodalität Kommunikation ist der E-Mail-Dienst weniger facettenreich. Grundsätzlich bleiben die Möglichkeiten auf das Einsetzen von Memojis, Emojis und Emoticons beschränkt.

2.3 Zwischenfazit

Untenstehend sind die Affordanzen der einzelnen Instant-MessagingInstant-Messanging-Dienste tabellarisch aufgelistet. Grau hinterlegt sind dabei diejenigen Merkmale, die sich positiv auf die beiden Aspekte ‹Grad an SynchronizitätKommunikationsynchrone› und ‹Verfügbarkeit semiotischer Ressourcen› auswirken: Je grauer, desto ‹synchronerKommunikationsynchrone› bzw. desto vielfältiger die semiotischen Möglichkeiten.

Tab. 1: Vergleich Synchronie

	Synchronie
	Informationen über den/die Gesprächspartner*in			Faktoren nach Dennis/Valacich			Push- Nachrichten
	Anwesenheit	Aktivität	Lesebestätigung	Überarbeitbarkeit	Parallelität	Wiederverwertbarkeit
WhatsApp	ja	ja	ja	ja	ja	ja	ja
iMessage	nein	ja	evtl.1	ja	ja	ja	ja
E-Mail	nein	nein	evtl.2	ja	ja	ja	ja

	Semiotische Ressourcen
	Multimedialität
	Bild	Video	Audio	Lied	Schriftdokument	Spiele	Standort	Kontakt	Diktierfunktion
WhatsApp	ja	ja	ja	nein	ja	nein	ja	ja	ja
iMessage	ja	ja	ja	ja	ja	ja	ja	ja	ja
E-Mail	ja	ja	ja3	nein	ja	nein	nein	ja	ja

Tab. 2:

Vergleich Multimedialität

	Semiotische Ressourcen
	Multimodalität
	Emoji	Memoji	Animoji	Andere Sticker	GIF	Umwandlung Schrift in Emoji	Effekte	Modifikation der Sprechblase
WhatsApp	ja	ja	nein	ja	ja	nein	nein	nein
iMessage	ja	ja	ja	ja	ja	ja	ja	ja
E-Mail	ja	ja	nein	nein	nein	nein	nein	nein

Tab. 3:

Vergleich MultimodalitätMultimodalität

Hinsichtlich der SynchronieKommunikationsynchrone lässt sich allgemein konstatieren, dass die Technologie in allen drei Fällen eine asynchroneKommunikationasynchrone wie auch eine quasi-synchrone KommunikationKommunikationquasi-synchrone erlaubt, da Push-Nachrichten (und damit das Rezipieren und Antworten in Sekundenschnelle) möglich sind. Die Unterschiede beziehen sich vor allem auf die Informationen, welche der bzw. dem Produzent*in nach Absenden eines Beitrages zur Verfügung stehen: Ist die Nachricht erfolgreich zugestellt worden? Ist die andere Person «online»? (Wann) Hat sie den Beitrag gelesen? Die meisten Informationen liefert WhatsAppWhatsApp, gefolgt von iMessageiMessage. Wer E-MailE-Mails nutzt, erhält diesbezüglich in der Regel gar keine Informationen, es sei denn, eine Abwesenheitsnotiz wurde eingerichtet. Bei der Multimedialität zeigen sich die geringsten Unterschiede zwischen den einzelnen Diensten, das Versenden fast aller multimedialer Inhalte ist gleichermassen möglich. Nur iMessage bietet einzelne zusätzliche Dienste an. Bezüglich der MultimodalitätMultimodalität konnte festgestellt werden, dass iMessage und WhatsApp mehr Möglichkeiten als E-Mails bieten. Dass die Möglichkeiten von iMessage noch über diejenigen von WhatsApp hinausgehen, ist vermutlich in erster Linie auf die betriebssystemübergreifende SoftwareSoftware zurückzuführen. Dieser Vorteil schränkt gleichzeitig die Möglichkeiten zur multimodalenMultimodalität Kommunikation ein, da technischTechnik gesehen nur das möglich ist, was mit beiden Betriebssystemen kompatibel ist – wozu beispielsweise das Senden mit Effekt nicht gehört. E-Mails dagegen weisen diesbezüglich deutlich weniger Möglichkeiten auf, als dies bei WhatsApp und bei iMessage der Fall ist. Die Umgebung motiviert hier eher zur graphischen Realisierung der zu vermittelnden Inhalte.

3 Das tatsächlich Realisierte

Die Technologie gibt vor, welche semiotischen Zeichen möglich sind und wie hoch der Grad an SynchronizitätKommunikationsynchrone sein kann. Sprachwissenschaftliche Analysen internetbasierter Kommunikation müssen demzufolge stets die jeweiligen Rahmenbedingungen miteinbeziehen, d.h. in den Worten von Habscheid/Klein:

Es wurde deutlich, dass verbale und multimodaleMultimodalität InteraktionInteraktion überhaupt nur verstanden werden können, wenn sie in ihrer Verwobenheit mit soziomateriellen Rahmenbedingungen betrachtet werden. (Habscheid/Klein 2012: 10)

Das bedeutet allerdings nicht, dass die Kommunikation technologisch determiniert ist. Wie sich Menschen sprachlich verhalten, kann nicht allein durch die Affordanzen erklärt werden: In Frage gestellt werden muss ein

technologische[r] Determinismus, d.h. [die] implizite[…] oder explizite[…] Annahme, dass das Kommunikationsverhalten durch die Kommunikationstechnologie bestimmt wird (Hutchby 2001). Indem man Sprachgebrauch im Internet prinzipiell nach der Kommunikationsform ausfächert, wird diese zum zentralen Kontextaspekt erhoben, was einen Vorrang technisch-medialerTechnik vor situativen und sozialen Kontextaspekten impliziert […]. (Androutsopoulos 2010: 425)

Im Folgenden werden anhand von 24 zufällig ausgewählten Beispielen aus einer privaten Sammlung die beiden Aspekte der SynchronieKommunikationsynchrone und der multimedialen bzw. multimodalenMultimodalität Kommunikation analytisch betrachtet. Es handelt sich um 24 DialogeDialog bzw. Unterhaltungen, die ein und dieselbe Person mit unterschiedlichen Gesprächspartner*innen via WhatsAppWhatsApp, iMessageiMessage und E-MailE-Mail geführt hat. Es liegen also verschiedene Kommunikationssituationen und Kontexte sowie unterschiedliche Konstellationen von Schreibenden vor. Dabei sei an dieser Stelle noch einmal auf die eingeschränkte Aussagekraft der Ergebnisse aufgrund der schmalen Datengrundlage hingewiesen.