4. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
4
Zentrale Fragestellungen
Zusammenspiel von Text und Bild im multimodalen Medium
•Leserseitige Konstruktion komplexer Erzählungen
Beschreibung spezifischer Narrativität graphischer Literatur
•literarische, quasi-filmische Erzähltechniken
Systematische Beschreibung des Genres graphischer Roman
•historische Entwicklung struktureller, thematischer oder narrativer
Innovationen
Interkulturelle Unterschiede
•USA, Europa und Asien
5. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
5
Herausforderungen und Chancen
• Graphische Literatur paradigmatisch für die Dominanz von Text-Bild-
Kombinationen in der Gegenwartskultur
• DH derzeit text-fokussiert: Digitale Analyse visueller Erzählformen in
den Anfängen
• Methoden der Bildanalyse von Interesse für verschiedene Bereiche der DH
• Annotations-Werkzeuge potenziell von Nutzen für Archivierung, Abruf und
Analyse von illustrierten Texten, Film, Fernsehen, Fotografie und
Computerspielen
6. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
6
Methodenkombination
Kulturwissenschaft: Narratologie, Intermedialitätsforschung,
Kulturgeschichte
•Korpuserstellung, Quantitative Analyse des Genres, Beitrag zu einer
empirisch fundierten Narratologie multimedialer Erzählformen
Informatik: XML, Annotationstool, maschinelle Bildverarbeitung,
lernende Systeme
•Rechnerunterstütze, teilautomatisierte Annotation und Analyse von
Comics und graphischen Romanen, Vorbereitung für EyeTracking
Kognitionswissenschaft: experimenteller Zugang,
Blickbewegungsmessung, Aufmerksamkeitsmodellierung
•Quantifizierung der Aufmerksamkeitslenkung, Analyse medialer
Eigenarten, Brückenschlag narrative Strukturen – empirischer Leser
8. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
8
Zielsetzung “Graphic Narrative Markup Language“
(GNML)
Operationalisierbare Fragen:
•Wie oft wechselt die Aufmerksamkeit des Lesers von Text zu Bild
•Was ist der relative (visuelle) Anteil eines Charakters an der
gesamten Erzählung?
Virginia
Stillman
Peter
Stillman
I am filled
with hope.
It‘s time now, Peter.
Mrs. Saavedra is
waiting for you.
Sicht des Lesers GNML-SichtAuster, Karasik and Mazzuchelli, City of Glass: The Graphic
Novel
• GNML-Annotation ermöglicht
abstrakte Sicht auf visuelle
Daten
⇒ ermöglicht effiziente,
automatisierte Analyse
• Ortskoordinaten
Voraussetzung für
Eyetracking-Maße
9. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
9
GNML: Kurzbeschreibung
Version 1.0, XML-basierte Beschreibungssprache
•Basierend auf den Standards „Text Encoding Initiative“ (TEI) und
„Comic Book Markup Language“ (CBML; Walsh, 2012)
I am filled
with hope.
Virginia
Stillman
Peter
Stillman
It‘s time now, Peter.
Mrs. Saavedra is
waiting for you.
GNML-Sicht GNML-DatenAuster, Karasik and Mazzuchelli, City of Glass: The Graphic
Novel
Repräsentiert
•Meta-Daten (Titel, Autor,…)
•Panel-Ort und -Übergang
•Charaktere und Objekte: Ort,
Identität, Beziehung
• Visuelle Beziehungen
• Logische Beziehungen
•Texte: Ort und Inhalt, Typ
(Panel, Sprech-, Denkblase,
Onomatopoeia: WOOOM!)
10. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
10
GNML-Editor
• Software zur Erfassung und Bearbeitung von GNML-Daten
• Erlaubt intuitives, visuelles Annotieren graphischer Literatur
• Erkennt automatisch Comic-Panels
- Auch irreguläre Panel-Formen oder -Anordnungen werden
erkannt.
Komfort und verringerte
Fehleranfälligkeit bei der
Datenerfassung durch flexible
Auto-
Vervollständigungsmechanismen
Editor mit automatisch erkannter Panel-Anordnung
11. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
11
Herausforderungen für Informatik
• GNML
– Ausbau um alle relevanten Aspekte graphischer Literatur
abzudecken
• GNML-Editor
– Automatische Texterkennung auch für irreguläre Text-Fonts
• Nutzung von OCR (optical character recognition) wenn
möglich
• Nutzung von Lernenden Systemen, wenn OCR versagt
(Handschriften-Erkennung)
– Automatische Erkennung anderer Objekte (z.B. Finden und
Identifizieren von Charakteren
12. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
III. Kognitionswissenschaftliches
Fallbeispiel
13. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
13
Kognitionswissenschaftliche Experimente
22. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
22
Vorarbeiten: Literatur- und Kulturwissenschaft
• Beginn Erstellung und Annotation eines Korpus des
US-amerikanischen Graphischen Romans
• Sichtung und Kritik narratologischer Ansätze zum
graphischen Roman
• Vergleichende Pilotstudien: Intermediale Analyse
Roman/Graphischer Roman (City of Glass) und
Film/Graphischer Roman (Ghost World)
23. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
Kulturwissenschaftliches Fallbeispiel: Netzwerkanalyse City of Glass
aul Auster, City of Glass, in: The New York Trilogy (London: Faber 1999).
Paul Auster, Paul Karasik and David Mazzuchelli, City of
Glass, the Graphic Novel, intr. Art Spiegelman (London:
Faber, 2005).
24. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
Netzwerkanalyse Graphischer Roman: Kategorien der
Interaktion
25. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
Zusammenfassung
I. Digitale und teil-automatisierte
Annotation und Analyse
II. Quantitative Beschreibung
der spezifischen Struktur
graphischer Literatur
III. Kognitionswissenschaftliche
Studien zur Leser-Rezeption
26. Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
26
Kontakt und Homepage
Kontakt: Dr. Alexander Dunst (dunst@mail.upb.de)
Dr. Rita Hartel (rst@upb.de)
Dr. Sven Hohenstein (hohenst@rz.uni-potsdam.de)
Dr. Jochen Laubrock (laubrock@uni-potsdam.de)
Homepage/Blog: www.graphic-literature.upb.de
Notas del editor
Erster Überblick über die Arbeit der Nachwuchsgruppe “Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur”
Vorphase: Arpil 2014 – März 2015; vierjährige Hauptphase derzeit in Begutachtung (soll April 2015 beginnen)
Suchen derzeit noch nach Doktorand/in – Ausschreibung siehe Homepage
Neben der Bedeutung als Jugendliterature heute ernstzunehmende Graphic Novels (mit Pulitzer Preis: Maus)
Eigenes Medium mit medialen Eigenarten. Was sind diese?
Wie funktioniert das Zusammenspiel von Text und Bild im multimodalen Medium Comics, und wie gelingt es Lesern daraus komplexe Erzählungen zu konstruieren?
Wie lässt sich die spezifische Narrativität von Comics beschreiben? Welche Rolle spielen dabei literarische und quasi-filmische Erzähltechniken?
Wie lässt sich das Genre des graphischen Romans systematisch beschreiben? Lassen sich strukturell thematische oder narrative Innovationen verfolgen, die das Genre erfolgreich haben werden lassen?
Welche interkulturellen Unterschiede prägen verschiedenen Erzähltraditionen des graphischen Romans in den USA, Europa und Asien?
Beantwortung solcher Fragen durch computergestützte, automatische Analyse auf absehbare Zeit nicht möglich
Hier sind die Blickbewegungen eines Lesers beim Lesen einer Seite aus McCloud (1993) visualisiert. Man erkennt, dass der Leser des Öfteren zwischen Text und im Text referenzierten Objekten des Hintergrundes springt (z.B. bei Bogie unten links).
Dies sind die aggregierten Blickdaten von 42 Lesern einer Seite der Graphic Novel Ghost World (Daniel Clowes).
Man erkennt, dass es deutliche Aufmerksamkeits-Hot Spots bei den Sprechblasen gibt. Text wie das große Ghost World oben links wird nur selten fixiert. Die folgende Animation bei Änderung des Schwellwertes zeigt, dass sich insgesamt die Aufmerksamkeit dennoch über weite Bereiche der Seite verteilt´
Zusammenfassend sehen wir, dass sich die Aufmerksamkeit in dieser Reihenfolge verteilt auf:
Vergleichende Analyse literarischer Form: Warum Adaption? Austers Roman und die graphische Adaption eignen sich besonders gut für einen Vergleich, weil die Adaption zwar künstlerisch eigenstädnig und ist keine “Illustration” des “Originals”, sich aber in der formalen Umsetzung streng an die Vorlage hält: eine Seite im Roman entspricht meist einer Seite im graphischen Roman, Handlung beibehalten, Textebene zwar verkürzt aber fast was übernommen wird, fast Wort für Wort wiedergegeben: können davon ausgehen, dass Unterschiede im Netzwerk auf mediale Unterschiede zurückzuführen sind.
Zwei Punkte: Dichte der Netzwerke (höhere Anzahl and Figuren-Verweisen); höhere Zentralität der Hauptfigur im graphischen Roman
Klassifikation der Figuren-Interaktion: gemeinsame räumliches Auftreten, Dialog, Monolog, Blickkontakt, physischer Kontakt, Gedankenverweis
Kategorien nicht auf Roman anwendbar
Zur Abbildung der sozialen Struktur der Erzählwelt tritt hier deutlicher eine soziale Hierarchie: Dialoge konzentriert auf Hauptfiguren
Außerdem: soziale Struktur organisiert nach sozialer Klasse, Ethnizität und Geschlecht
