transfer 28(4) » Medieninhalte

Automatisierte Extraktion und Klassifikation von Datenvisualisierungen in COVID-19- und Klimaberichten

Im Zuge der Visualisierung öffentlicher Kommunikation rücken visuelle Medieninhalte vermehrt in den Fokus kommunikationswissenschaftlicher Forschung. Angesichts der wachsenden Datenmengen werden automatisierte Verfahren zur Analyse von Bildinhalten als potenziell effiziente Lösung diskutiert. Die Nutzung von Computer Vision Tools geht allerdings mit theoretischen, methodischen und technischen Herausforderungen einher. Das betrifft geeignete Gütekriterien zur Evaluation automatisiert generierter Ergebnisse, Forschungs- und Datenzugänge sowie technische Rahmenbedingungen. In dieser Arbeit adressiere ich diese Diskussion und zeige anhand der automatisierten Extraktion und Klassifikation von Datenvisualisierungen in Klima- und Covid-19-Berichten auf, inwiefern automatisierte Bildanalyseverfahren in kommunikationswissenschaftliche Forschungsprozesse integriert werden können.

Datenvisualisierungen, verstanden als visuelle Repräsentation von Daten, spielen eine entscheidende Rolle bei der Vermittlung von Informationen. Während aus Rezeptionsperspektive empirische Befunde zum (Miss-)Verständnis vorliegen, ist wenig über die Prävalenz verschiedener Datenvisualisierungen in öffentlichen Diskursen bekannt. Basierend auf einer Arbeitsdefinition von Datenvisualisierungen werden typische Arten von Datenvisualisieren identifiziert, die sich theoretisch in ihrer diskursiven Funktion unterscheiden.

Ausgehend von der Frage nach der Verteilung von Datenvisualisierungs–typen in Klima- und Covid-19-Berichten wird erstens ein regelbasierter Ansatz vorgestellt, der Datenvisualisierungen teilautomatisiert (aus PDF-Dateien) extrahiert. Zweitens werden drei überwachte Machine-Learning-Ansätze miteinander verglichen, die sich in ihrer Modellarchitektur (CNN vs. Transformer) und ihrer Anwendungslogik (Transfer-Learning vs. Custom) unterscheiden, um die vorkommenden Typen in Klima- und Covid-19-Berichten automatisiert zu klassifizieren. Inhaltlich können moderate Verteilungsunterschiede zwischen den Datenvisualisierungstypen im Hinblick auf den Absender (NGO vs. staatlich), das Thema (Klima vs. Covid-19) und den Kontinent gezeigt werden.

Methodisch liefert der mit Transfer-Learning nachtrainierte Vision Transformer vielversprechende Klassifikationsergebnisse. Auf Basis der automatisierten Klassifikation können weiterhin Mischtypen identifiziert werden, die keinem vorab definierten Typ entsprechen. Das geht mit einem mehr–dimensionalen Verständnis von Datenvisualisierungen einher, das mit Fragen hinsichtlich der Konstruktvalidität automatisierter Bildanalyseverfahren verbunden ist: Um diese Mehrdimensionalität von Datenvisualisierungen zu erfassen, müsste sich die Entwicklung weiterer Modelle auf subtilere Unterscheidungen zwischen Typen konzentrieren, indem die automatisierte Klassifikation statt ganzer Bilder die Elemente in Datenvisualisierungen identifiziert.

Am Ende der Arbeit steht ein möglicher Workflow für automatisierte Bildanalyseverfahren, der die Bedeutung der methodischen Reflexion automatisierter Ansätze, ihrer manuellen Interpretation sowie der Nutzung von Open-Source-Bibliotheken für automatisierte Prozesse hervorhebt.