Obwohl der Einsatz von Künstliche Intelligenz (KI), Algorithmen und Large Language Models (LLM) im Journalismus in manchen Ländern wie in den USA oder in Großbritannien fester Bestandteil der Berichterstattung ist, ist die Zahl der Experimente, die messen, was Leser*innen von automatisierten Texten halten, überschaubar. Zudem wurden die meisten Experimente vor der Einführung des Chatbots ChatGPT, der die Begriffe LLM und KI einer breiten Öffentlichkeit bekannt machte, durchgeführt.
Mit einem Feldexperiment versucht diese Arbeit, die Reichweite von hybriden KI-Texten auf Google und die Bewertung automatisierter Texte durch Leser*innen zu messen. Diese Arbeit versteht sich somit als Schnittstelle zwischen den Feldern der Suchmaschinenoptimierung (SEO), der KI und des Journalismus.
Mit der kostenlosen Version des Chatbots ChatGPT sind fünf Ratgebertexte generiert und auf der Online-Nachrichtenseite nordbayern.de (Verlag Nürnberger Presse) veröffentlicht worden. Diese wurden mit fünf von einer Redakteurin zu einer ähnlichen Thematik geschriebenen Texte verglichen. Die Inhalte und Vorgaben wie Wortanzahl, Struktur und Thema sind mit Hilfe von SEO-Tools wie Sistrix und Google Trends festgelegt. Somit konnten saisonale Schwankungen in den Texten vorab ausgeschlossen werden.
Die Texte sind paarweise zwischen dem 11. und dem 15. Dezember 2023 veröffentlicht und ihre Suchmaschinen-Performance für den Zeitraum vom 11. Dezember 2023 bis zum 29. Februar 2024 dokumentiert und analysiert worden. Diese wurde anhand der Klickzahlen und der Positionen auf Google gemessen. Im selben Zeitraum wurde auch eine Umfrage, die die Zufriedenheit der Leser*innen mit der Qualität der Texte gemessen hat, durchgeführt. Diese war am Ende jedes Textes platziert.
Die Positionen der Texte in den Ergebnissen der Google-Suche, die Views und die Verweildauer der zwei Textsorten zeigten keinen signifikanten Unterschied. Allerdings zeigten die Ergebnisse der Umfrage, dass die Teilnehmer*innen der Studie von der Qualität menschlicher Texte überzeugter sind als von hybriden Texten.
Diese Arbeit ist das erste Feldexperiment das sich der Zufriedenheit von Leser*innen mit hybriden KI-Texten beschäftigt und auch die erste, die einen Schwerpunkt auf SEO setzt.