Wie wir mit Künstlicher Intelligenz gegen Hassrede vorgehen
Wie kann der Kampf gegen Rechtsverstöße im Netz effektiver und zielgerichteter werden? Indem wir sorgfältig arbeiten – und neue Methoden etablieren. Deswegen haben wir ein KI-Tool entwickelt, das Hasskriminalität so zuverlässig wie nie zuvor aufdeckt.
Die Menschenwürde zu schützen, das ist unser Anspruch. Doch wie kann man dem in einem unübersichtlichen und zugegebenermaßen riesigen Onlineumfeld gerecht werden? Unsere Antwort auf diese Frage ist der Einsatz von künstlicher Intelligenz (KI). Seit 2020 setzen wir ein KI-Tool in unserer Aufsichtsarbeit ein, das Rechtsverstöße im Netz effizienter findet, als wir es mit menschlicher Kraft alleine hinbekämen. Und das die Zusammenarbeit der Medienanstalten, den Schutz unserer Mitarbeitenden und unsere Reaktionsgeschwindigkeit auf aktuelle Ereignisse enorm gesteigert hat.
„Der Schutz der Meinungsfreiheit erfordert, dass wir Hass und Hetze entschlossen entgegentreten. Mithilfe von KI gelingt das heute besser denn je.“
Dr. Tobias Schmid, Direktor der Landesanstalt für Medien NRW
Meilensteine des KI-gestützten Monitorings
Dieses Tool heißt KIVI – die Verschmelzung der Begriffe „KI“ und „vigilare“ – Lateinisch für „wachsam sein“. Durch das automatisierte Monitoring von über 10.000 öffentlichen Social-Media-Profilen und Webseiten ermöglicht uns KIVI die Identifizierung einer Vielzahl potenzieller Rechtsverstöße – und eine direkte Vorbereitung zur juristischen Prüfung durch unser geschultes Personal. 50 Prozent der Verdachtsfälle führen zu strafrechtlichen Ermittlungsverfahren, die Meldung tatsächlicher Verstöße hat sich so vervielfacht. Was uns besonders stolz und erfolgreich macht.
Heute arbeiten alle Medienanstalten in Deutschland mit dem in unserem Auftrag entwickelten KI-Tool. So gehen wir gemeinsam bundesweit gegen Verstöße gegen die Menschenwürde, gegen Hass und Gewaltdarstellung, Pornografie und andere jugendgefährdende Inhalte vor. Auch die Zusammenarbeit mit den Strafverfolgungsbehörden konnten wir so weiter professionalisieren. 2019 haben wir eine Machbarkeitsanalyse für den Einsatz digitaler Hilfsmittel in der Medienaufsicht beauftragt. 2020 begann die Entwicklung des Tools durch die Condat AG in Berlin. Innerhalb eines halben Jahres war der Prototyp im Einsatz, danach konnte das Tool Kanal für Kanal ausgerollt werden. Von Twitter und YouTube bis zu Plattformen wie Telegram und VK durchsucht das Tool heute mehr als 10.000 Seiten täglich.
KIVI verbessert die Zusammenarbeit der Medienanstalten
Das Tool erkennt potenzielle Rechtsverstöße. So weist es zum Beispiel aus, auf welchen internationalen Kanälen die Userinnen und User auf Deutsch angesprochen werden. Das KI-Tool kann mutmaßliche Verstöße erkennen, die in NRW relevant sind – oder Medienaufsichten in anderen Bundesländern oder europäischen Ländern betreffen. Heute nutzen alle Medienanstalten in Deutschland KIVI. So können wir jenseits der Ländergrenzen und unserer jeweiligen Zuständigkeiten gemeinsam die große Anzahl an Verstößen bearbeiten, bei denen uns die Herkunft eines Hass-Posts oder Gewaltvideos nicht bekannt ist.
Mehr Schutz, weniger Belastung
KIVI verbessert die Erkennbarkeit von potenziellen Verstößen – und erhöht den Schutz unserer Teams. Bevor ein Inhalt geöffnet wird, zeigt KIVI an, zu welcher Verstoßkategorie er wahrscheinlich gehört. KIVI weist beispielsweise aus, ob der gefundene Verstoß eine Gewaltdarstellung, Hassrede oder pornografischer Inhalt ist. Die Mitarbeitenden können festlegen, welche möglicherweise verstörenden Inhalte zunächst unscharf dargestellt werden – was gerade bei Gewaltdarstellungen die psychische Belastung mindern kann.
Die Rolle von KIVI im Aufsichtsprozess
Das KI-Tool ist ein Hilfsmittel. Jeder Verdacht, den das Tool ausweist, wird im Monitoring geprüft. Wenn sich der Verdacht bestätigt, wird dies im Tool vermerkt und der Fall an unsere Juristinnen und Juristen weitergegeben. Erst dann werden weitere Schritte gegen potenzielle Straftäterinnen oder Straftäter ergriffen. Nicht bestätigte Verdachtsfälle werden an das Tool zurückgegeben. So lernt KIVI aus seinen eigenen Fehlern.
KOOPERATION VON LANDESMEDIENANSTALTEN UND BUNDESKRIMINALAMT
Seit 2022 arbeiten wir eng mit dem Bundeskriminalamt zusammen – knapp 1.200 strafrechtlich relevante Inhalte haben wir seitdem bei der Zentralen Meldestelle für strafbare Inhalte im Internet (ZMI BKA) gemeldet. Nun wird diese Kooperation ausgeweitet: Die Meldemöglichkeit steht bundesweit allen Landesmedienanstalten zur Verfügung.