Die zunehmende Verbreitung von Voreingenommenheit und Propaganda in sozialen Medien ist ein wachsendes Problem, das zur Entwicklung von Techniken zur automatischen Erkennung führt. Dieser Artikel präsentiert ein mehrsprachiges Korpus von 12.000 Facebook-Beiträgen, die vollständig hinsichtlich Voreingenommenheit und Propaganda annotiert wurden. Das Korpus wurde im Rahmen der FigNews 2024 Shared Task zu Mediennarrativen über den israelischen Krieg in Gaza erstellt. Es deckt verschiedene Ereignisse während des Krieges vom 7. Oktober 2023 bis zum 31. Januar 2024 ab. Das Korpus umfasst 12.000 Beiträge in fünf Sprachen (Arabisch, Hebräisch, Englisch, Französisch und Hindi) mit jeweils 2.400 Beiträgen pro Sprache. Am Annotationsprozess waren 10 Graduiertenstudenten mit Spezialisierung im Bereich Rechtswissenschaften beteiligt. Die Inter-Annotator-Übereinstimmung (IAA) wurde zur Bewertung der Annotationen des Korpus verwendet, mit einer durchschnittlichen IAA von 80,8% für Voreingenommenheit und 70,15% für Propaganda-Annotationen. Unser Team wurde in beiden Teilaufgaben, Voreingenommenheit und Propaganda, zu den leistungsstärksten Teams gezählt. Das Korpus ist Open-Source und unter https://sina.birzeit.edu/fada verfügbar. 1. Einleitung Seit dem 7. Oktober sind die sozialen Medien überflutet mit Beiträgen, Artikeln, Bildern und Videos zum israelischen Krieg in Gaza. Solche Beiträge sind oft durch Hass, Voreingenommenheit und Falschnachrichten geprägt, entweder zugunsten oder gegen eine der Parteien oder durch eine neutrale Haltung. „Framing des israelischen Krieges in Gaza“ ist eine gemeinsame Aufgabe zu Mediennarrativen, die Teil der 2. ArabicNLP-Konferenz ist. Ziel der Aufgabe ist es, ein mehrsprachiges Korpus zu erstellen, das die Schichten von Voreingenommenheit und Propaganda in Nachrichtenartikeln in verschiedenen Sprachen aufdeckt. Die Erkennung von Propaganda in sozialen Medien ist entscheidend, da sie die öffentliche Meinung polarisieren, gewalttätigen Extremismus und Hassreden fördern und letztendlich Demokratien untergraben und das Vertrauen in demokratische Verfahren verringern kann. Bemerkenswerterweise wurden in jüngster Zeit nur wenige Korpora erstellt, um diese Probleme anzugehen. Unsere Beiträge sind: Annotiertes Korpus (12.000 Facebook-Beiträge) zu Voreingenommenheit und Propaganda in 5 Sprachen. Annotationsrichtlinien zur Gewährleistung von Konsistenz und Genauigkeit. 2. Annotationsmethodik Ziel der Aufgabe ist es, die komplexe Landschaft des Social-Media-Diskurses im Zusammenhang mit dem israelischen Krieg in Gaza 2023-2024 zu behandeln. Die Organisatoren der Aufgabe stellten den Teilnehmern 15.000 Beiträge von verifizierten Facebook-Konten zur Verfügung, die zwischen dem 6. Oktober 2023 und dem 31. Januar 2024 mit „Gaza“ als Suchbegriff in 5 Sprachen ausgewählt wurden: Arabisch, Hebräisch, Englisch, Französisch und Hindi. 2.1 Annotationsrichtlinien Wir definieren Voreingenommenheit und Propaganda basierend auf UN- und EU-Berichten: Voreingenommenheit: Eine Neigung oder ein Vorurteil für oder gegen eine bestimmte Person oder Gruppe, oft in einer Weise, die als unfair angesehen wird. Klassifizierungen von Voreingenommenheit: Voreingenommen gegen Palästina Voreingenommen gegen Israel Voreingenommen gegen andere Voreingenommen gegen sowohl Israel als auch Palästina Nicht zutreffend Unklar Unvoreingenommen Wir führten auch ein neues Merkmal namens „Art der Voreingenommenheit“ ein: a) Explizit b) Implizit c) Vage Propaganda: Irreführende Ideen oder Aussagen, die die Wahrheit verzerren oder Fakten auslassen können, um eine bestimmte politische oder soziale Agenda zu fördern. Klassifizierungen von Propaganda: i. Propaganda ii. Keine Propaganda iii. Nicht zutreffend iv. Unklar Wir fügten eine neue Spalte hinzu, um Propaganda in drei Typen zu klassifizieren: Propaganda muss gelöscht werden Propaganda kann gelöscht werden Propaganda muss nicht gelöscht werden 2.2 Inter-Annotator-Übereinstimmung (IAA) Zur Bewertung der Qualität unserer Annotationen verwendeten wir den F1-Score und Cohen’s Kappa, um die Übereinstimmung zwischen den Annotatoren zu berechnen. Der durchschnittliche Cohen’s Kappa-Wert betrug 0,808 für Voreingenommenheit (sehr gute Übereinstimmung) und 0,7015 für Propaganda (gute Übereinstimmung). 3. Teamzusammensetzung und Training Wir stellten ein Team von 10 Masterstudenten zusammen, die sich auf Rechtswissenschaften an der Birzeit-Universität spezialisiert haben. Alle Teammitglieder sind arabische Muttersprachler mit guten Englischkenntnissen. Wir führten Trainingsphasen und Workshops durch, um die Konsistenz der Annotationen sicherzustellen. 3.1 Annotationsprozess Die Annotation wurde in zwei Phasen durchgeführt: Phase Eins: Verteilung und Überprüfung der ersten Chargen Phase Zwei: Zuweisung der verbleibenden Chargen 4. Aufgabenteilnahme und Ergebnisse Unser Sina-Team erreichte den dritten Platz in der IAA-Qualitätskategorie für die Voreingenommenheits-Teilaufgabe und den zweiten Platz sowohl in der IAA-Qualitäts- als auch in der Quantitätskategorie für die Propaganda-Teilaufgabe. Wir sicherten uns auch den dritten Platz in den Propaganda-Richtlinien. 5. Fehleranalyse und Diskussion Trotz Training und Überwachung können Fehler aufgrund subjektiver Interpretation, mehrdeutiger Richtlinien oder komplexer Inhalte auftreten. Wir identifizierten Probleme wie falsch positive Ergebnisse bei Voreingenommenheits-Annotationen und Fehlklassifizierungen von Propaganda. 6. Schlussfolgerung Dieser Artikel präsentiert unseren Beitrag zu FigNews 2024, bei dem wir ein mehrsprachiges Korpus von 12.000 Facebook-Beiträgen hinsichtlich Voreingenommenheit und Propaganda in fünf Sprachen annotierten. Wir erweiterten die Annotationsrichtlinien für eine bessere Konsistenz und Genauigkeit und schufen damit eine Grundlage für zukünftige Arbeiten zur Erkennung von Voreingenommenheit in sozialen Medien. Ethische Überlegungen Angesichts der sensiblen Natur der Themen und Mediennarrative im Zusammenhang mit dem israelischen Krieg in Gaza durchliefen unsere Annotatoren ein umfangreiches Training, um sorgfältige und faire Beurteilungen sicherzustellen. Einschränkungen Wir erkennen die Einschränkungen in unserem Annotationsprozess aufgrund der subjektiven Natur der Identifizierung von Voreingenommenheit und Propaganda in Social-Media-Beiträgen und der Sensibilität der beteiligten Datensätze an. Danksagung Wir möchten uns bei verschiedenen Personen und Institutionen für ihre Beiträge zum Annotationsprozess und die Unterstützung dieser Forschung bedanken. Autoren Lina Duaibes, Areej Jaber, Mustafa Jarrar, Ahmad Qadi, Mais Qandeel #Voreingenommenheit, #Propaganda, #SocialMedia, #KünstlicheIntelligenz ArXiv, Studien-Paper-PDF
Sina bei FigNews 2024 – Künstliche Intelligenz lernt Propaganda zu erkennen
