Forscher entwickeln ein neues System zur Erkennung von Missbrauch in Online-Communitys

Konversationsdiagramm, das unter Berücksichtigung eines Zeitraums vor dem Missbrauch erhalten wurde.Bildnachweis: Papegnies et al.

Ein Forscherteam der Universität Avignon hat kürzlich ein System entwickelt, das Missbrauch in Online-Communitys automatisch erkennt. Es wurde festgestellt, dass dieses System, das in einem auf arXiv vorab veröffentlichten Papier vorgestellt wurde, bestehende Ansätze zur Erkennung von Missbrauch und zur Moderation von nutzergenerierten Inhalten übertrifft.

„Ständig wachsende Online-Communitys bieten die Möglichkeit, Ideen über das Internet zu verbreiten und den Benutzern eine gewisse Anonymität zu garantieren“, sagten die Forscher per E-Mail gegenüber TechXplore. “Allerdings haben diese Bereiche oft Benutzer, die missbräuchliches Verhalten zeigen. Für Community-Führungskräfte ist es wichtig, diese böswilligen Handlungen zu moderieren, da dies die Community vergiften, Benutzerabwanderung auslösen und Administratoren rechtlichen Problemen aussetzen könnte.”

Die Moderation von nutzergenerierten Online-Inhalten erfolgt in der Regel manuell durch Menschen; daher kann es sowohl teuer als auch zeitaufwendig sein. Um die Kosten zu senken, haben Forscher versucht, vollautomatisierte Tools zur Inhaltsmoderation zu entwickeln, die menschliche Moderatoren entweder ersetzen oder unterstützen könnten.

„In dieser Arbeit formulieren wir die Aufgabe der Content-Moderation als Klassifikationsproblem und wenden unsere Methode auf einen Korpus von Nachrichten an, die von Spielern eines MMORPG, einem Massively Multiplayer Online Role-Playing Game, ausgetauscht werden“, so die Forscher.

In einem ersten Schritt extrahierten die Forscher Konversationsnetzwerke aus rohen Chatprotokollen, die die Konversationen darstellten, in denen jede missbräuchliche Nachricht gesendet wurde, und charakterisierten sie mit topologischen Messungen. Sie nutzten ihre Ergebnisse als Merkmale und trainierten einen Klassifikator, um Missbrauch auf Online-Plattformen zu erkennen.

**Forscher entwickeln ein neues System zur Erkennung von Missbrauch in Online-Communitys
Das Konversationsdiagramm, das unter Berücksichtigung eines Zeitraums nach dem Missbrauch erhalten wurde. Quelle: Papegnies et al.

Bei der Extraktion der Konversationsnetzwerke verfolgten die Forscher eine dreistufige Methode. Zuerst identifizierten sie die Teilmenge der Nachrichten, die sie verwenden würden, um das Netzwerk zu extrahieren. Dann wählten sie eine Untergruppe von Benutzern aus, die die wahrscheinlichen Empfänger jeder Nachricht waren. Schließlich fügten sie Kanten hinzu und überarbeiteten ihre Gewichtungen basierend auf diesen potenziellen Nachrichtenempfängern.

„Bestehende Methoden zur automatischen Erkennung missbräuchlicher Nachrichten konzentrieren sich auf den Textinhalt der ausgetauschten Nachrichten, was viele Probleme aufwirft: sprachspezifische Probleme, Syntaxfehler, Rechtschreibfehler, Verschleierung und andere“, erklärten die Forscher. „Im Gegenteil, wir nutzen nur das Vorhandensein/Fehlen von Interaktionen zwischen Benutzern, dh die Tatsache, dass sie einige Nachrichten austauschen (oder nicht), im Gegensatz zur Art der ausgetauschten Nachrichten. Das Ignorieren des Inhalts ermöglichte es uns, diese Probleme zu lösen. “

Im Wesentlichen modellierten die Forscher Online-Konversationen mithilfe eines Diagramms, in dem Knoten Benutzer und Links den Nachrichtenaustausch darstellen. Anhand graphenspezifischer Maßnahmen konnten sie Unterschiede in der Strukturierung von Gesprächen feststellen, je nachdem, ob sie beleidigende Nachrichten enthalten oder nicht. Diese Unterschiede wurden dann verwendet, um einen Klassifikator zu trainieren, um Missbrauch in Gesprächen zwischen Benutzern zu erkennen.

**Forscher entwickeln ein neues System zur Erkennung von Missbrauch in Online-Communitys
Konversationsdiagramm, das unter Berücksichtigung des gesamten Zeitraums (dh sowohl vor als auch nach dem Missbrauch) erhalten wurde. Quelle: Papegnies et al.

„Unser erster Versuch, der in einem früheren Artikel vorgestellt wurde, basierte auf dem traditionellen Ansatz, dh er nutzte den Textinhalt von Nachrichten“, erklärten die Forscher. „Als wir diese graphenbasierte Methode vorschlugen, hatten wir nicht erwartet, dass sie so gut funktioniert; wir dachten sogar, dass sie im Vergleich zur inhaltsbasierten Methode zu geringeren Leistungen führen würde. Wir waren sehr überrascht, deutlich bessere Ergebnisse zu erzielen die aussagekräftigste Erkenntnis unserer Studie, dass zumindest für diese spezielle Aufgabe die Struktur des Gesprächs differenzierter ist als die Art der ausgetauschten Inhalte.”

  • **Forscher entwickeln ein neues System zur Erkennung von Missbrauch in Online-Communitys
    Quelle: Papegnies et al.
  • **Forscher entwickeln ein neues System zur Erkennung von Missbrauch in Online-Communitys
    Quelle: Papegnies et al.

Die Forscher testeten ihr System mit einem Datensatz von Benutzerkommentaren aus einem französischen MMORPG-Spiel und stellten fest, dass es bestehende Ansätze mit einem F-Maß von 83,89 bei Verwendung des vollen Funktionsumfangs übertraf. Durch die Reduzierung des Funktionsumfangs und die Beibehaltung der diskriminierendsten Funktionen konnten sie die Rechenzeit drastisch reduzieren, während die hervorragende Leistung beibehalten wurde. In Zukunft könnte ihr graphenbasierter Ansatz auch auf andere Nachrichtenklassifizierungsaufgaben angewendet werden, wie beispielsweise die Online-Trollerkennung.

„Wir werden nun versuchen, beide Ansätze (inhalts- und graphenbasiert) zusammenzuführen, um zu prüfen, ob sie ähnliche Informationen nutzen, in welchem ​​Fall die Ergebnisse ähnlich wären, oder ob sie sich in diesem Fall auf komplementäre Informationen stützen , sollte die Kombination zu Leistungssteigerungen führen”, fügten die Forscher hinzu. „Dann wollen wir zu einer stärker automatisierten Methode zur Charakterisierung unserer Konversationsgraphen übergehen, die als Grapheneinbettung bezeichnet wird. Es handelt sich um eine auf Deep Learning basierende Methode, die darin besteht, ein neuronales Netzwerk zu trainieren, um eine effiziente Darstellung der Graphen zu erhalten. Im Vergleich dazu sind wir derzeit erledigen Sie diesen Teil der Arbeit manuell über eine Aufgabe namens Merkmalsauswahl.”


Leave a Comment