CODE-Kolloquium mit Prof. Rieck

18 März 2024

Wissenschaftliche Paper, die sich ihre Reviewer selbst aussuchen können? Wie dies mit Hilfe von Adversarial Machine Learning möglich ist, zeigte Professor Konrad Rieck (TU Berlin) vergangene Woche im Rahmen des CODE-Kolloquiums.

Vor dem Hintergrund einer stetigen Zunahme wissenschaftlicher Veröffentlichungen, setzen immer mehr Konferenzausrichter beim Begutachtungsprozess auch IT-Systeme ein. Diese Systeme nutzen in der Regel Machine-Learning-Algorithmen, um den Inhalt eines Papers zu analysieren und automatisiert passenden Reviewern zuzuweisen.

Professor Rieck präsentierte eine Angriffsmethode, mit der es gelingt, ein wissenschaftliches Paper so zu modifizieren, dass das eingesetzte IT-System die gewünschten Personen zuteilt – sich das Paper also sozusagen „seine Reviewer selbst aussuchen“ kann. Technisch betrachtet basiert die Methode auf einer neuartigen Optimierungsstrategie, die abwechselnd das Topic Model überlistet und die Semantik des Dokuments bewahrt. In Versuchen mit einer (simulierten) Konferenz konnte der Ansatz erfolgreich beliebige Gutachter auswählen und entfernen. Die manipulierten Beiträge blieben dabei weiterhin plausibel und waren oft nicht von harmlosen Einreichungen zu unterscheiden.

Im Anschluss an den rund 45-minütigen Vortrag, nahm sich Prof. Rieck Zeit für die Fragen der Teilnehmenden. Die weitere Diskussion setzte sich später in Kleingruppen beim Get-together bei Snacks und Getränken fort. Einmal mehr ein spannender und gelungener Abend für alle Beteiligten.

Das nächste CODE-Kolloquium findet am 17. April 2024 statt. Dann begrüßen wir Dr. Lucjan Hanzlik vom CISPA Helmholtz-Zentrum für Informationssicherheit. Weitere Information und Anmeldung zum CODE-Kolloquium: https://www.unibw.de/code/events/kolloquium

^{Foto: FI CODE}