Von der Sportanalytik zur Drohnen-Navigation: wie Wettbewerbe zu Spitzenleistungen in der Forschung führen

15 April 2024

Das Institut für Verteilte Intelligente Systeme der Universität der Bundeswehr München hat sehr erfolgreich an vier internationalen Technologie Wettbewerben teilgenommen und dabei drei erste und einen zweiten Platz belegt. Dem Team Fabian Deuser, Konrad Habel und Prof. Norbert Oswald gelang es - unterstützt durch die Rechenleistung des institutseigenen GPU-Clusters "Monacum One'' mit aktuellen Modellen und Methoden aus dem Bereich Deep Learning innovative Ansätze zu entwickeln und das Potential des Einsatzes maschineller Lernmethoden zu demonstrieren. Die Erfolge wurden konkret bei Wettbewerben zur Sportanalytik in Mannschaftssportarten und zur Drohnennavigation erzielt.

Innovative Ansätze in der Sportanalytik

Auf der ACM Multimedia 2022 in Lissabon hat das Team bei der Re-Identification Challenge im Rahmen des Workshops "Multimedia Content Analysis in Sports'' den ersten Platz erzielt. Allgemein geht es bei der Sportanalytik in Mannschaftssportarten um die Bewertung der Leistung einzelner Spielerinnen und Spieler. Diese erfolgt üblicherweise durch Analyse von Datenmaterial in Form von Videosequenzen. Die Auswertung des Datenmaterials ist auch heute noch nur teilweise automatisiert möglich, denn Spieler sind oft durch Effekte wie Bewegungsunschärfe, gering aufgelöstes Bildmaterial, Verdeckungen oder partiellen Sichtfeldern nicht ohne weiteres identifizierbar und erfordern eine manuelle Bewertung durch einen Menschen.

In Lissabon bestand die konkrete Aufgabenstellung darin, alle Instanzen eines beliebig ausgewählten Basketballspielers in verschiedenen kurzen Videosequenzen, die zu unterschiedlichen Zeitpunkten aus derselben Kameraperspektive aufgenommen wurden, wieder zu finden. Inspiriert durch die Forschung von OpenAI in multimodalem Zero-Shot-Learning, hat das Team den Contrastive Language-to-Image Pre-training (CLIP) Ansatz modifiziert. Anstatt die Ähnlichkeit von Bild-Text-Paaren zu bestimmen wurde das CLIP-Modell mit einem Contrastive Image-to-Image Ansatz ergänzt, mit dem die Ähnlichkeit von Bildpaaren von Spielern bestimmt werden kann. Ziel des Trainings war es, die Distanzen zwischen den Bildmerkmalen eines spezifischen Spielers zu minimieren. Dieser Ansatz erzielte mit einem mAP-Wert von 98,44 insgesamt das beste Ergebnis und wurde im Tagungsband unter dem Titel "CLIP-ReIdent: Contrastive Training for Player Re-Identification'' [1] veröffentlicht.

Bei der SoccerNet Re-Identification Challenge im Rahmen der CVPR 2023 in Vancouver [2] wurde der erfolgreiche Ansatz aus Lissabon auf Fußball übertragen. Bei dieser Aufgabe mussten Spieler über mehrere Kameraperspektiven (Seitenlinie, Hintertorkamera, Replay Zoom) hinweg identifiziert und zugeordnet werden. Dies bedeutet, dass über mehrere Blickwinkel hinweg die Bounding Boxen aus der Objekt Detektion einem Spieler korrekt zugeordnet werden müssen. Erneut belegte der Ansatz von Konrad Habel, Fabian Deuser und Prof. Norbert Oswald vom Institut VIS den ersten Platz, diesmal mit einem mAP-Wert von 93,2. Darüber hinaus wurde in einem weiteren Wettbewerb, der Number Recognition, der zweite Platz erreicht. Die Rückennummern stellen häufig ein wichtiges Merkmal dar, um in Mannschaftssportarten wie Fußball unterschiedliche Spieler zweifelsfrei identifizieren zu können. Geringe Auflösung, Bewegungsunschärfe und häufig nicht vollständig sichtbare Rückennummern stellen hierbei eine Herausforderung dar. Das Team entschied sich hierbei dafür, nicht auf den gegeben Daten für die Challenge zu trainieren, sondern stattdessen den größeren Datensatz aus der Re-Identification Challenge zu nutzen. Mit Hilfe eines innovativen Ansatzes wurden die Rückennummern weitestgehend vollständig automatisch gelabelt, um damit ein eigenes Modell auf diesen selbst annotierten Daten zu trainieren. Bemerkenswert ist hier, dass obwohl nicht auf den gegebenen Daten für die Number Recognition Challenge trainiert wurde, dieser Ansatz das zweitbeste Ergebnis erzielte. Für die entwickelte Methodik erhielt das Team eine weitere Auszeichnung in Form des Jury Preises "for the most innovative runner-up method''.

Neue Wege in der Drohnennavigation

Für die Unmanned Aerial Vehicles Challenge der ACM Multimedia 2023 in Ottawa präsentierten Fabian Deuser, Konrad Habel, Prof. Martin Werner (TUM) und Prof. Norbert Oswald einen neuen Ansatz zur Standortbestimmung ohne GPS, der insbesondere für die Nutzung von Drohnen in urbanen Umgebungen relevant ist. Der dabei zur Verfügung gestellte Datensatz beeinhaltet Drohnenbilder, die um Universitätsgebäude herum aufgenommen wurden und Satellitenbildern auf welchen das gesuchte Gebäude abgebildet ist. Das Ziel des Trainings mit diesem Datensatz ist es, die Drohnenbilder wie in einer Art Memory-Spiel dem richtigen Satellitenbild zuzuweisen, um darüber dann die Lokation der Drohne herauszufinden.

Die Aufgabe wurde durch die Einbeziehung von Satellitenbildern ähnlicher, jedoch irrelevanter Gebäude und Gegenden erschwert, um die Genauigkeit und Robustheit des entwickelten Ansatzes unter Beweis zu stellen. Durch ein spezielles Trainingsverfahren konnten die Forscher den Aufnahmewinkel von Drohnenbildern im Verhältnis zu Satellitenbildern schätzen. Diese geschätzten Orientierungen eigneten sich als zusätzliche Trainingsdaten, um dem Modell ein besseres Verständnis von verschiedenen Seitenansichten der Gebäude anzutrainieren. So konnte gezeigt werden, dass die generierten Zusatzinformationen das verwendete Modell dahingehend unterstützten, ein besseres Verständnis von Positionen aus unterschiedlichen Aufnahmewinkeln zu entwickeln. Mit dem vorgestellten Lösungsansatz für diese Challenge, der unter dem Titel ''Orientation-Guided Contrastive Learning for UAV-View Geo-Localisation'' [3] veröffentlicht wurde, setzte sich das Team gegen mehrere Mitbewerber durch und gewann auch hier den ersten Platz.

Zusammenfassung und Ausblick

Die Erfolge des Instituts für Verteilte Intelligente Systeme sind ein Beleg für die Bedeutung von interdisziplinärer Forschung und deren Anwendung auf konkrete praktische Probleme. Sie zeigen, wie wissenschaftliche Wettbewerbe zu neuen Erkenntnissen führen können, die sowohl in der akademischen Welt als auch in der Praxis von Bedeutung sind. 

Referenzen

[1] K. Habel, F. Deuser, N. Oswald, CLIP-ReIdent: Contrastive Training for Player Re-Identification, ACM Multimedia, Lissabon, 2022
[2] A. Cioppa et al., SoccerNet 2023 Challenges Results, CVPR, Vancouver, 2023
[3] F. Deuser, K. Habel, M. Werner, N. Oswald, Orientation-Guided Contrastive Learning for UAV-View Geo-Localisation, ACM Multimedia, Ottawa, 2023