Kurzbeschreibung

Das ubihave-Projekt untersucht, wie ubiquitäre Technologien von Verhaltensmodellen profitieren können. Die Forschung ist dadurch motiviert, dass persönliche Geräte und intelligente Umgebungen dank ihrer Sensorik und Rechenleistung reichhaltige benutzerspezifischer Daten zur Verfügung stellen können. Dadurch eröffnen sich neue Wege für Anwendungen, welche Verhaltensmodelle verwenden um sich an individuelle Benutzer und Kontexte anzupassen.

Allgegenwärtige Computer liefern reichhaltige Verhaltensdaten

Das ubihave Projekt untersucht, wie allgegenwärtige Computer von Verhaltensmodellen profitieren können. Diese Forschung ist durch die Tatsache motiviert, dass Computer unser Leben durchdringen, als alltägliche Begleiter (Smartphones, Tablets, Fitness-Armbänder, intelligente Kleidung) sowie in Form von in die Umgebung eingebetteten Sensoren (WiFi-Hotspots, NFC, Kameras, Tiefensensoren, Eye-Tracker). Diese Geräte liefern reichhaltige benutzerspezifische Datenströme, die neue Wege für Anwendungen basierend auf Verhaltensmodellen eröffnen. Durch die Nutzung und Kombination allgegenwärtiger Datenquellen für die Modellierung von Nutzerverhalten eröffnet sich erstmals die Möglichkeit, die lange existierende Vision von intelligenten Benutzeroberflächen, smarten Geräten und reaktiven Umgebungen, die sich an den individuellen Benutzer und seinen Kontext anpassen, zu realisieren. 

 

Modellierung von Benutzerverhalten

Viele aktuelle Benutzeroberflächen und Geräte können auf simple Sensordaten reagieren (z.B. Orientierung eines Smartphone-Displays). Allerdings werden Schnittstellen und Interaktionen nur selten an den individuellen Benutzer und Kontext angepasst, da dies spezielle Methoden erfordert, um unsichere benutzerspezifische Sensordaten zu verarbeiten. Um benutzerspezifische Informationen für Anwendungen und Benutzer zugänglicher und nützlicher zu machen, zielt dieses Projekt darauf ab, Modelle zu erstellen und anzuwenden, die das Benutzerverhalten basierend auf Daten von mobilen Geräten und allgegenwärtigen Sensoren beschreiben, analysieren und vorhersagen können. Anwendungsbereiche, von denen wir erwarten, dass sie stark von solchen Modellen profitieren, sind Benutzbare Sicherheit und Privatsphäre, Touch-Interaktion, Texteingabe und kontextabhängige adaptive Schnittstellen. 

 

Forschungsfragen

Dieses Projekt kombiniert die Perspektiven der Mensch-Maschine Interaktion mit Benutzermodellierung, um eine Reihe von Forschungsfragen zu beantworten: In welchen Anwendungen und Kontexten können Benutzer von Verhaltensmodellen profitieren? Wie können Modelle die Interaktion verbessern? Bemerken Benutzer solche Anpassungen und entsprechen sie ihren Erwartungen? Welche Funktionen, Modelle und Algorithmen sind geeignet, um Benutzerverhalten zu erfassen und für Anwendungen nutzbar zu machen? Wie können Metriken für Benutzeraktionen mit verhaltensbasierten Schnittstellen entwickelt werden? Welche Interaktionen rufen charakteristisches und konsistentes Verhalten hervor? 

 

Auswirkungen

Dieses Projekt leistet folgende Beiträge: Erstens wird ein ganzheitlicher Gestaltungsraum entwickelt, um das Potential der Benutzermodellierung auch jenseits von Desktop-Umgebungen zu verstehen und zu untersuchen. Daraus ergeben sich zukünftige Möglichkeiten und ein Ziel, dass für dieses Projekt einzigartig ist: Gemeinsamkeiten für verschiedene Anwendungen zu identifizieren, die auf der gleichen Benutzerrepräsentation basieren, um eine effiziente Datenverarbeitung über Anwendungen hinweg zu ermöglichen. Zweitens nutzen wir die anwendungsorientierte Forschung, um Szenarien zu identifizieren, in denen verhaltensbiometrische Daten helfen können, Interaktionen zu optimieren, zu personalisieren und zu schützen. Beispiele sind neuartige benutzbare Sicherheitsmechanismen, effiziente und benutzbare mobile Texteingabe, an Nutzeraktivitäten angepasste Anwendungen und neuartige adaptive mobile Dienste. Damit Anwendungen benutzerspezifische Interaktionseigenschaften und -verhalten berücksichtigen können, werden in diesem Projekt, drittens, Inferenzwerkzeuge entwickelt, die unsichere Sensordaten im Hinblick auf die angestrebten Benutzerkontexte und -ziele verarbeiten können.

Outreach Activities

Ausgewählte Vorträge

  • Behavior and Physiology-Aware User Interfaces for Security, Keynote @ACM Augmented Humans 2023, Glasgow, Scotland, 13. March 2023
  • Where Ubicomp Meets Usable Security - Novel Security User Interfaces based on User Behavior and Physiology
    Invited Talks at the University of Bremen, 15.05.2023
  • Behavioral Security – Challenges and Opportunities of Behavioral Biometrics from an HCI Perspective
    Invited Talk at the Graphics Interfaces 2021 conference, 28.05.2021
  • Authentication Beyond Desktop and Smartphone - How Trends in Ubiquitous Computing will Affect User-Centered Security
    Invited Talk at the Usable Security and Privacy Day (USP’20), TU Berlin / Fraunhofer AISEC, 10.01.2020

Lehre

  • Praktikum “Design Sicherer und Benutzbarer Systeme” (UniBW). FT 2019, FT 2020, FT 2021, FT 2022, FT 2023
  • Praktikum “Usable Security and Privacy” (HAW München), SoSe 2018, SoSe 2019
  • Praktikum “Usable Security and Privacy” (LMU München), SoSe 2020, SoSe 2021, SoSe 2022, SoSe 2023
  • Vorlesungen “Benutzbare Sicherheit” (UniBW), FT 2019, FT 2020, FT 2021, FT 2022, FT 2023
  • Security and Privacy in the Context of Intelligent User Interfaces
    Invited Lecture in the Intelligent User Interface Course, LMU Munich, WT 2020, WT 2022

Abschlussarbeiten

Masterarbeiten (2018 - 2022)

  • Matthias Geiger (2018) – Behavioral Biometrics in VR
    in collaboration with Dr. Ken Pfeuffer (Bundeswehr University Munich)
  • Maria-Lena Bittl (2018) – Investigating User Perceptions of Biometric Wearables
    in collaboration with Prof. Dr. Sven Mayer (LMU Munich)
  • Anna Ovsjannikova (2018) – Analyzing the Influence of GUI Elements and Hand Postures on Touch-
    based Behavioral Biometrics
    in collaboration with Prof. Dr. Daniel Buschek (University of Bayreuth)
  • Jan Kaiser (2019) – Investigating User behavior in Smart Homes
    in collaboration with Dr. Emanuel von Zezschwitz (Google Inc.)
  • Elisaveta Karypidou (2021) – Investigating Human behavior towards Fake News on Social Media

Bachelorarbeiten (2018 - 2022)

  • Matthias Kiermeier (2018) – Explicit behavior Variations for Passwords on Mobile Device
    in collaboration with Daniel Buschek (University of Bayreuth)
  • Robin Reuter (2018) – Mobile Emotion Assessment in Real-Time using Facial Expressions
    in collaboration with Thomas Kosch (Humbolt University of Berlin)
  • Peter Ehrich (2018) – Analysing User behavior in Problem Solving Tasks Using a Smartwatch
    in collaboration with Daniel Buschek (University of Bayreuth) / Ken Pfeuffer (University of Aarhus)
  • Sarah Delgado (2018) – Reauthentication Concepts for Biometric Authentication on Mobile Devices
    in collaboration with Daniel Buschek (University of Bayreuth)
  • Felix Kakuschke (2019) – Leveraging the Role of Gaze During Password Verification
  • Carolin Schuppe (2019) – Comparing Usability of Different Multi-Factor Authentication Models
  • Hatem Abdelmoteleb (2019) – Nudging Mechanisms for Frontal Camera Use on Mobile Devices
    in collaboration with Prof. Dr. Mohamed Khamis (University of Glasgow)
  • Hannah Maier (2020) – Empirical Evaluation of Gaze-enhanced Menus in Virtual Reality
    in collaboration with Prof. Ken Pfeuffer (University of Aarhus)
  • Ryan Steimer (2020) – Phishing Detection Using Eye Gaze and Mouse Movements
  • Mohamed Matnawy (2020) – Exploring the Use of Gaze behavior to Enhance Password Assessments
    in collaboration with the German University in Cairo, Egypt
  • David Weyenschops (2021) – Phishing Email Susceptibility Detection from Eye Gaze and Keystroke Bio-
    metrics
  • Christoph Patezelt (2022) – Investigating Time of Day & Situational Context on Phishing Vulnerability

Beteiligte Personen

Dr. Yomna Abdelrahman

yomna_prtrait.jpg

Wiss. Mitarbeiter(in)

Dr. Mariam Hassib

Mariam_portrait.jpg

Ehemalige(r) Wiss. Mitarbeiter(in)

 

Publikationen

abdrabou2020etra.jpg Yasmeen Abdrabou, Ken Pfeuffer, Mohamed Khamis und Florian Alt. GazeLockPatterns: Comparing Authentication Using Gaze andTouch for Entering Lock Patterns. In Proceedings of the 2020 ACM Symposium on Eye Tracking Research & Applications. ETRA '20. ACM, New York, NY, USA. [Download Bibtex] [Video]  
abdrabou2021chiea.jpg Yasmeen Abdrabou AND Yomna Abdelrahman AND Mohamed Khamis und Florian Alt. Think about it! Investigating the Effect of Password Strength on Cognitive Load during Password Creation. In Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems. CHIEA ’21. ACM, New York, NY, USA. [Download Bibtex] [Video]  
abdrabou2021etra.jpg Yasmeen Abdrabou, Ahmed Shams, Mohamed Omar Mantawy, Anam Ahmad Khan, Mohamed Khamis, Florian Alt und Yomna Abdelrahman. GazeMeter: Exploring the Usage of Gaze Behaviour to enhance Password Assessments. In Proceedings of the 2021 ACM Symposium on Eye Tracking Research & Applications. ETRA '21. ACM, New York, NY, USA. [Download Bibtex] [Video]  
abdrabou2022chi.jpg Yasmeen Abdrabou, Johannes Schütte, Ahmed Shams, Ken Pfeuffer, Daniel Buschek, Mohamed Khamis und Florian Alt. Your Eyes Say You Have Used This Password Before": Identifying Password Reuse from Gaze Behavior and Keystroke Dynamics In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems. CHI ‘22. Association for Computing Machinery, New York, NY, USA. [Download Bibtex]  
abdrabou2023usec.jpg Yasmeen Abdrabou, Elisaveta Karypidou, Florian Alt und Mariam Hassib. Investigating User Behaviour Towards Fake News on Social Media Using Eye Tracking and Mouse Movements. In Proceedings of the Usable Security Mini Conference 2023. USEC'23. Internet Society, San Diego, CA, USA. [Download Bibtex]  
kosch2020avi.jpg Thomas Kosch, Mariam Hassib, Robin Reutter und Florian Alt. Emotions on the Go: Assessing Emotional Probes in Real-Time using Facial Expressions. In Proceedings of the 2020 International Conference on Advanced Visual Interfaces. AVI'20. Association for Computing Machinery, New York, NY, USA. [Download Bibtex]  
prange2020avi.jpg Sarah Prange, Lukas Mecke, Alice Nguyen, Mohamed Khamis und Florian Alt. Don't Use Fingerprint, it's Raining! How People Use and Perceive Context-Aware Selection of Mobile Authentication. In Proceedings of the 2020 International Conference on Advanced Visual Interfaces. AVI'20. Association for Computing Machinery, New York, NY, USA. [Download Bibtex]  
pfeuffer2019chi.jpg Ken Pfeuffer, Matthias Geiger, Sarah Prange, Lukas Mecke, Daniel Buschek und Florian Alt. Behavioural Biometrics in VR - Identifying People from Body Motion and Relations in Virtual Reality. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. CHI '19. ACM, New York, NY, USA. [Download Bibtex]  
buschek2018chi1.jpg Daniel Buschek, Bianka Roppelt und Florian Alt. Extending Keyboard Shortcuts with Arm and Wrist Rotation Gestures. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. CHI '18. ACM, New York, NY, USA. [Download Bibtex] [Video]  
buschek2018chi2.jpg Daniel Buschek, Benjamin Bisinger und Florian Alt. ResearchIME: A Mobile Keyboard Application for Studying Free Typing Behaviour in the Wild. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. CHI '18. ACM, New York, NY, USA. [Download Bibtex]  
mecke2018chiea.jpg Lukas Mecke, Sarah Prange, Daniel Buschek und Florian Alt. A Design Space for Security Indicators for Behavioural Biometrics on Mobile Touchscreen Devices. In Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. CHI EA '18. ACM, New York, NY, USA. [Download Bibtex]  
abdelrahman2019mum.jpg Yomna Abdelrahman, Paweł W. Woźniak, Pascal Knierim, Dominik Weber, Ken Pfeuffer, Niels Henze, Albrecht Schmidt und Florian Alt. Exploring the Domestication of Thermal Imaging. In Proceedings of the 18th International Conference on Mobile and Ubiquitous Multimedia. MUM '19. Association for Computing Machinery, New York, NY, USA. [Download Bibtex]  
buschek2018tochi.jpg Daniel Buschek, Mariam Hassib und Florian Alt. Personal Mobile Messaging in Context: Chat Augmentations for Expressiveness and Awareness. In ACM Trans. Comput.-Hum. Interact., 25, 2018, 23:1–23:33. [Download Bibtex]  
drewes2018mum.jpg Heiko Drewes, Mohamed Khamis und Florian Alt. Smooth Pursuit Target Speeds and Trajectories. In Proceedings of the 17th International Conference on Mobile and Ubiquitous Multimedia. MUM'18. ACM, New York, NY, USA. [Download Bibtex]  
khamis2018avi.jpg Mohamed Khamis, Carl Oechsner, Florian Alt und Andreas Bulling. VRpursuits: Interaction in Virtual Reality Using Smooth Pursuit Eye Movements. In Proceedings of the 2018 International Conference on Advanced Visual Interfaces. AVI '18. ACM, New York, NY, USA. [Download Bibtex]  
khamis2018chi1.jpg Mohamed Khamis, Christian Becker, Andreas Bulling und Florian Alt. Which One is Me?: Identifying Oneself on Public Displays. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. CHI '18. ACM, New York, NY, USA. [Download Bibtex]  
khamis2018chi2.jpg Mohamed Khamis, Anita Baier, Niels Henze, Florian Alt und Andreas Bulling. Understanding Face and Eye Visibility in Front-Facing Cameras of Smartphones Used in the Wild. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. CHI '18. ACM, New York, NY, USA. [Download Bibtex]  
khamis2018dronet.jpg Mohamed Khamis, Anna Kienle, Florian Alt und Andreas Bulling. GazeDrone: Mobile Eye-Based Interaction in Public Space Without Augmenting the User. In 4th ACM Workshop on Micro Aerial Vehicle Networks, Systems, and Applications (DroNet '18). DroNet'18. ACM, New York, NY, USA. [Download Bibtex]  
khamis2018imwut.jpg Mohamed Khamis, Daniel Buschek, Tobias Thieron, Florian Alt und Andreas Bulling. EyePACT: Eye-Based Parallax Correction on Touch-Enabled Interactive Displays. In Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., 1, 2018, 146:1–146:18. [Download Bibtex]  
makela2018chi.jpg Ville Mäkelä, Mohamed Khamis, Lukas Mecke, Jobin James, Markku Turunen und Florian Alt. Pocket Transfers: Interaction Techniques for Transferring Content from Situated Displays to Mobile Devices. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. CHI '18. ACM, New York, NY, USA. [Download Bibtex]  
mattusch2018etra.jpg Thomas Mattusch, Mahsa Mirzamohammad, Mohamed Khamis, Andreas Bulling und Florian Alt. Hidden Pursuits: Evaluating Gaze-selection via Pursuits when the Stimuli's Trajectory is Partially Hidden. In Proceedings of the 2018 ACM Symposium on Eye Tracking Research & Applications. ETRA '18. ACM, New York, NY, USA. [Download Bibtex]  
mecke2018mobilehciadj.jpg Lukas Mecke, Sarah Prange, Daniel Buschek, Mohamed Khamis, Mariam Hassib und Florian Alt. Outsourcing Security: Supporting People to Support Older Adults. In Proceedings of the Mobile HCI '18 Workshop on Mobile Privacy and Security for an Aging Population. [Download Bibtex]  
mecke2018mum.jpg Lukas Mecke, Ken Pfeuffer, Sarah Prange und Florian Alt. Open Sesame!: User Perception of Physical, Biometric, and Behavioural Authentication Concepts to Open Doors. In Proceedings of the 17th International Conference on Mobile and Ubiquitous Multimedia. MUM'18. ACM, New York, NY, USA. [Download Bibtex]  
mecke2019soups.jpg Lukas Mecke, Sarah Delgado Rodriguez, Daniel Buschek, Sarah Prange und Florian Alt. Communicating Device Confidence Level and Upcoming Re-Authentications in Continuous Authentication Systems on Mobile Devices. In Fifteenth Symposium on Usable Privacy and Security (SOUPS 2019). USENIX Association, Santa Clara, CA. [Download Bibtex] [Video]  
mecke2019soups2.jpg Lukas Mecke, Daniel Buschek, Mathias Kiermeier, Sarah Prange und Florian Alt. Exploring Intentional Behaviour Modifications for Password Typing on Mobile Touchscreen Devices. In Fifteenth Symposium on Usable Privacy and Security (SOUPS 2019). USENIX Association, Santa Clara, CA. [Download Bibtex] [Video]  
prange2018mum.jpg Sarah Prange, Daniel Buschek und Florian Alt. An Exploratory Study on Correlations of Hand Size and Mobile Touch Interactions. In Proceedings of the 17th International Conference on Mobile and Ubiquitous Multimedia. MUM'18. ACM, New York, NY, USA. [Download Bibtex]  
trotter2018mumadj.jpg Ludwig Trotter, Sarah Prange, Mohamed Khamis, Nigel Davies und Florian Alt. Design Considerations for Secure and Usable Authentication on Situated Displays. In Proceedings of the 17th International Conference on Mobile and Ubiquitous Multimedia. MUM 2018. ACM, New York, NY, USA. [Download Bibtex]  
weber2018chiea.jpg Dominik Weber, Alexandra Voit, Gisela Kollotzek, Lucas van der Vekens, Marcus Hepting, Florian Alt und Niels Henze. PD Notify: Investigating Personal Content on Public Displays. In Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. CHI EA '18. ACM, New York, NY, USA. [Download Bibtex]