Adaptive Mensch-Maschine-Interaktion

Durch technische Innovationen und zunehmende Automatisierung entstehen komplexe Mensch-Maschine-Systeme, in denen der Mensch und das technische System reibungslos interagieren müssen. Meist wird auf die Fähigkeit der Operateure vertraut, alle nötigen Maßnahmen zu ergreifen, um Leistung und Stabilität des Gesamtsystems zu erhalten.

Kritische kognitive Zustände von Operateuren – z. B. Übermüdung, Überforderung, Ablenkung oder kontraproduktive emotionale Zustände wie Frustration – können die Wirksamkeit und Sicherheit hochkomplexer Mensch-Maschine-Systeme jedoch beeinträchtigen.

Bei adaptiver Mensch-Maschine-Interaktion werden solch kritische Nutzerzustände diagnostiziert und das Verhalten der Technik dynamisch daran angepasst. Die Forschung verfolgt dabei das Ziel, den Operateur situationsangemessen und bedarfsgerecht zu unterstützen, um kritischen Nutzerzuständen entgegenzuwirken und die Leistungsfähigkeit des Operateurs aufrechtzuerhalten.

Die Funktionsweise des adaptiven technischen Systems ist in der Abbildung in vereinfachter Form veranschaulicht. Die Komponente »Informationsverarbeitung« stellt die Basisfunktion traditionell technischer Systeme in der Mensch-Maschine-Interaktion dar. Zusätzlich verfügt das adaptive technische System über die Komponente der »Zustandsregulierung«, welche ein adaptives Verhalten des technischen Systems ermöglichen soll.

Die Komponente der Zustandsregulierung gliedert sich in vier Stufen. Die Stufen Zustandsaufnahme und -bewertung sind Teil der Echtzeitdiagnose RASMUS (Real-time Assessment of Multidimensional User State). Die Stufen Handlungsauswahl und -impuls beziehen sich auf die Auswahl und den Einsatz einer geeigneten Adaptierungsstrategie und sind Teil des Dynamischen Adaptivitätsmanagements ADAM (Advanced Dynamic Adaptation Management).

Echtzeitdiagnose des Nutzerzustands (RASMUS)

Während der Aufgabenbearbeitung bewertet RASMUS die Leistung des Operateurs um zu bestimmen, wann Unterstützung notwendig ist. Detektiert RASMUS einen Leistungseinbruch, diagnostiziert die Nutzerzustandsanalyse mögliche Ursachen. Der Nutzerzustand wird multidimensional auf Basis von sechs Zustandsdimensionen betrachtet, die sich auf die menschliche Leistungsfähigkeit nachweislich positiv oder negativ auswirken können. Zur Diagnose der Nutzerzustände werden physiologische Maße mit Einflussfaktoren auf den Nutzerzustand kombiniert. Hierbei können u.a. Eye Tracking, ein Multisensor-Brustgurt oder ein EEG zum Einsatz kommen.

Dynamisches Adaptierungsmanagement (ADAM)

Das Adaptierungsmanagement nutzt die Informationen der Diagnose für die dynamische Auswahl geeigneter Adaptierungsstrategien. Nach der Zustandsaufnahme und Zustandsbewertung durch RASMUS legt das Adaptierungsmanagement zunächst fest, welches Problem adressiert werden soll. Anschließend erfolgt kontextabhängig die Auswahl einer geeigneten Adaptierung. Die Adaptierung wird situationsangemessen angepasst, ausgelöst und ihre Wirkung auf den Problemzustand schließlich im Rahmen eine Erfolgskontrolle überprüft.

Voraussetzung für die Realisierung adaptiver Mensch-Maschine-Interaktion ist es, den mentalen Zustand des Operateurs  (Nutzerzustand) in Echtzeit zu erfassen. Zur Diagnose kritischer Nutzerzustände setzen die Wissenschaftler des Fraunhofer FKIE eine Kombination aus Leistungs-, Verhaltens- und physiologischen Maßen (z. B. Herzrate, Atemfrequenz, Blickbewegungen, EEG) sowie bekannten individuellen Einflussfaktoren (Erfahrung, Alter, Fähigkeiten und Fertigkeiten) ein. Die Anpassung der Technik an diagnostizierte Problemzustände erfolgt dann über Adaptierungsstrategien, die auf Basis der Diagnoseergebnisse dynamisch und situationsadäquat ausgewählt und konfiguriert werden, um den Operateur zu unterstützen.

Zur Validierung der Konzepte der Echtzeitdiagnose und der dynamischen Adaptierung werden anwendungsnahe experimentelle Untersuchungen durchgeführt. Das Experimentalsystem besteht aus einer Simulationsumgebung für die Aufgabendarstellung, Sensoren zur Erfassung physiologischer Zustände des Nutzers (u.a. Brustgurt, Eyetracker, EEG) und einer Softwareplattform zur Zusammenführung, Synchronisation und Echtzeitauswertung der Daten. Ein Leistungs- und Zustandsmonitor erlaubt die Beobachtung von Leistungseinbrüchen, Nutzerzustandsänderungen und der Ausprägung relevanter Einflussfaktoren während der Aufgabenbearbeitung.

Forschungsaktivitäten
 

• Untersuchung von Verfahren zur Diagnose von Nutzerzuständen, die sich auf die menschliche Leistungsfähigkeit auswirken
• Bewertung kritischer Nutzerzustände und deren Ursachen in Echtzeit durch Kombination verschiedener Maße:
  • individuelle Einflussfaktoren, z.B. Erfahrung, Fähigkeiten
  • äußere Einflussfaktoren, z.B. Anzahl und Art der Aufgaben
  • physiologische Maße, z.B. Pupillenweite, Fixationsdauer, Herzrate, Atemfrequenz
  • verhaltensbasierte Maße, z.B. Körperposition, Frequenz an Mausklicks
• Entwicklung von Adaptierungsstrategien, um kritischen Nutzerzuständen situationsangemessen entgegenzuwirken
• Entwicklung eines dynamischen Adaptierungsmanagements, das geeignete Adaptierungsstrategien auf Basis der Echtzeitdiagnose konfiguriert

Ziel der adaptiven Mensch-Maschine-Interaktion (MMI) ist es, die relevante Umwelt der Maschine, in der sich auch der menschliche Operateur befindet, in den »Handlungen« der Maschine zu berücksichtigen. Der seitens des Fraunhofer FKIE verfolgte Ansatz ist dabei in zweierlei Hinsicht innovativ:

1. Er berücksichtigt – im Gegensatz zu vorherigen Arbeiten – die mehrdimensionale Natur des Nutzerzustands und kann zwischen verschiedenen Dimensionen differenzieren.
2. Über die Analyse von Einflussfaktoren kann auch auf die Ursachen festgestellter Zustandsveränderungen geschlossen werden.

Das technische System erhält somit genaue Informationen über die aktuelle Leistungsfähigkeit des Nutzers und kann kritischen Zuständen nicht nur symptomatisch, sondern auch ursachenbezogen entgegenwirken.

Die Anpassung erfolgt über geeignete Adaptierungsstrategien, die beispielsweise den Automationsgrad oder die Informationsdarstellung verändern. Im Vergleich zu vorherigen Arbeiten werden die einzusetzenden Adaptierungsstrategien in Abhängigkeit von den Diagnoseergebnissen nun während der Aufgabenbearbeitung dynamisch ausgewählt und konfiguriert. Durch dieses dynamische Adaptierungsmanagement wird der Operateur bedarfsgerecht und situationsadäquat unterstützt.

Anwendungsfelder finden sich einerseits im operativen Betrieb sicherheitskritischer Systeme, in dem Leistungseinbrüche und kritische Nutzerzustände zu sicherheitsrelevanten Situationen führen können. Auf Basis der Diagnose von kritischen Nutzerzuständen können technikseitig Maßnahmen ausgelöst werden, um das Mensch-Maschine-Gesamtsystem zu stabilisieren, z. B. durch gezielte Umlenkung der Aufmerksamkeit, Veränderungen in der Informationspräsentation oder Auswahl eines optimalen Automationsgrads.

Des Weiteren sind auch Einsatzzwecke in Training und Ausbildung vorstellbar. So ermöglicht eine Diagnose niedriger Beanspruchung beispielsweise die dynamische Anpassung von Schwierigkeitsgrad oder Ausbildungsinhalten. Durch eine auf diese Weise erreichte Individualisierung des Trainings können Fähigkeitslücken gezielter adressiert und knappe Ressourcen (Ausbilder, Simulatoren) effizienter genutzt werden. Der Einsatz physiologischer Sensoren ermöglicht weiterhin eine Objektivierung bei der Messung des Ausbildungserfolgs. Sollen Stressresistenz oder Bewältigungsstrategien vermittelt werden, kann objektiv erfasst werden, ob das gewünschte Stressniveau erreicht wurde.

Fuchs, S. (2023). Dynamische Adaptierung der Mensch-Maschine-Interaktion auf der Basis mentaler Zustände. (Dissertation, Informatik). Universität der Bundeswehr München. https://d-nb.info/1285402987/34

Fuchs, S., Hochgeschurz, S., Schmitz-Hübsch, A., & Thiele, L. (2020). Adapting Interaction to Address Critical User States of High Workload and Incorrect Attentional Focus – An Evaluation of Five Adaptation Strategies. In: Schmorrow D., Fidopiastis C. (eds.) Augmented Cognition. Human Cognition and Behavior. HCII 2020. Lecture Notes in Computer Science, vol 12197. Springer, Cham. https://doi.org/10.1007/978-3-030-50439-7_23  

Schwarz, J. C. (2019). Multifaktorielle Echtzeitdiagnose des Nutzerzustands in adaptiver Mensch-Maschine-Interaktion (Dissertation, Technische Universität Dortmund). https://doi.org/10.17877/DE290R-20269       

Schwarz, J. and Fuchs, S. (2018). Validating a »Real-Time Assessment of Multidimensional User State« (RASMUS) for Adaptive Human-Computer Interaction, 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Miyazaki, Japan, Oct. 2018, pp. 700-705. 

Fuchs, S. (2018). Session Overview: Adaptation Strategies and Adaptation Management. In D. D. Schmorrow & C. Fidopiastis (Eds.), Augmented Cognition: Intelligent Technologies, LNAI 10915 (pp. 3–8). Cham: Springer. http://doi.org/10.1007/978-3-319-91470-1_1

Fuchs, S. & Schwarz, J. (2017).  Towards a dynamic selection and configuration of adaptation strategies in Augmented Cognition. In D.D. Schmorrow and C.M. Fidopiastis (Eds.): Augmented Cognition 2017, Part II, LNAI 10285. Springer International Publishing AG. DOI: 10.1007/978-3-319-58625-0_7

Schwarz, J. & Fuchs, S. (2017).  Multidimensional real-time assessment of user state and performance to trigger dynamic system adaptation. D.D. Schmorrow and C.M. Fidopiastis (Eds.): Augmented Cognition 2017, Part I, LNAI 10284. DOI: 10.1007/978-3-319-58628-1_30

Schwarz, J., & Fuchs, S. (2017). Test-Retest Stability of EEG and Eye Tracking Metrics as Indicators of Variations in User State—An Analysis at a Group and an Individual Level. In K.S. Hale & K.M. Stanney (Eds.), Advances in Neuroergonomics and Cognitive Engineering (pp. 145-156). Cham: Springer International Publishing.

Fuchs, S., Schwarz, J. & Werger, A. (2016). Adaptive Mensch-Maschine-Interaktion: Ganzheitliche Onlinediagnose und Systemadaptierung (AMIGOS). Abschlussbericht zu Zuwendungsbescheid-Nr.:  E/E4BX/EA192/CF215. Fraunhofer FKIE, Wachtberg, Germany.

Schwarz, J., Fuchs, S. (2015). Efficacy of metrics from a low-cost EEG sensor for multidimensional user state assessment. Proceedings of the 11th Berlin Workshop on Human-Machine Systems, pp 18-19.

Fuchs, S. & Schwarz, J. (2014). Adaptive Mensch-Maschine-Interaktion: System-Theoretische Anforderungen, Datenerfassung und -auswertung. Abschlussbericht zur Studie E/E4BX/DA005/CF215 (Dezember 2014). Wachtberg, Germany: Fraunhofer FKIE.

Schwarz, J., Fuchs, S. (2014). Adaptive Automation als sozialer Akteur: Anforderungen an die Gestaltung aus psychologischer und systemtheoretischer Sicht. In M. Grandt & S. Schmerwitz (Hrsg.), Der Mensch zwischen Automatisierung, Kompetenz und Verantwortung (56. DGLR Fachausschusssitzung Anthropotechnik, Ottobrunn, 14.-15.10.2014, S. 107-123). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

Fuchs, S., Schwarz, J. (2014). Vom passiven Werkzeug zum sozialen Akteur: Ansatz einer ganzheitlicheren Betrachtung adaptiver automatisierter Systeme. In M. Grandt & S. Schmerwitz (Hrsg.), Der Mensch zwischen Automatisierung, Kompetenz und Verantwortung (56. DGLR Fachausschusssitzung Anthropotechnik, Ottobrunn, 14.-15.10.2014, S. 285-288). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

Fuchs, S., Schwarz, J. & Flemisch F. (2014). Two steps back for one step forward: Revisiting Augmented Cognition principles from a perspective of (social) system theory. In D.D. Schmorrow & C.M. Fidopiastis (Eds.) Foundations of Augmented Cognition. Advancing Human Performance and Decision-Making through Adaptive Systems. Lecture Notes in Computer Science Volume 8534, 2014, pp 114-124. Springer International Publishing Switzerland.

Schwarz, J., Fuchs, S. & Flemisch, F. (2014). Towards a more holistic view on user state assessment in adaptive human-computer interaction. Presented at the IEEE International Conference on Systems, Man, and Cybernetics (SMC), San Diego (Oct 5-8).

Schwarz, J. (2013). Benutzerzustandserfassung  zur Regelung Kognitiver Assistenz an Bord von Marineschiffen. In D. Söffker (Hrsg.), 2. Interdisziplinärer Workshop Kognitive Systeme: Mensch, Teams, Systeme und Automaten. Duisburg-Essen: DuEPublico (Online-Publikation).

Fuchs, S. & Schwarz, J. (2012). Anforderungen an ein ergonomisch ganzheitliches Verständnis von Mensch-Maschine-Interaktion. Abschlussbericht zur Studie E/T42X/CA080/5F162 (Dezember 2012). Wachtberg, Germany: Fraunhofer FKIE.