Blicksteuerung mit unbemannten, robotischen Plattformen

Durch die Zunahme von Automatisierung und autonomen Funktionen in technischen Systemen im militärischen Bereich ist abzusehen, dass die Rolle der Soldaten sich von einer (aktiv) steuernden, hin zu einer (teilweise passiv) führenden bzw. überwachenden entwickelt. Bereits bekannten Problemen, dass der Operator dadurch außerhalb des Kontrollregelkreises (out-of-the-loop) gerät, kann mit neueren Konzepten wie der Shared & Cooperative Control entgegengewirkt werden [1]. Hierbei wird der Soldat an richtiger Stelle involviert, um ausreichendes Automationsbewusstsein (Mode Awareness) und Kontrollierbarkeit (Meaningful Human Control) zu gewährleisten. Dies kann auch die Einsatzfähigkeit während der Teleoperation steigern, insbesondere da für diese Form der Kontrolle traditionelle Interaktionsmethoden weniger effizient sind und somit weiterentwickelt werden müssen. Visuelle Interaktion über Blicke spielen beim Menschen sowohl für die Informationsaufnahme als auch für die Kooperation untereinander eine Schlüsselrolle. Dies kann auf die Mensch-Technik-Kooperation und -Interaktion übertragen werden. Hierfür wurde als Interaktionsmethode eine auf Blickpunkterfassung (Eyetracking) basierte Methode exploriert und qualitativ evaluiert. Dabei wurde ein bereits gut erforschtes Interaktionskonzept (die Eingabe über eine Eingabeeinheit) mit einer blickgesteuerten Interaktion (Gaze-Based Control) in Form von Eyetracking kombiniert [2]. Der blickbasierte Anteil orientiert sich an der MAGIC-Methode (Manual and Gaze Input Cascaded pointing). Diese Methode fügt dem reinen Eyetracking eine zusätzliche Interaktionskomponente hinzu, die eine manuelle Verfeinerung bzw. Anpassung des eigentlichen Blickpunktes möglich macht.

Der Nutzer ist in der Rolle eines Operateurs, der über einen Bildschirm, gepaart mit Eyetracking und einem manuellen Eingabegerät (Gamepad), ein automatisiert fahrendes Bodenfahrzeug steuert und überwacht (s. Abbildung 1). Die Aufgabe des Operateurs ist es, von der Software zuvor erkannte Objekte auszuwählen und zu klassifizieren. Hilfestellung geben dabei Einblendungen (Augmented Reality, AR), welche die Realität (zumeist ein Kamerabild) mit zusätzlichen virtuellen Layouts, Informationen oder Hinweisen, z. B. zu Objekten und Gebieten, überlagern (vgl. Abbildung 2). Somit wurde eine Kombination aus Teleoperation (Remote Control), virtuellen visuellen Hinweisen (AR) und Blickpunkterfassung (Eyetracking) vorgenommen.

Zunächst wurde das Metasystem bestehend aus dem Gestaltungsraum (Design Space), dem Nutzungsraum (Use Space) und weiteren Aspekten wie bspw. Stakeholdern modelliert. Dieser Ansatz entspricht der Vorgehensweise einer balanced Human Systems Integration (bHSI) [3]: Brainstorming, Literaturrecherche, Modellierung, Systemexploration, Implementierung und Evaluation. Diese Vorgehensweise lässt sich anschaulich in der Innovationsturbine [4] darstellen (s. Abbildung 3). Der Ansatz bietet den notwendigen Freiraum in der Konzept- und Gestaltungsphase, neue Ideen und Methoden zu entdecken, und eine mögliche kombinatorische Explosion möglicher Designs und Nutzungssituationen systematisch zu erkunden und einzugrenzen.

Das gewählte Interaktionskonzept wird sowohl in einer reinen Simulationsumgebung (s. Abbildung 5, r.) wie auch zukünftig in einer im Rahmen des Projektes entwickelten AR-Anwendung mit Kamerabildübertragung eines ferngesteuerten Unmanned Ground Vehicle (UGV) im Feldeinsatz erprobt (s. Abbildung 4, l.). Das Setup des Bedienerarbeitsplatzes bleibt für beide Erprobungsfälle identisch. Die Konsistenz der Interaktion wird dabei durch Nutzung kompatibler Interaktionsmuster abgesichert [5, 6].

Das Setup besteht aus drei Hauptkomponenten: Benutzer, Hardware-Setup und Simulations- / AR-Software. Das Hardware-Setup setzt sich zusammen aus einem 3-Monitor-System mit einem Sichtfeld von 135°, drei Tobii 5 Eyetrackern und einem Gamepad als zusätzliche Eingabeeinheit (vgl. Abbildung 5, o. r.). Die Systemkomponenten wurden in einer Simulatorkonstruktion zusammengeführt. Auf den drei Bildschirmen wird die Sicht des simulierten bzw. realen Erkundungsfahrzeugs angezeigt. In die Sicht des Operateurs wurden u. a. Symbole nach NATO-APP6 (D) Standard [7] eingeblendet, welche die Objekte markieren. Eine Visualisierung der Blickpunkterfassung in Form eines Cursors und haptische Interaktion mit dem Gamepad, ermöglichen die Interaktion mit den dargestellten Symbolen. Eigenschaften des Eyetracker-Cursors (Größe, Form, Farbe), der AR-Elemente (Skalierung, Textanzeige) und der Übergabeparameter von bzw. zur Automation (Transitionszeit, visuelle und auditive Hinweise) werden über eine separate Benutzeroberfläche durch ein Tablet gesteuert (s. Abbildung 6), aufgezeichnet und in Echtzeit in der Software bzw. Simulation geändert.

Nachdem die Möglichkeit geschaffen wurde, AR-Symboliken zu explorieren und zu gestalten, wurde eine Untersuchung für die Übertragung der AR-Technologien und Methoden, die in der NATO-Gruppe AVT-290 und dem Vorgängerprojekten ARiE I & II (Augmented Reality im Einsatz) erarbeitet wurden, in landgestützten Plattformen durchgeführt.

Als Basisfahrzeug wurde hier der F&T Demonstrator GTK BOXER JODAA durch das BAAINBw ausgewählt. Dazu wurde in einem Workshop am FKIE im Auftrage des BAAINBw ein relevantes Szenario mit verschiedenen Anwendungsfällen für AR beschrieben. Darauffolgend wurde die Exploration Sandbox weiterentwickelt und die entsprechenden Schnittstellen mit dem Führungsinformationssystem (englisch Battle Management System, BMS) in Zusammenarbeit mit Rheinmetall Land Systems und Diehl Defence geschaffen (Abbildung 4). Das BMS sorgt für einen Informationsaustausch zwischen verschieden Einheiten der NATO.

Zusammen mit Vertretern der WDT 91, FKIE und des Zentrum Kraftfahrwesen Bundeswehr wurde ein Workshop zum Thema „Blue Team Tracking“ durchgeführt. Dabei wurden Kleinlagen (Vignetten), angelehnt an die NATO RTG AVT-290 etablierten Anwendungsfälle, entwickelt. Wobei die Vignetten eine Konvoifahrt mit Kontaktverlust eines Fahrzeuges und anschließender Rettungsmission sowie eine Konvoifahrt zur Zielzone darstellen.

Über mehrere Wochen wurden die durch die Abteilung Systemergonomie des FKIE entwickelten Systeme in das Forschungsfahrzeug JODAA integriert, getestet und die Untersuchung zusammen mit den Projektpartnern vorbereitet. Anschließend wurden die entwickelten Szenare in einer Untersuchung mit Probanden durchgespielt und abgefahren (s. Abbildung 5). An mehreren Stellen im Szenario wurde die Darstellungsform der Augmented Reality Symbole diskutiert und entsprechend der Kommentare der Besatzung mit Hilfe der Exploration Sandbox UI in Echtzeit abgeändert. Die Erfahrungen und Meinungen der Probanden wurden durch Fragebögen im Anschluss abgefragt. In abschließenden Workshops vor Ort wurden die Ergebnisse gesammelt und weitere Anmerkungen der Probanden aufgenommen. Im Nachgang wurden aus den Rückmeldungen der Probanden eine allgemeine Darstellungsform erarbeitet, Erweiterungspotential identifiziert und Optimierungen herausgearbeitet.