Interaktion mit unbemannten Systemen

Im Rahmen des europäischen Projekts zum »Future Combat Air System« wird das Kampfflugzeug der nächsten Generation (Next-Generation Fighter - NGF) konzipiert und entwickelt. FCAS beinhaltet neben dem Kampfflugzeug auch unbemannte Luftfahrzeuge (UAV), die den Piloten oder die Pilotin als »wingmans« unterstützen, mehr taktische Optionen bieten sowie risikoreiche Missionsaufgaben übernehmen können und so zum Missionserfolg beitragen. Im Rahmen des deutschen FCAS-Projektes unterstützt die Forschungsgruppe »Informationsvisualisierung und Interaktion« die Forschungsaktivitäten von Airbus Defence and Space GmbH zur AR/VR-Informationsdarstellung im kopfgetragenem Anzeigesystem (Helmet-Mounted Display - HMD). Weitere Forschungsaktivitäten befassen sich mit der Definition eines grundlegenden zukünftigen Mensch-Maschine-Interaktionskonzepts für Cockpittechnologien und der Ausarbeitung des virtuellen Assistenten zur Unterstützung des menschlichen Operateurs. Für die stereoskopische Informationsdarstellung wird eine Kontextanalyse durchgeführt und die Expertise der Forschungsgruppe im Bereich Augmented Reality (AR) und Virtual Reality (VR) einfließen, um ein Gestaltungskonzept zu entwerfen. Für die Ausarbeitung des virtuellen Assistenten wird eine funktionale Analyse der relevanten Interaktionsmodalitäten durchgeführt. Teil des Mensch-Maschine-Interaktionskonzepts ist zudem die Identifizierung zukünftiger Technologien und die Entwicklung einer entsprechenden Roadmap.

Drohnen oder Unmanned Aerial Vehicles (UAVs) werden von der Marine, der Luftwaffe und dem Heer der Bundeswehr eingesetzt. Die entsprechenden UAV Control Systems (UCS) reichen von Tablets bis hin zu ganzen Einsatzzentralen und sind oft nur für eine bestimmte Drohne nutzbar. Im Projekt »Virtualisierte Operationszentrale für Unbemannte Systeme« (VOPZ UAS) wird eine Umgebung entworfen, die in der virtuellen Realität (VR) betrachtet werden kann und als Werkzeug für Rapid Prototyping sowie als virtuelle Operationszentrale dient.

Auf diese Weise können virtuelle Bedienelemente schnell an eine bestimmte Drohne angepasst werden. Mittels VR werden zudem 360°-Ansichten möglich, die eine freie und nahtlose Anordnung der Elemente erlauben sowie die stereoskopische Darstellung von 3D-Daten wie Wegpunkte, Luftraumdaten oder Sensordaten. Im Forschungsmittelpunkt stehen Fragen zur Kollaboration sowie die Identifikation, Adaption und Generalisierung typischer UCS-Elemente für eine dreidimensionale Umgebung. Die im Projekt VOPZ UAS gewonnenen Erkenntnisse können den Grundstein für die Gestaltung zukünftiger Drohnen- und Luftsysteme legen.

Zivile Rettungseinsätze oder militärische Operationen in Gebäuden sind für die Einsatzkräfte gefährlich und hoch dynamisch, da Wände die Sicht enorm einschränken. Mikrodrohnen könnten das Risiko verkleinern: Sie begleiten die Einsatzkräfte, erkunden die Lage und identifizieren so bereits frühzeitig Gefahren, die hinter der nächsten Ecke lauern. Allerdings sind aktuell erhältliche Modelle in erster Linie für den Außeneinsatz konzipiert. Die Möglichkeiten, sie in geschlossenen Räumen oder gar Kanälen einzusetzen, sind sehr begrenzt. Damit sie auch dort genutzt werden können, müssen die Bedienung und Darstellung der Informationen möglichst benutzerfreundlich und zuverlässig sein. Die Abteilung »Mensch-Maschine-Systeme« hat untersucht, wie Aufklärungsdaten mit Mikrodrohnen in Innen- und Außenbereichen erfasst und gesammelt werden können. Der Schwerpunkt lag dabei auf der Konzeption und Visualisierung von Benutzungsschnittstellen. Neben einer mobilen Benutzeroberfläche wurde zudem eine Schnittstelle für Augmented Reality (AR) entworfen und umgesetzt. Ein besonderes Augenmerk lag auf der Verwendung von multimodaler und situationsbezogener Kommunikation. Wie AR bestmöglich zur Bereitstellung einer räumlichen Darstellung von Informationen eingesetzt werden kann, wurde ebenso untersucht wie der Einsatz verschiedener Modalitäten (Touch, Gesten und Head-Tracking), um Informationen zu explorieren und die Drohne zu steuern.

In dem Projekt »Automatische Augmented Gefechtsfeldaufklärung« (AutoAuge) untersuchte das Fraunhofer FKIE, inwiefern unbemannte Systeme einen abgesessenen Infanteriezug innerhalb eines Mensch-Mehrroboter-Teams unterstützen können. In diesem Kontext wurde Virtual Reality (VR) zur Lagedarstellung genutzt, mittels derer eine Missionsplanung ermöglicht wird. Durch die Nutzung von VR-Brillen kann der Benutzer das Einsatzgelände direkt erfahren und eine zweckmäßige Verwendung der unbemannten Systeme ausarbeiten. Dabei kann er relevante Punkte im Gelände identifizieren, die automatisch an das Führungssystem übergeben werden. Neben der Interaktionsgestaltung in der virtuellen Realität, lag ein weiterer Aspekt auf der Integration von 3D-Modellen, die von externen Stellen wie dem Zentrum für Geoinformationswesen der Bundeswehr stammen können oder selbst durch die unbemannten Systeme erzeugt werden. Zwei Kernkomponenten des VR-Systems, die während der Forschungsarbeiten näher betrachten wurden, waren die Fortbewegungsmethode und die Systemkontrolle in VR. Die Gesamtapplikation zur VR-Missionsplanung wurde abschließend im Rahmen einer Nutzerstudie evaluiert, welche eine exzellente Gebrauchstauglichkeit (System Usability Scale) sowie User Experience (User Experience Questionnaire) nahelegt.

Das Projekt »Automatische Augmented Gefechtsfeldaufklärung« (AutoAuge) untersuchte, wie Mensch-Mehrroboter-Teams bei der Planung und Durchführung von militärischen Operationen zusammenarbeiten können. Durch die Sensoren der Bodenroboter (Unmanned Ground Vehicles, UGVs) und der fliegenden Systeme (Unmanned Aerial Vehicles, UAVs) können aktuelle Informationen über das Einsatzgebiet gesammelt werden. Die unbemannten Systeme versorgten alle beteiligten Führungssysteme über die Battle Management Language (BML) mit Echtzeitinformationen zur Einsatzlage. Aktuelle Informationen können mittels »künstlicher Intelligenz« (KI) vollautomatisch und in Echtzeit ausgewertet werden und werden über ein vom FKIE konzipiertes Interface zur Verfügung gestellt. In enger Zusammenarbeit mit den Soldaten und Soldatinnen entwickelte die Forschungsgruppe »Informationsvisualisierung und Interaktion« ein mobiles zweidimensionales Interface mit NATO-standardisierter Symbolik. Durch die unbemannten Systeme, KI und die mobile Schnittstelle konnte eine deutliche Ergänzung der Fähigkeiten und eine gleichzeitige spürbare Entlastung der Soldaten und Soldatinnen erzielt werden.