Exploration Sandbox für Augmented Reality (ESAR)

Zielsetzung dieser Studie war und ist es ein Explorationstool für Augmented-Reality-Elemente weiterzuentwickeln, mit dem das Potenzial von AR-Systemen für neue Kampfsysteme, wie z. B. das Main Ground Combat System (MGCS), systematisch ausgelotet werden kann. Dazu sollen Anwendungsfälle, Benutzerschnittstellen, Symbologie-Muster, Weiterentwicklung der Explorationsmethodik und Durchführung von Explorationen im Feld als Themenschwerpunkte für ein AR-Gesamtsystem bearbeitet werden.

Darüber hinaus wurden die Ergebnisse als Basis für eine »Cooperative Demonstration of Technology« (CDT) im Rahmen der NATO-Gruppe AVT 334, in der sowohl WTD 91 als auch das FKIE (in der Rolle des Co-Chairs) beteiligt sind, genutzt. Die Demonstrationen fanden am 3. + 4. Mai 2022 in Meppen und am 11. Mai 2023 in Bad Fallingbostel statt.

Da die Kombinationsmöglichkeiten der Gestaltungsdimensionen wie Form, Farbe, Interaktionsmodalität, etc. so vielfältig sind, ist es praktisch unmöglich, alle möglichen Lösungen und Kombinationen vollständig durch Experimente zu validieren. Um funktionierende und praktikable Lösungen mittels AR zu erreichen, bietet sich das Vorgehensparadigma der (Mensch-System-)Exploration an. Solch eine Exploration wurde u. a. im Technologieträger JODAA (Joint Operational Demonstrator for Advanced Applications) durchgeführt werden.

Das Vorgehen orientiert sich an der bereits bewährten Abfolge von Anforderungsanalyse, Technologierecherche, Anpassung der Testplattform, Exploration der Gestaltungsmöglichkeiten, Auswahl, Beschaffung, Installation und Anpassungen der Technologien, sowie der Dokumentation. Dabei wird insbesondere Wert daraufgelegt, von Anfang an einsatzerfahrene Soldaten mit einzubeziehen, im Zusammenspiel mit diesen Nutzern, Bedarfsträger und weiteren Stakeholdern Konzepte explorativ zu gestalten, die vielversprechendsten Varianten in Software und Hardware zu implementieren, sodass sie erfahrbar werden und im JODAA getestet und demonstriert werden können. Eine (Mensch-System-)Exploration ist dabei eine systemische und systematische Erkundung von neuen Soldat-Maschine-Systemen, in Analogie zu Erkundungen und Aufklären im Gefecht und den Exploratory Teams der NATO-STO. Dazu wird gemeinsam mit Partizipanten die Menge möglicher Lösungen systematisch so weit eingegrenzt, dass genauere Untersuchungen ermöglicht werden, ohne für den Nutzer wichtige Aspekte aus dem Blick zu verlieren. 

Nachdem die Möglichkeit geschaffen wurde, AR-Symboliken zu explorieren und zu gestalten, wurde eine Untersuchung für die Übertragung der AR-Technologien und Methoden, die in der NATO-Gruppe AVT-290 und dem Vorgängerprojekten ARiE I & II (Augmented Reality im Einsatz) erarbeitet wurden, in landgestützten Plattformen durchgeführt.

Als Basisfahrzeug wurde hier der F&T Demonstrator GTK BOXER JODAA durch das BAAINBw ausgewählt. Dazu wurde in einem Workshop am FKIE im Auftrage des BAAINBw ein relevantes Szenario mit verschiedenen Anwendungsfällen für AR beschrieben. Darauffolgend wurde die Exploration Sandbox weiterentwickelt und die entsprechenden Schnittstellen mit dem Führungsinformationssystem (englisch Battle Management System, BMS) in Zusammenarbeit mit Rheinmetall Land Systems und Diehl Defence geschaffen (Abbildung 4). Das BMS sorgt für einen Informationsaustausch zwischen verschieden Einheiten der NATO.

Zusammen mit Vertretern der WDT 91, FKIE und des Zentrum Kraftfahrwesen Bundeswehr wurde ein Workshop zum Thema »Blue Team Tracking« durchgeführt. Dabei wurden Kleinlagen (Vignetten), angelehnt an die NATO RTG AVT-290 etablierten Anwendungsfälle, entwickelt. Wobei die Vignetten eine Konvoifahrt mit Kontaktverlust eines Fahrzeuges und anschließender Rettungsmission sowie eine Konvoifahrt zur Zielzone darstellen.

Über mehrere Wochen wurden die durch die Abteilung Systemergonomie des FKIE entwickelten Systeme in das Forschungsfahrzeug JODAA integriert, getestet und die Untersuchung zusammen mit den Projektpartnern vorbereitet. Anschließend wurden die entwickelten Szenare in einer Untersuchung mit Probanden durchgespielt und abgefahren (s. Abbildung 5). An mehreren Stellen im Szenario wurde die Darstellungsform der Augmented Reality Symbole diskutiert und entsprechend der Kommentare der Besatzung mit Hilfe der Exploration Sandbox UI in Echtzeit abgeändert. Die Erfahrungen und Meinungen der Probanden wurden durch Fragebögen im Anschluss abgefragt. In abschließenden Workshops vor Ort wurden die Ergebnisse gesammelt und weitere Anmerkungen der Probanden aufgenommen. Im Nachgang wurden aus den Rückmeldungen der Probanden eine allgemeine Darstellungsform erarbeitet, Erweiterungspotential identifiziert und Optimierungen herausgearbeitet.

In weiteren Schritten wurden die Interaktionsmuster um die Schwerpunkte »Red Teaming« sowie die Gestaltung der AR-Interaktion und des Informations-Managements erweitert. Neben vielen Optimierungen wurden der Exploration Sandbox UI sowie der AR-Anwendung zusätzliche Funktionen hinzugefügt. Dadurch werden Symbolüberlagerungen besser gehandhabt, das Situationsbewusstsein durch Kompassfunktionen unterstützt und eine Interaktion mit den Symbolen ermöglicht. Eine Untersuchung der neuen und optimierten Funktonen fand im Frühjahr 2023 im niedersächsischen Bad Fallingbostel mit Bundeswehrsoldaten verschiedener Einsatztruppen statt. Der aktuelle Stand und die Ergebnisse der Untersuchung, welche unmittelbar durch Mitarbeit in die NATO RTG AVT 334 einfließen, wurden am 11. Mai 2023 im Rahmen eines internationalen Besuchertags Mitgliedern der NATO vorgestellt.

• Wehrtechnische Dienststelle 91 (WTD 91)
• BAAINBW – Bundesamt für Ausrüstung Informationstechnik und Nutzung der Bundeswehr
• NATO
• Rheinmetall Landsysteme GmbH (RLS)