Wo Software den Menschen bei der Arbeit unterstützt, stellt sich immer auch die Frage nach der besten Mensch-Maschine-Schnittstelle. Sprich: Wie und wo lassen sich die für den Menschen notwendigen Informationen darstellen, sodass sie verständlich, einfach auffindbar und praktisch zu nutzen sind? Das gilt auch für das tägliche Arbeiten in der Automatisierungstechnik und speziell in der Prozessindustrie, sei es beim Betrieb der Anlage oder bei Wartungs- und Instandhaltungsarbeiten. Können hier Lösungen aus dem Bereich Mixed Reality die Arbeit erleichtern?

Unter Virtual Reality versteht man das vollständige Simulieren einer virtuellen Realität. Augmented Reality dagegen erweitert die physikalische Realität mit virtuellen Aspekten. Der Begriff Mixed Reality schließlich wird aktuell verwendet, um all jene Medien zu beschreiben, die zwischen den Polen physikalischer und virtueller Umgebung liegen, er dient also als Überbegriff. Das Mixed-Reality-Spektrum wird an seinen Rändern von physikalischer zur einen und digitaler Realität zur anderen Seite hin eingegrenzt.

Anwendungsfälle für Mixed Reality

Ehe man sich damit auseinandersetzt, ob und wie sich Mixed Reality in der Prozessindustrie heute bereits technisch nutzen lässt, stellt sich die Frage nach potentiellen Anwendungsfällen. Gibt es Anwendungen, die von einer derartigen Mensch-Maschine-Schnittstelle jetzt oder in naher Zukunft profitieren können? Die Antwort lautet ja. Ein großes Potential liegt in der Anlagenwartung. In den ausgedehnten Anlagen der Prozessindustrie kann es bei der Wartung bereits schwierig sein, die richtige Komponente ausfindig zu machen. Hier wäre denkbar, dass eine Mixed-Reality-Lösung einen Mitarbeiter quasi durch die Anlage navigiert. Direkt vor Ort könnte sie ihm dann die Informationen der zu wartenden Komponenten anzeigen und Zugriff auf benötigte Dokumentation gewähren. Und bei alldem hat der Techniker beide Hände für seine eigentliche Aufgabe frei.

Aber auch auf der Leitebene findet sich ein sinnvoller Einsatzbereich. Anstatt die Informationen des Prozessleitsystems auf großen Bildschirmen an zentraler Stelle darzustellen, ließen sich diese auf Head-Mounted-Devices (HMD) anzeigen. Dank der damit einhergehenden Mobilität wäre es dann möglich, den äußeren Zustand der Anlage mit den Messwerten einzelner Geräte vor Ort abzugleichen.

Ein weiteres Einsatzgebiet sind repetitive Prozesse, also eintönige, wiederkehrende Tätigkeiten. Auch hier finden sich Einsatzbereiche für Mixed-Reality-Lösungen. Menschen neigen bei solchen Tätigkeiten oft zum Ermüden und machen dann häufiger Fehler. Hier könnten entsprechende Mixed-Reality-Konzepte Mitarbeitern helfen, effizienter zu arbeiten, gleichbleibende Prozesse automatisiert auszuführen und alle Schritte zu dokumentieren. Sicher gibt es neben den genannten Beispielen zahlreiche weitere potenzielle Einsatzfelder für Mixed-Reality-Lösungen, so dass die Frage nach der technischen Machbarkeit durchaus berechtigt ist.

Use Case „Befüllung von Tanklastzügen“

Rösberg Engineering hat sich dieser Herausforderung gestellt und im Rahmen einer Bachelorarbeit den Praxisnutzen einer Mixed-Reality-Lösung anhand eines Versuchsaufbaus, der eine reale Anlagensituation nachstellt, erprobt. Dabei galt es, gleichzeitig den Realisierungsaufwand abzuschätzen und potentielle Schwierigkeiten ausfindig zu machen.

Der für das Forschungsprojekt gewählte Anwendungsfall setzt auf dem Plant Assist Manager (PAM) des Unternehmens auf. Diese Software unterstützt Anwender beim Durchführen und Dokumentieren von Prozessabläufen (Workflows), wie beispielsweise beim Befüllen von Tanklastzügen. Dazu werden die Workflows optimiert, automatisch dokumentiert und dann bislang bspw. auf mobilen Endgeräten angezeigt. Mit Hilfe spezieller Checklisten wird der Anwender durch die Arbeitsprozesse geführt und hat somit alle relevanten Informationen auf einen Blick verfügbar. Für diese Anwendung bietet sich ein HMD als Mensch-Maschine-Schnittstelle perfekt an. Machbarkeit und Nutzen galt es im Rahmen des Projektes zu prüfen mit dem Ziel, den Anwender mit Hilfe der Microsoft HoloLens sicher durch den Befüllprozess zu navigieren.

Die Vorteile dieser Lösung sind offensichtlich: Mitarbeiter müssen nicht immer zwischen der Arbeit selbst und dem Tablet mit den nötigen Instruktionen hin- und herwechseln, sondern haben direkt bei der Arbeit alle Informationen “vor Augen“. Per Gesten- oder Sprachsteuerung können sie erledigte Tätigkeiten einfach quittieren und haben zum Arbeiten beide Hände frei. Zudem ist eine solche Art der Bedienung deutlich intuitiver, wenn die nötigen Arbeitsanweisungen direkt mit dem jeweiligen Anlagenteil bspw. dem zu öffnenden Schieber visuell verknüpft sind.

Herausforderung Tracking

Wesentliche Herausforderungen lagen in der Wahl der geeigneten Trackingmethode, also der Frage, wie sich virtuelle Inhalte in der realen Umgebung verankern lassen. Dies ist essentiell, damit die angezeigten Informationen auch jeweils an der richtigen Stelle eingeblendet werden können. Prinzipiell gibt es dafür folgende Methoden: magnetisches oder Infrarot-Tracking sowie Tracking mit sichtbarem Licht oder mit Hilfe von Trägheit (mit einer Inertial Measurement  Unit, kurz IMU). Beim Tracking mit sichtbarem Licht wird nochmals unterschieden in Tracking anhand natürlicher Merkmale, referenziertes oder modellbasiertes Tracking. Stefan Stegmüller, der die Versuche im Rahmen seiner Bachelor-Arbeit durchgeführt hat, berichtet: „Ich habe im Wesentlichen die Möglichkeiten des Trackings von natürlichen Merkmalen, also markanten Merkmalen natürlicher Bilder sowie Tracking von Referenzmarken, wie z.B. QR-Codes, in Betracht gezogen. Die Wahl fiel schließlich zuerst auf QR-Codes und dann auf Markierungen in Form von Bildern mit Dreiecken zufälliger Größe, Anordnung und Rotation. Diese Variante hat sich als vorteilhaft erwiesen, da sich diese Bilder anhand des verwendeten Algorithmus eindeutig identifizieren lassen. Bei der Nutzung von QR-Codes als Ankerpunkte von virtuellem Inhalt kann es auf Grund ihrer gleichen Grundstruktur während der Auswertung zu Verwechslungen kommen.“

Reibungsloses Zusammenspiel

Eine weitere wesentliche Herausforderung bei der Umsetzung des Systems fand sich beim Zusammenspiel der einzelnen Komponenten wie SPS, Datenbanken, Software und HoloLens: Welche Komponenten sind miteinander kompatibel und wo müssen noch Schnittstellen entwickelt werden? Bis eine endgültige Lösung gefunden war, mussten ursprünglich entwickelte Konzepte des Systems mehrfach überdacht und angepasst werden. Anhand des Forschungsprojekts wurde deutlich, dass der Einsatz einer Mixed-Reality-Lösung in der industriellen Praxis durchaus realisierbar ist. Es gilt natürlich im jeweiligen Fall zwischen Aufwand und Nutzen abzuwägen. Ralph Rölsberg, Geschäftsführer von Rösberg Engineering, resümiert: „Hier wird sich in den kommenden Jahren einiges tun und ich kann mir sehr gut vorstellen, dass sich Mixed-Reality-Brillen wie die HoloLens in absehbarer Zeit Praxisanwendungen in der Prozessindustrie erschließen werden. Der Praxistest zeigt, dass sich diese Mensch-Maschine-Schnittstelle und Tools wie der Plant Assist Manager bestens ergänzen. Wir freuen uns auf erste Anwendungen in der industriellen Praxis.“