direkt zum Inhalt springen

direkt zum Hauptnavigationsmenü

Sie sind hier

TU Berlin

Inhalt des Dokuments

Natürlich-räumliche Industrieroboterprogrammierung auf Basis von markerloser Gestenerkennung und mobiler Augmented Reality

Im Rahmen der Projektdurchführung zur Räumlichen Industrieroboterprogrammierung entstand ein komplexes Programmiersystem, in dessen Fokus eine Nutzung von markerloser Gestenerkennung und mobiler Augmented Reality steht. Während der Projektdurchführung erfolgten zahlreiche wissenschaftliche und populärwissenschaftliche Publikation. Die Darstellung des Grundlegenden Interaktionskonzeptes kann den Veröffentlichungen [La01,La02] entnommen werden. Zudem erfolgt eine detaillierte Darstellung in Form der Dissertation „Natürlich-räumliche Industrieroboterprogrammierung auf Basis von markerloser Gestenerkennung und mobiler Augmented Reality“. Im Folgenden werden die wichtigsten Projektergebnisse kompakt zusammengefasst.

Gestenbasierte Definition von Bewegungsparametern

Die Gestaltung der Interaktion im räumlichen Programmiersystem sieht die Definition von Posen, Bewegungsbahnen sowie Aufgaben des Roboters über markerlose Gesten durch Vormachen nach dem Paradigma „Progranning by Demonstration“ vor. Der Anwender wird dabei in die Lage versetzt, auch komplexe Trajektorien ohne Hilfsmittel, bildlich gesprochen, in die Luft zu zeichnen (s. Bild 1 und 2). Zu diesem Zweck wurden zunächst verschiedene Interkations- Und Sensorkonzepte, u. a. unter Nutzung von 3D-Motion-Tracking und 2D-Fingergestenerkennung, umgesetzt und evaluiert [La03,La04]. Ergänzend zur klassischen bewegungsorientierten Erstellung und Darstellung der Roboterprogramme bietet eine aufgabenorientierte Programmierebene die Möglichkeit, Roboterprogramme in einem höheren Abstraktionsgrad durch Vormachen oder Instruktion zu erstellen.

Bild 1 Gestenbasierte Definition einzelner PTP-Bewegungen (links oben), Simulation des Roboterprogramms (links unten) sowie Definition und Simulation einer Spline-Bewegung (rechts)
Lupe
Bild 2 Sequenz zur Definition von Posen über eine Fingergestenerkennung: (1) Positionierung der Hand im Arbeitsraum des Roboters, (2) Definition der Position, (3) Feedback zur potentiellen Arbeitsrichtung des TCP, (4) Definition der Arbeitsrichtung des TC
Lupe

Ergebnisse:

  • Hand-Tracking und Fingergestenerkennung auf Smartphones und Tablet-PCs
  • 3D-Motion-Tracking über verschiedene Sensorkonzepte
  • Aufnahme und Rekonstruktion komplexer Bewegungsbahnen des Anwender
  • Betrachtung verschiedener Abstraktionsebenen der Programmierung und Bereitstellung angepasster Interaktionsmethoden

App – Mobile Programmierumgebung und Augmented Reality Simulation

Neben der gestenbasierten Eingabe von Bewegungsparametern wird anhand einer mobilen Augmented-Reality-Anwendung auf herkömmlichen Smartphones und Tablet-PCs die Visualisierung des Roboterprogramms in realer Umgebung ermöglicht. Somit lassen sich angelegte Posen, Trajektorien und Aufgaben im Anschluss an die Definition an Ort und Stelle verifizieren und evaluieren. Hierzu dient zusätzlich eine Simulation des Roboterprogramms in der AR durch einen virtuellen Roboter, welcher im Bild des Mobilgeräts über den realen Roboter gelegt wird.

Bild 3 Programmdialog: zur Augmented-Reality-Simulation und Programmverwaltung
Lupe

Die Mobilgeräte in Form von Smartphones und Tablet-PCs bilden weiterführend das zentrale Medium der Programmierung. Die zugehörige App wurde für das Android-Betriebssystem umgesetzt und umfasst sowohl eine Programmierumgebung zur Programmverwaltung (s. Bild 3) als auch die AR-Anwendung und eine Fingergestenerkennung auf Basis des Bildes der Frontkamera [La05]. Die drahtlose Übertragung und Ausführung der Roboterprogramme auf reale Robotersteuerungen wird über eine vereinheitlichte Schnittstellendefinition ermöglicht [La06] (s. Bild 4). Die entwickelte vereinheitlichte Roboterschnittstelle stellt die Übertragbarkeit des Programmiersystems auf Robotersysteme beliebiger Hersteller her. Somit ist eine breite industrielle Anwendbarkeit des Programmiersystems gegeben. Des Weiteren wurde eine drahtlose Schnittstelle zum Austausch von Informationen zur Digitalen Fabrik entwickelt und in die App implementiert. Diese Schnittstelle bildet ermöglicht einen Austausch von Roboterprogemmen mit der Arbeitsplanung und -vorbereitung und ist weiterführend die Grundlage für die Entwicklung von kooperativen oder räumlich verteilten Programmieransätzen. Des Weiteren wurden Methoden zur automatischen Kalibrierung von Motion-Tracking-System, Industrieroboter und Augmented Reality entwickelt sowie in das App implementiert.

Bild 4 Bewegungssequenz zur Übertragung und Ausführung eines in der AR visualisierten Roboterprogramms auf die reale Robotersteuerung: PTP-Bewegung (gelb), Linearbewegung (orange) und Zirkularbewegung (lila).
Lupe

Zur räumlichen Manipulation des Roboterprogramms wird ein kombinatorischer Ansatz unter synergetischer Verwendung von Gesten und AR verfolgt. Dieser umfasst die gestenbasierte räumliche Manipulation der virtuell im Kamerabild dargestellten Objekte, welche Bewegungsparameter des Roboterprogramms repräsentieren. Demnach lassen sich Posen, Trajektorien und aufgabenspezifische Objekte frei im Raum durch gestenbasierte Interaktion des Nutzers verschieben und verdrehen (s. Bild 5). Das Roboterprogramm wird entsprechend der Interaktion angepasst. Eine derartige Programmierung auf verschiedenen Abstraktionsebenen ermöglicht eine anschauliche und effiziente Erstellung von Roboterprogrammen sowohl für fachfremde Anwender als auch für erfahrene Roboterprogrammierer [La07].

Bild 5 Räumliche Translation einer Pose über eine Greifgeste und visuelles Feedback: Näherung an Zielpose (links oben), Hand innerhalb des Interaktionsradius (links unten), Start der Translationsbewegung (Mitte oben), Translation der Pose (Mitte unten) so
Lupe

Ergebnisse der App:

Allgemein

  • Android-Umsetzung
  • Mobile Augmented-Reality-Simulation
  • Interaktive Anpassung der Roboterprogramme durch räumliche Interaktion
  • Roboter-Programmverwaltung
  • Integration der Fingergestenerkennung in die App

Schnittstellen der App

  • Einfache Integration verschiedener Robotermodelle in gängigen CAD-Formaten
  • Übertragung der Roboterprogramme auf beliebige Industrierobotersteuerungen durch vereinheitlichte Schnittstelle
  • Programmaustausch mit der Digitalen Fabrik (bspw. Arbeitsplanung, Arbeitsvorbereitung) am Beispiel von Siemens Tecnomatix

Automatische Kalibrierung

  • Entwicklung von Methoden zur automatischen Kalibrierung von Motion-Tracking-System, Industrieroboter und Augmented Reality
  • Dauer der Inbetriebnahme des Programmiersystems 5-20 min
  • Effiziente Übertragbarkeit und flexible Anwendung

Evaluation

Eine Evaluierung des entwickelten Programmiersystems in Form einer umfangreichen Nutzerstudien [La08] konnte im Vergleich zu den Standardverfahren des Teach-In und der CAD-gestützten Offline-Programmierung eine signifikante Verringerung der Programmierzeit (s. Bild 6) sowie eine Reduzierung von Programmierfehlern festgestellt werden. Des Weiteren bevorzugten mehr als die Hälfte der Versuchspersonen die Räumliche Programmierung im Vergleich zu den Standardverfahren.

Bild 6 Boxplot der Ergebnisse für die Programmierdauer in den Programmierszenarien „Labyrinth“ und „Pick&Place“.
Lupe

Projektvideos

Videos zum Projekt können im YouTube-Kanal des Fachgebiets gefunden werden.

https://www.youtube.com/user/FgIAut

Verzeichnis ausgewählter Quellen:

[La01] Lambrecht, J. and Krüger, J. (2014). Spatial Programming for Industrial Robots: Efficient, Effective and User-Optimised through Natural Communication and Augmented Reality. WGP Congress 2014: Progress in Production Engineering: Selected, peer reviewed papers from the 2014 WGP Congress, September 09-10, 2014, Erlangen, Germany (Advanced Materials Research).

[La02] Lambrecht, J. and Krüger, J. (2012). Spatial Programming for Industrial Robots based on Gestures and Augmented Reality. IEEE/RSJ International Confer-ence on Intelligent Robots and Systems, 466-472.

[La03] Lambrecht, J., Kleinsorge, M. and Krüger, J. (2011). Markerless Gesture-Based Motion Control and Programming of Industrial Robots. Emerging Technologies & Factory Automation (ETFA), 2011 IEEE 16th Conference on, 1-4.

[La04] Lambrecht, J. and Krüger, J. (2011). 3D-Motion-Tracking in multimodalen Steuerungs- und Programmiersystemen im Bereich der industriellen Robotertechnik. 3D-NordOst 2011 - Tagungsband 14. Anwendungsbezogener Workshop zur Erfassung, Modellierung, Verarbeitung und Auswertung von 3D-Daten. Gesellschaft zur Förderung angewandter Informatik.

[La05] Lambrecht, J., Walzel, H. and Krüger, J. (2013). Robust Finger Gesture Recognition on Handheld Devices for Spatial Programming of Industrial Robots. 2013 IEEE RO-MAN: The 22nd IEEE International Symposium on Robot and Human Interactive Communication, pp.99-106.

[La06] Lambrecht, J., Chemnitz, M. and Krüger, J. (2011). Control layer for multi-vendor industrial robot interaction providing integration of supervisory process con-trol and multifunctional control units. Technologies for Practical Robot Applications (TePRA), 2011 IEEE Conference on, 115 - 120.

[La07] Lambrecht, J., Kleinsorge, M., Rosenstrauch, M. and Krüger, J. (2013). Spatial Programming for Industrial Robots Through Task Demonstration. InTech - International Journal of Advanced Robotic Systems, 1-10.

[La08] Lambrecht, J. and Krüger, J. (2014). Evaluation einer natürlich-räumlichen Benutzerschnittstelle auf Basis von Gesten und Augmented Reality zur Programmierung von Industrierobotern. Effiziente Produktion. VDI Verlag, 11-20.

Zusatzinformationen / Extras

Direktzugang

Schnellnavigation zur Seite über Nummerneingabe