Universelles Objekt­erkennungs­system für Kognitive Roboter

Ziel dieses Projekts war es, ein universelles Objekterkennungssystem für verschiedene Einsatzzwecke, vor allem in unstrukturierten Alltagsumgebungen, zu entwickeln. Wichtige Aspekte waren dabei die flexible Multimodalität sowie das semantische Verstehen. In der Folge ist es damit sowohl möglich, bekannte Objekte zu detektieren, als auch Objektklassen oder noch nie gesehene Gegenstände abstrakt zu erkennen.

Universelles Objekterkennungssystem mittels flexibler Multimudalität und semantischem Verstehen

Der Einsatz von Objekterkennungstechnologien in unstrukturierten Umgebungen ist initial meist sehr aufwendig. Dies liegt oft daran, dass vorhandene Algorithmen nur schwer auf neue Anwendungsfälle übertragbar sind. Ein Grund hierfür sind beispielsweise einzelne Merkmalsbeschreibungen, die nicht allgemeingültig bzw. umfassend anwendbar sind (speziell für schwach- und untexturierte Objekte). Um den Transfer praxiserprobter Objekterkennungsmethoden auf neue Anwendungsfelder zu vereinfachen, sollte in diesem Projekt ein universelles Objekterkennungssystem entwickelt werden.

Durch die flexible Multimodalität (Aspekte wie Form, Farbe, Textur, Aufschriften, Logos etc.) sowie das semantische Verstehen (u.a. Funktionen von Objektteilen, symbolisch verständliche Deskriptoren) sollten die Module für verschiedene Anwendungsfälle generisch verwendbar sein. Dafür werden die Module im Idealfall nur noch mit wenigen Daten angepasst und passend verknüpft.

Projektablauf

Um die Entwicklungen zielgerichtet an konkreten Problemstellungen aus der Praxis zu orientieren, haben Expert*innen des Zentrums für Kognitive Robotik am Fraunhofer IPA im Rahmen des »Early-Adopter-Programms« Firmen aus unterschiedlichen Branchen eingebunden und Anforderungen an das Objekterkennungsframework identifiziert:

• Kaptura bietet Digitalisierungslösungen, die Objekte mit optischen Verfahren vermessen, wiegen, fotografieren und 3D-Modelle erzeugen. Aus den 3D-Modellen sollen semantische Produktinformationen, wie z.B. Nährwerte, extrahiert werden. Hierbei muss semantisches Vorwissen über Nährwerttabellen genutzt werden, um durch multimodale Datenfusion die relevanten Informationen extrahieren zu können.
• PremiumRobotics entwickelt hochinnovative Roboteranlagen, um Stückgut in den Warenlagern von Handelsunternehmen, produzierenden Unternehmen und Logistikdienstleistern zu handhaben. Für das Depalettieren, Umpalettieren oder Kommissionieren müssen tausende unterschiedliche Objekte erkannt und lokalisiert werden.
• Die Krankenhaus-Service GmbH Schwarzwald bietet Dienstleistungen für Kliniken, wie beispielsweise die Zusammenstellung von Speisen für die Patienten auf Tabletts. Für die Automatisierung von Handhabungsschritten am Kommissionierband ist eine robuste Unterscheidung von ähnlichen, aber oft wechselnden Speisen erforderlich.
• Ein kooperierendes Start-up bietet in Form eines smarten Kiosks einen innovativen Catering-Service, der Nutzer unabhängig von Öffnungszeiten von Kantinen mit Essen versorgt. Dabei müssen teils ähnliche Produkte unter ungünstigen Umgebungsbedingungen und Verdeckungen zuverlässig unterschieden werden. Zudem ändert sich das Produktsortiment regelmäßig, z.B. an neuen Standorten oder saisonal. Das erfordert eine schnelle Anpassung der Produkterkennung.

Auf Basis dieser Anforderungen wurde ein erstes Konzept für das Objekterkennungssystem erstellt. Durch die Rückmeldungen der beteiligten Firmen konnte nachfolgend das Konzept kontinuierlich verbessert werden z.B. durch das Design geeigneter Modulschnittstellen. Weil die Anwendungsfälle sehr divers waren, konnten die IPA-Mitarbeitenden die Anforderungen in anwendungsübergreifende und anwendungsspezifische Anforderungen unterscheiden. So konnten sie diejenigen identifizieren, die generischen Mehrwert liefern und höher priorisiert werden sollten.

Im Folgenden wurde die Basistruktur des Perzeptionsframeworks umgesetzt und nach und nach mit Modulen befüllt. Aktuell beinhaltet die Toolbox zwölf Softwaremodule, die unterschiedliche Erkennungsfunktionen bieten.

Weil das Objekterkennungssystem sehr flexibel ist, kann es viele Anwendungsfälle lösen. Bisher wurden damit fünf verschiedene Roboteranwendungen erfolgreich umgesetzt. Der Einsatz dieses Frameworks reduzierte die Zeit für die Implementierung gegenüber herkömmlichen Ansätzen um bis zu 30 Prozent.

Projektnutzen

• Basisbibliothek mit verschiedenen Modalitäten ermöglicht die einfache und schnelle Anpassung an spezifische Anwendungsfälle und Objektmengen
• Verknüpfung von klassischer Bildverarbeitung und Maschinellem Lernen z.B. zur Gewährleistung einer schnellen Erweiterbarkeit
• Gegenüber herkömmlichen Ansätzen robustere Perzeption durch Fusion multimodaler Informationen

Berücksichtige Anwendungen und damit verbundene Anforderungen folgender Firmen

• Kaptura
• PremiumRobotics
• Krankenhaus-Service GmbH Schwarzwald

Leistungsangebot des Fraunhofer IPA

• Machbarkeitsuntersuchung der Objekterkennung
• Systemkonzeption und Auswahl geeigneter Sensoren und Bildverarbeitungsverfahren
• Anpassungen oder Neuentwicklungen existierender Algorithmen für Ihren spezifischen Anwendungsfall
• Integration der Verfahren in bestehende Systeme und Anwendungen
• Lizenzierung relevanter erprobter Perzeptionsmodule aus dem Framework