Die Software kann einzelne Speisenregionen auf dem Teller lokalisieren und die Speisen klassifizieren, die sich in den Regionen befinden. (Bild: Fraunhofer IPA)
Im Projekt "ASARob" sind Softwaretechnologien entstanden, mit denen ein Serviceroboter beispielsweise ein Tablet erkennen und den Nutzer darauf aufmerksam machen kann. (Bild: Fraunhofer IPA/Rainer Bez)
Was für den Menschen selbstverständlich ist, stellt einen Serviceroboter vor Herausforderungen. Erkennen, was ein Mensch tun möchte und welche Hilfe er benötigen könnte, sowie das Anbieten und Ausführen entsprechender Assistenzfunktionen in direkter Interaktion mit dem Nutzer: Um dies leisten zu können, muss ein Serviceroboter ein Verständnis für seine Umgebung entwickeln, beispielsweise Personen und Objekte erkennen, und sich sicher in dieser bewegen sowie geeignete Handgriffe in der Nähe des Menschen ausführen können.
Mit Pflegekräften entwickelt
Diese grundlegenden Fähigkeiten weiterzuentwickeln war das Ziel der Forschungsprojekte ASARob und RoPHa, die das Bundesministerium für Bildung und Forschung (BMBF) durch die Fördermaßnahme „Autonome Roboter für Assistenzfunktionen: Interaktive Grundfertigkeiten (ARA1)“ unterstützte. Im Oktober stellten die Projektpartner, darunter das Fraunhofer IPA, online im Rahmen einer Abschlussveranstaltung der Fördermaßnahme ihre Ergebnisse vor. Die Projekte nutzten den Serviceroboter Care-O-bot 4 des Fraunhofer IPA, der mittlerweile von einem Spin-off des Instituts vertrieben wird, um die entwickelten Technologien in praxisnahen Anwendungsszenarien zu testen. Letztere erarbeiteten die Beteiligten in beiden Projekten in enger Abstimmung mit Experten aus der stationären Pflege und auf Basis umfangreicher Analysen vor Ort. Damit konnte sichergestellt werden, dass die robotische Unterstützung auch einem konkreten Praxisbedarf entsprach.
Neben der Bereitstellung des Roboters war das Fraunhofer IPA in beiden Projekten für verschiedene Softwareentwicklungen zuständig, um Umgebungsinformationen erfassen zu können. Diese sind eine essenzielle Grundlage dafür, dass der Roboter seine Aufgaben autonom ausführen kann. Hinzu kamen die Integration aller nötigen Technologien auf dem Demonstrator sowie die Umsetzung der Anwendungsszenarien.
Zuverlässiger Lotse
Im Projekt „Aufmerksamkeitssensitiver Assistenzroboter“ (ASARob) ging es darum, die Aufmerksamkeitszustände des menschlichen Gegenübers mithilfe von Perzeptionsalgorithmen zu erfassen und auszuwerten. Ziel hiervon war, die Interaktion durch Roboterfunktionen für die Aufmerksamkeitsgenerierung, -lenkung und -wiederherstellung zu verbessern. Hierfür sind im Projekt Softwarelösungen zur Umgebungsund Personen- und Posenerkennung entstanden.
Mit der neuen Software erkennen Serviceroboter auch die Bedeutung ihres Umfeldes, sodass sie eine Szene ganzheitlich verstehen und komplexe Aufgaben lösen können. (Bild: Fraunhofer IPA)
Menschen interpretieren eine Szene anhand von zahlreichen Informationen wie Sprache, Geräuschen, Texten, räumlichen und visuellen Eindrücken und erfassen damit intuitiv, was das Gegenüber tut oder plant. „Unser Beitrag, damit ein Roboter dieses Verständnis erhält, war die Erweiterung unseres Umgebungsmodells um Semantiken. Diese Semantiken ergänzen die Bedeutung der Umgebungsinformation, die zunächst nur als dreidimensionale Punktwolke vorliegt. Die Semantiken identifizieren einzelne Objekte wie beispielsweise Stühle, Tische oder Pflanzen und liefern so mögliche Aufmerksamkeitsziele“, erklärt Florenz Graf, der im Projekt die Arbeiten des Fraunhofer IPA koordinierte. Softwaremodule für die Erkennung und Klassifizierung geometrischer Formen und für die Ableitung entsprechender Raumstrukturen ermöglichen dieses Verständnis.
„Die genannten Technologien ergänzen unsere bereits vorhandenen Algorithmen zur Personen- und Aktivitätenerkennung bestens. Gemeinsam ermöglichen sie einem Roboter, eine Szene ganzheitlich zu verstehen“, so Graf. Praktisch getestet wurden die Technologien in einem Anwendungsszenario, in dem Care-O-bot 4 eine Person durch ein Gebäude sicher und aufmerksam zu ihrem gewünschten Ziel begleitet.
Helfer am Esstisch
Ziel des Projekts „Robuste Perzeption für die interaktive Unterstützung älterer Nutzer im häuslichen Umfeld“ (RoPHa) war die Entwicklung von Perzeptions- und Handhabungsfunktionen. Sie ermöglichen einem Roboter, bei der mundgerechten Bereitstellung von Nahrung zu unterstützen.
Im RoPHa-Projekt entwickelte das IPA seine Bilderkennungssoftware für die Speisen- und Objekterkennung weiter. (Bild: Fraunhofer IPA/Rainer Bez)
Die entwickelten Assistenzfunktionen sollten dabei in unterschiedlichen Anwendungen erprobt werden. Insbesondere sollte der Roboter unterschiedliche Speisen nach Wahl des Nutzers anreichen oder beim Schneiden und Würzen der Speisen unterstützen können. Damit der Roboter derart assistieren kann, hat das Fraunhofer IPA bildverarbeitende Algorithmen für die Segmentierung und Klassifizierung der Speisen auf Basis von Methoden des maschinellen Lernens entwickelt. „Mithilfe dieser kann der Roboter sowohl den Nutzer als auch ausgewählte Speisen auf Tellern erkennen und genau lokalisieren“, erläutert Florian Jordan, der im Projekt die Softwareentwicklungen koordinierte. „So kann der Roboter Essen handhaben und damit bei einer typischen Alltagsaufgabe beispielsweise Menschen mit Querschnittslähmung unterstützen.“
Mit Mitarbeitenden aus der stationären Pflege führten die Projektpartner zwei Testreihen durch. Diese zeigten, dass die Szenarien zuverlässig umsetzbar sind. Die Testpersonen empfanden die Interaktion mit dem Roboter größtenteils als angenehm. Lediglich bezüglich der Ausführungsgeschwindigkeit gab es noch Verbesserungsbedarf. „Ein weiteres Anwendungsfeld der entwickelten Software sehen wir im Einsatz für Großküchen, wo Roboter beispielsweise bei Routineaufgaben unterstützen könnten, oder auch für autonome und somit hygienischere Büffets“, teilt Jordan mit.
Vielfältige Einsatzmöglichkeiten
Die Software kann einzelne Speisenregionen auf dem Teller lokalisieren und die Speisen klassifizieren, die sich in den Regionen befinden. (Bild: Fraunhofer IPA)
Auch abseits der beschriebenen Anwendungsszenarien stehen die in beiden Projekten entwickelten Bildverarbeitungslösungen – insbesondere für die Umgebungsmodellierung sowie für die Speisen-, Personen- und Objekterkennung – für vielfältige Einsatzmöglichkeiten bereit. Die Algorithmen können verschiedene Farb- und 3D-Sensormodalitäten nutzen, sind also nicht auf bestimmte Sensoren beschränkt. Durch die modulare Gestaltung sind sie einfach in neue Anwendungen übertragbar.
