Agrarrobotik Wie Gewächshausroboter künftig auf Sprachbefehle reagieren sollen

Anbieter zum Thema

University of Bonn

Maxon Motor GmbH

JUNG Hebe- und Transporttechnik GmbH

KISSsoft AG

Im Projekt „AgriLoop“ entwickeln Forschende der Universität Bonn und aus Taiwan ein System, das Gewächshausroboter über natürliche Sprache steuern soll. Fachleute könnten Pflanzenzustände abfragen, Anweisungen geben und Roboterhandlungen korrigieren.

Forschende der Universität Bonn entwickeln gemeinsam mit Partnern aus Taiwan im Projekt „Learning Expert-Guided Crop Intervention through Human-in-the-Loop LLM Robotics“, kurz „AgriLoop“, ein System für die Zusammenarbeit zwischen Fachleuten und Gewächshausrobotern. Mithilfe von Künstlicher Intelligenz, 3D-Sensorik und natürlicher Sprache sollen Roboter künftig Anweisungen wie „Untersuche diese Pflanze genauer“ oder „Entferne dieses Blatt“ verstehen und in sichere Aktionen übersetzen können. Das Vorhaben wird auf deutscher Seite vom Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) mit 463.000 Euro gefördert.

Sprache mit räumlicher Wahrnehmung verbinden

Die moderne Gewächshausproduktion steht vor Herausforderungen wie Fachkräftemangel, zunehmender betrieblicher Komplexität und dem Bedarf an nachhaltigeren Anbaumethoden. Robotische Systeme können bereits heute Pflanzenbestände überwachen und einzelne Eingriffe ausführen. Häufig fehlt ihnen jedoch die Fähigkeit, das Erfahrungswissen von Pflanzenfachleuten aufzunehmen und in konkrete Handlungen zu übersetzen.

Hier setzt „AgriLoop“ an. Das Projekt verbindet Sprachmodelle, Bild-Sprach-Modelle und Vision-Language-Action-Modelle mit physisch eingebetteter Robotik und der dreidimensionalen Wahrnehmung von Pflanzenbeständen. Fachleute sollen über eine Bedienoberfläche in natürlicher Sprache Fragen zum Zustand der Pflanzen stellen, Anweisungen geben und das Verhalten der Roboter gezielt beeinflussen können.

Dazu erfasst der Roboter seine Umgebung mit Kameras und weiteren Sensoren. Aus den Daten entsteht ein räumliches Modell des Gewächshauses, in dem einzelne Pflanzen und Pflanzenteile lokalisiert werden. Die KI verknüpft dieses Modell mit der sprachlichen Anweisung und leitet daraus eine ausführbare Roboterbewegung ab.

Der Mensch bleibt Teil des Systems

Ein Beispiel ist die Anweisung „Entferne dieses Blatt“. Für einen Menschen ist aus dem Zusammenhang meist klar, welche Pflanze und welches Blatt gemeint sind und wie der Eingriff erfolgen muss, ohne die Pflanze zu beschädigen. Ein Roboter muss dagegen zunächst die Sprache interpretieren, das richtige Objekt identifizieren, dessen Position bestimmen und eine geeignete Bewegung planen.

Bisher werden diese Fähigkeiten häufig getrennt voneinander entwickelt. „Menschen verbinden Sprache ganz selbstverständlich mit ihrer Umgebung und mit Erfahrungswissen“, erklärt Prof. Dr. Maren Bennewitz von der Universität Bonn. „Für einen Roboter ist das deutlich schwieriger. Er muss die Sprache interpretieren, das richtige Objekt in seiner Umgebung identifizieren, dessen Position räumlich erfassen und daraus eine passende Bewegung ableiten.“

„AgriLoop“ verfolgt deshalb einen Human-in-the-Loop-Ansatz. Fachleute geben Hinweise, korrigieren die Roboter und bewerten deren Entscheidungen. Das System soll dieses Feedback nutzen, um seine Handlungen besser an die jeweilige Situation anzupassen. Ziel ist nicht, menschliches Fachwissen zu ersetzen, sondern es für robotische Systeme nutzbar zu machen.

Deutsch-taiwanesische Zusammenarbeit

Die deutsche Seite bringt Roboterplattformen, Verfahren zur dreidimensionalen Wahrnehmung und Rekonstruktion, reale Gewächshausumgebungen sowie pflanzenbauliche Expertise in das Projekt ein. Die taiwanesischen Partner entwickeln unter anderem Komponenten für multimodale Sprachverarbeitung, Dialogsysteme, die Zuordnung von Anweisungen zu konkreten Objekten und Handlungen sowie das Lernen aus dem Feedback der Fachleute.

In Bonn arbeiten Bennewitz und ihr Doktorand Rohit Menon an dem Projekt. Eine weitere Doktorandenstelle wird ebenfalls aus dem Vorhaben finanziert. „AgriLoop“ ist ein Partnerprojekt des Exzellenzclusters PhenoRob und im Transdisziplinären Forschungsbereich Sustainable Futures der Universität Bonn angesiedelt.

Ein Ziel des Projekts sind besonders effiziente KI-Modelle, die direkt auf Roboterplattformen eingesetzt werden können. Dadurch sollen die Systeme nicht für jede Anfrage auf große Rechenzentren zurückgreifen müssen. Die im Projekt gesammelten Daten aus der Kommunikation zwischen Menschen und Robotern sollen außerdem dazu beitragen, Agrarrobotiksysteme weiterzuentwickeln.

Demonstrator soll den Ansatz zeigen

Am Ende des Projekts soll ein Demonstrator zeigen, wie ein Gewächshausroboter sprachliche Anweisungen verarbeitet und in konkrete Bewegungen übersetzt. Dabei geht es zunächst darum, die einzelnen technischen Komponenten zu einem durchgängigen System zu verbinden und unter realen Bedingungen zu erproben.

Langfristig könnten solche Systeme Fachkräfte bei zeitaufwendigen oder wiederkehrenden Aufgaben unterstützen, etwa bei der Kontrolle von Pflanzen oder bei gezielten Pflegemaßnahmen. Präzisere Eingriffe könnten außerdem dazu beitragen, Wasser, Pflanzenschutzmittel und weitere Ressourcen gezielter einzusetzen. Bis zu einem praktischen Einsatz sind jedoch weitere Untersuchungen erforderlich.

Vier Fragen an Maren Bennewitz

Warum verstehen Roboter solche Anweisungen bislang nicht?

Menschen verbinden Sprache ganz selbstverständlich mit ihrer Umgebung und mit Erfahrungswissen. Wenn eine Fachkraft sagt: „Entferne dieses Blatt“, erkennt sie, welche Pflanze und welches Blatt gemeint sind, und weiß außerdem, wie sie dabei vorgehen muss, ohne die Pflanze zu beschädigen. Für einen Roboter ist das deutlich schwieriger. Er muss die Sprache interpretieren, das richtige Objekt in seiner Umgebung identifizieren, dessen Position räumlich erfassen und daraus eine passende Bewegung ableiten. Bisher arbeiten multimodale KI-Modelle, räumliche 3D-Wahrnehmung und die physische Robotersteuerung meist isoliert voneinander. „AgriLoop“ soll diese Fähigkeiten zu einem durchgängigen System verbinden.

Wie soll „AgriLoop“ das Problem lösen?

Der Roboter erfasst seine Umgebung mit Kameras und Sensoren und erstellt daraus ein räumliches Modell der Pflanzen im Gewächshaus. Gleichzeitig verarbeitet das System die sprachlichen Anweisungen der Fachleute über eine Bedienoberfläche.

Sprachmodelle und Vision-Language-Modelle führen diese Informationen zusammen. Sie gleichen ab, was gesagt wurde und auf welches konkrete Detail im 3D-Modell sich die Anweisung bezieht. Aus dieser Verknüpfung soll eine konkrete und sichere Roboterhandlung entstehen. Aus dem Satz „Untersuche diese Pflanze genauer“ könnte so eine gezielte Bewegung des Roboters zu einer bestimmten Pflanze werden.

Warum braucht es den Menschen weiterhin?

Gerade bei der Arbeit mit Pflanzen lässt sich nicht jede Entscheidung im Voraus programmieren. Fachleute verfügen über Erfahrungswissen, das von der jeweiligen Situation abhängt. Sie beurteilen beispielsweise, wie gesund eine Pflanze wirkt, welches Blatt entfernt werden sollte oder wo besondere Vorsicht erforderlich ist.

Der Mensch gibt deshalb Hinweise, korrigiert den Roboter und bewertet seine Entscheidungen. Das System soll dieses Feedback nutzen, um seine Handlungen besser an die Anforderungen im Gewächshaus anzupassen. Ziel ist es, menschliches Fachwissen für die Robotik nutzbar zu machen, nicht die Fachleute zu ersetzen.

Was könnte das konkret verändern?

Langfristig könnten solche Systeme Fachkräfte bei zeitaufwendigen und wiederkehrenden Aufgaben unterstützen, etwa bei der Kontrolle von Pflanzenbeständen oder bei gezielten Pflegemaßnahmen. Das wäre besonders dort relevant, wo Arbeitskräfte fehlen oder große Bestände regelmäßig überprüft werden müssen.

Präzisere Eingriffe könnten dazu beitragen, den Einsatz von Ressourcen in Gewächshäusern gezielter zu planen. „AgriLoop“ entwickelt zunächst die technischen Grundlagen und soll mit einem Demonstrator zeigen, dass die Zusammenarbeit zwischen Menschen und Robotern auf dieser Basis grundsätzlich möglich ist.