copyrightGriepentrog, Hans W.Lüling, Nils2025-04-082025-04-082024https://hohpublica.uni-hohenheim.de/handle/123456789/17420https://doi.org/10.60848/12362Labour shortages, price pressure and changes in legislation are just a few of the drivers of automation and digitalization in field vegetable cultivation. Due to its high-value crops and its high demands on crop maintenance, field vegetable cultivation is the ideal working area for agricultural robotics. However, the versatile and rapid establishment of agricultural robotics systems has so far failed due to the limited adaptivity to the complex working environment under outdoor conditions, the process chain and the applications that an agricultural robot has to carry out in a field. Only through the developing possibilities of using cameras and artificial intelligence can complex automated applications be implemented. The overall aim of this cumulative dissertation was the development and analysis of systems for AI-based crop establishment and crop maintenance of white cabbage with a robotic platform. Three aspects were analysed: (1) Design, prototyping and evaluation of a planting unit for an autonomous planting process of cabbage with a robotic platform. By using AI-based image classification, a camera at the end of the planting unit was used to evaluate the planting quality and dynamically adjust individual planting parameters. (2) Development of a camera-based vegetation monitoring system for determining the fruit volume and leaf area of white cabbage across several growth stages. (3) Analysis of a method for unsupervised image translation for automated exposure adjustment. By reducing the exposure variation, a lower implementation effort and a higher robustness of the detection and segmentation of white cabbage are aimed for. As part of the autonomous crop establishment, a planting unit was developed and constructed that can carry out an automated crop stand establishment process using a robot platform. The analysis of the quality of the planting process showed a comparable planting performance and planting accuracy to conventional systems of automated field vegetable planting. During the development of the planting unit, the focus was placed on an adaptive design of the unit so that machine parameters can be dynamically adjusted during the planting process. It was possible to reduce the energy requirement of the overall system by dynamically opening and closing the planting furrow during the planting process in order to minimize the draft force. It also creates the basis for an autonomous planting process. Using an attached camera and an AI for image classification, the planting quality can also be recorded and planting parameters such as the planting depth and furrow width can then be adjusted in order to influence the plant placement. At the same time, the AI-based image classification can also be used to control the planting process itself. If the planting tape tears or the separation is blocked, no seedlings are planted. The AI recognizes this and can instruct the robot to suspend the planting process. For automated crop monitoring, the camera, in cooperation with a neural network for instance segmentation, offers the possibility of a contact-free and high-resolution recording of plant parameters. Using instance segmentation of the cabbage head, the cabbage plant and the individual cabbage leaves, as well as a depth image generation using structure-from-motion, it was possible to determine plant parameters such as the absolute leaf area, the number of leaves or the fruit volume of the cabbage head across several growth stages. This offers farmers new opportunities in crop management, which can be tailored even more specifically to individual plants using the information collected. As many possibilities as the use of cameras in combination with neural network-based image analysis offers, there are still some challenges. One of the fundamental challenges lies in the provision and annotation of image data to ensure robust image analysis. The more complex the use case, the more varying images the data set must contain in order to provide the neural network with a basis of information with which it can learn the necessary features. To reduce the complexity of the use case of detecting and segmenting cabbage plants, an AI-based image translation was used to standardize the exposure variations. No annotation is required to train the AI-based image translation, which is trained unsupervised. By standardizing the exposure, the complexity of the images can be reduced, which means that fewer images need to be annotated for a robust use of instance segmentation. This method was also tested for varying growth stages and varieties.Arbeitskräftemangel, Preisdruck und sich verändernde Gesetzgebungen sind nur ein paar der Treiber der Automatisierung und Digitalisierung im Feldgemüsebau. Durch seine High-Value Crops und seine hohen Anforderungen an die Bestandesführung ist der Feldgemüsebau der ideale Arbeitsbereich für die Agrarrobotik. Eine breite und schnelle Etablierung von Agrarrobotiksystemen scheiterte aber bisher an der Komplexität der Umgebung, der Prozesskette und der Anwendungen die ein Agrarroboter auf einem Feld auszuführen hat. Erst durch die sich entwickelnden Möglichkeiten im Einsatz von Kameras und Künstlicher Intelligenz können komplexe automatisierte landwirtschaftliche Anwendungen umgesetzt werden. Übergeordnetes Ziel dieser kumulativen Dissertation war die Entwicklung und Analyse von Systemen zur KI-basierten Bestandesetablierung und Bestandesführung von Weißkohl mittels einer Roboterplattform. Hierfür wurden drei Aspekte analysiert: (1) Entwicklung, Konstruktion und Evaluierung eines Pflanzaggregats zur autonomen Auspflanzung von Weißkohl mittels einer Roboterplattform. Mithilfe einer KI-basierten Bildklassifizierung wurde eine Kamera am Ende der Pflanzeinheit eingesetzt, um die Pflanzqualität zu bewerten und einzelne Maschinenparameter dynamisch anzupassen. (2) Entwicklung eines kamera-basierten Vegetationsmonitorings zur Wachstumsstadien übergreifenden Bestimmung des Fruchtvolumens und der Blattfläche von Weißkohl. (3) Analyse eines Verfahrens zur unüberwachten Bildübersetzung zur automatisierten Belichtungsanpassung. Durch Reduktion der Belichtungsvariation wird ein geringerer Implementierungsaufwand und eine höhere Robustheit der kamerabasierten Detektion und Segmentierung von Weißkohl angestrebt. Im Rahmen der autonomen Bestandesetablierung wurde ein Pflanzaggregat entwickelt und konstruiert, das mittels einer Roboterplattform einen automatisierten Bestandesetablierungsprozess durchführen kann. Die Analyse des Pflanzprozesses zeigt eine vergleichbare Pflanzleistung sowie Pflanzgenauigkeit zu konventionellen Systemen der automatisierten Feldgemüseauspflanzung. Während der Entwicklung des Pflanzaggregats wurde der Schwerpunkt auf eine adaptive Bauweise des Aggregats gelegt, damit während des Pflanzprozesses Maschinenparameter dynamisch angepasst werden können. Dadurch wurde die Möglichkeit geschaffen, durch ein dynamisches Öffnen und Schließen der Pflanzfurche während des Pflanzprozesses den Energiebedarf des Gesamtsystems zu reduzieren. Des Weiteren stellt die adaptive Bauweise die Grundlage für einen autonomen Pflanzprozess dar. Mittels einer angebrachten Kamera sowie einer KI zur Bildklassifizierung kann die Pflanzqualität erfasst und daraufhin Pflanzparameter wie die Pflanztiefe und die Furchenbreite angepasst werden, um Einfluss auf die Pflanzablage zu nehmen. Gleichzeitig kann über die KI basierte Bildklassifizierung auch der Pflanzprozess an sich kontrolliert werden. Reist das Pflanzband oder verstopft die Vereinzelung, werden keine Setzlinge ausgepflanzt. Dies erkennt die KI und kann den Roboter veranlassen den Pflanzprozess zu unterbrechen. Für die automatisierte Bestandesführung bietet die Kamera in Zusammenarbeit mit einem neuronalen Netz zur Instanz-Segmentierung die Möglichkeit zur kontaktfreien und hochauflösenden Erfassung von Pflanzenparametern. Hierbei konnten über eine Instanz-Segmentierung des Kohlkopfes, der Kohlpflanze und der einzelnen Kohlblätter, sowie einer Tiefenbildgenerierung mittels Structure-from-Motion, Pflanzenparameter wie die absolute Blattfläche, die Blattanzahl oder das Fruchtvolumen des Kohlkopfes über mehrere Wachstumsstadien hinweg bestimmt werden. Dadurch bieten sich dem Landwirt neue Möglichkeiten in der Bestandesführung, die durch die erfassten Informationen noch pflanzenspezifischer ausgerichtet werden kann. So viele Möglichkeiten der Einsatz von Kameras in Kombination mit neuronaler Netz basierter Bildanalyse auch liefert, so bestehen dabei doch einige Herausforderungen. Eine der grundlegenden Herausforderungen liegt in der Bereitstellung und Annotierung von Bilddaten um eine robuste Bildanalyse zu gewährleisten. Je komplexer der Anwendungsfall, desto mehr variierende Bilder muss der Datensatz enthalten, um dem neuronalen Netz eine Informationsgrundlage zu schaffen, mit der es die notwendigen Merkmale erlernen kann. Um die Komplexität des Anwendungsfalles der Detektion und Segmentierung von Kohlpflanzen zu reduzieren, wurde eine KI-basierte Bildübersetzung genutzt, die Belichtungsvariationen vereinheitlicht. Für das Training der KI-basierten Bildübersetzung ist keine Annotation notwendig, diese wird unüberwacht trainiert. Durch die Vereinheitlichung der Belichtung kann die Komplexität der Bilder reduziert werden, wodurch weniger Bilder für einen robusten Einsatz der Instance Segmentierung annotiert werden müssen. Dieses Verfahren wurde zusätzlich auf variierende Wachstumsstadien und Sorten getestet.engPlantingRoboticsAIComputer visionMonitoringCabbageCycle GANInstance segmentation630DoctoralThesis