A new version of this entry is available:

Thumbnail Image
Doctoral Thesis
2024

Herbicide reduction through Convolutional Neural Network (CNN)-based technologies for advanced weed control

Allmendinger, Alicia
  Dissertation_Allmendinger.pdf  (42.01 MB)

Abstract (English)

Weeds are plants that can grow in agricultural fields and can compete with cultivated crops for essential resources, including light, water and nutrients. Such competition can result in yield losses, thereby necessitating the implementation of weed control measures by farmers. Traditional weed control is performed by the use of herbicides, which in previous years were applied in a uniform manner across the entire field. In recent years, there has been a growing awareness of the detrimental impact of herbicides on the environment, as well as on human health. Furthermore, the impact on the crop, biodiversity in agriculture and fauna was examined. Given that herbicides have been found in both groundwater and the food chain, there is an urgent need to develop alternative methods for site-specific weed control, rather than a uniform application. In addition to the complete avoidance of herbicides through mechanical weed control, such as in-row hoeing, methods including site-specific herbicide application and spot-spraying, represent a promising approach for consideration. In the context of a site-specific weed control the use of herbicides is confined to areas where weeds are actually present. Additionally, the use of a selective herbicide can be employed, which is targeted to specific weed species. Furthermore, the application of species is possible above a specific threshold. Site-specific weed control includes methods like spot-spraying, where only single weeds are treated, and also mechanical solutions such as in-row hoeing, which can also control weeds intra row. However, reliable detection and identification of the plants or plant species is essential to implement any of these methods effectively. The process of recognition in digital images is currently often facilitated by convolutional neural networks (CNNs). These systems are either used as online or offline systems. In online systems images are gathered with f.e. a camera mounted to the front of a tractor and plant species are identified directly on a tractor´s onboard computer by an image classifier. This process allows a real-time application of herbicides during a single pass. In offline systems, the field is scanned in advance by for example unmanned aerial vehicles (UAVs), which capture georeferenced images of the field. These images are analysed in the next step by an image classifier, which generates a weed control map, that is later uploaded to the tractor's terminal and an application of herbicides based on RTK-GNNS can be performed. This dissertation presents a summary of the current research in this field and offers an empirical test of an offline system in a practical agricultural setting. Moreover, multiple CNNs were trained using weed and crop images, and their efficacy for real-time detection was evaluated. The first article presents an overview of the current research in the domain of site-specific herbicide application. The article provides a summary of the existing technology and situates it within the context of current trends. Furthermore, a CNN-based modular spot sprayer is presented, which has been designed to facilitate communication between the tractor and the mounted implement via an ISOBUS connection. The second article addresses the utilisation of unmanned aerial vehicles (UAVs) for the generation of weed control maps in maize. Field trials were conducted on four fields at two locations in 2023 as part of the study. The efficacy of pre-emergence and post-emergence herbicides was evaluated and the post-emergence herbicide was applied in both broadcast and spot application. The timing of the post-emergence herbicide application was varied, with the first application occurring at the two-to-four-leaf stage and the second at the six-to-eight-leaf stage of the maize. The image classifier utilized for the weed control maps exhibited a detection accuracy of 94%. Weed control efficacy in spot spraying was 86%, comparable with the efficacy of the broadcast application. Using weed control maps resulted in a reduction of herbicide by up to 47% without any negative impact on the yield. This approach has the potential to reduce operational costs and the negative impact of herbicides on the environment. The third article presents the use of different CNNs for the differentiation between diverse plant species and the differentiation between crops, monocotyledonous weeds and dicotyledonous weeds. Therefore, all models of the networks YOLOv8, YOLOv9, YOLOv10 and RT-DETR that were available at that time were trained on different central processing units (CPUs) and graphic processing units (GPUs). The results demonstrated that a differentiation between individual weed species is feasible with a mean Average Precision (mAP) of up to 43.82 % at an Intersection over Union (IoU) threshold of 0.5 to 0.95. Nevertheless, greater accuracy can be attained by distinguishing only between crops, monocot and dicot weeds with mAP50-95 scores of up to 47.26 %. Moreover, it is evident that there are considerable fluctuations in inference time across the various models, with detection times ranging from 8.46 ms for YOLOv8n on the NVIDIA GeForce RTX 3090 GPU to 120.44 ms on the AMD Ryzen 9 5950X 16-Core CPU for species wise object detection. These findings underscore that GPU´s, with their faster processing times, are most suited for real-time application. The studies conducted show that precise distinguishing between plant species, and between weeds and crops, is achievable with precision scores exceeding 80 %. Nevertheless, for site-specific herbicide application or spot spraying this level of accuracy may be sufficient. In other applications, such as in-row hoeing, an accuracy of 80% may be insufficient, as this might cause great crop losses. Nevertheless, the implementation of CNN-based technologies, particularly the emerging RT-DETR, has the potential to significantly reduce the amount of herbicides used, thereby achieving the objectives of the EU Green Deal. Furthermore, these techniques allow for the implementation as online systems where suitable, as well as offline systems when more appropriate. However, for online systems it is essential to verify that the on-board computer of the tractor provides the necessary computational resources to support real-time applications. Additionally, for practical deployment on farms, the spraying technology must be available, with the compatible nozzles, that ensure for example accurate and effective spot spraying. Overall, spot-spraying can only be conducted with post-emergence herbicides; however, it would be beneficial reducing or even avoiding pre-emergence herbicides in order to achieve further savings, as these necessitate a broadcast application. When all of these optimisations are considered, it becomes evident that the objectives of the EU Green Deal are being met without compromising agricultural production yield.

Abstract (German)

Unkräuter sind Pflanzen, die auf landwirtschaftlichen Feldern vorkommen können und mit den dort angebauten Kulturpflanzen um Ressourcen wie Licht, Wasser und Nährstoffe konkurrieren können. Diese Konkurrenz kann zu Ertragseinbußen führen, sodass eine Kontrolle der Unkräuter durch den Landwirt erforderlich ist. Traditionelle Unkrautkontrolle ist der Einsatz von Herbiziden, die gleichmäßig über das ganze Feld ausgebracht wurden. In den vergangenen Jahren sind die negativen Auswirkungen von Herbiziden auf die Umwelt und auf die menschliche Gesundheit zunehmend in den Fokus gerückt. Zusätzlich wurde auch der Einfluss auf die Kulturpflanze, die Biodiversität in der Landwirtschaft und die Fauna genauer untersucht. Da Herbizide sowohl im Grundwasser als auch in der Nahrungskette nachgewiesen wurden, wurde die Entwicklung alternativer Methoden zur teilflächenspezifischen Unkrautkontrolle anstelle der flächendeckenden Ausbringung notwendig. Neben der vollständigen Vermeidung von Herbiziden durch mechanische Unkrautbekämpfung, wie zum Beispiel In-Row Hacken, besteht die Möglichkeit der teilflächenspezifischen Ausbringung von Herbiziden und der Einzelpflanzenbehandlung. Im Rahmen der teilflächenspezifischen Unkrautkontrolle erfolgt die Ausbringung von Herbiziden ausschließlich in Bereichen, in denen tatsächlich Unkräuter vorhanden sind. Des Weiteren besteht die Möglichkeit selektive Herbizide einzusetzen, welche spezifisch auf einzelne Unkrautarten wirken. Zudem ist eine Behandlung von Unkrautarten möglich, sobald diese einen bestimmten Schwellenwert überschritten haben. Zur teilflächenspezifischen Unkrautkontrolle zählen auch Methoden wie die Einzelpflanzenbehandlung, wo nur einzelne Unkräuter behandelt werden und mechanische Lösungen wie In-Row Hacken, bei dem auch die Unkräuter zwischen den Reihen behandelt werden können. Eine sichere Erkennung der Pflanzen oder Pflanzenarten ist jedoch Voraussetzung für die Umsetzung dieser Methoden. Die Erkennung in digitalen Bildern erfolgt aktuell häufig unter Zuhilfenahme von Convolutional Neural Networks (CNNs). Diese Systeme werden entweder als Online- oder Offline-Systeme verwendet. Bei Online-Systemen erfolgt die Erkennung der Pflanzenarten direkt auf dem Onboard Computer des Traktors mithilfe eines Bildklassifikators. Dieser Prozess ermöglicht eine Echtzeit Ausbringung der Herbizide während einer einzigen Überfahrt. Bei Offline-Systemen erfolgt eine Vorab-Erfassung des Feldes durch zum Beispiel unbemannte Luftfahrzeuge (UAVs), welche georeferenzierte Bilder des Feldes aufnehmen. Diese Bilder werden durch einen Bildklassifikator analysiert, welcher eine Karte zur Unkrautkontrolle generiert, die auf das Terminal im Traktor geladen werden kann, anhand derer die Ausbringung der Herbizide auf Grundlage von RTK-GNNS erfolgt. Die vorliegende Arbeit fast die aktuelle Forschung in diesem Themengebiet zusammen und beschreibt den Test eines Offline-Systems im Feldeinsatz. Zusätzlich wurden mehrere CNNs mit Unkraut- und Kulturpflanzenbildern trainiert, um den Einsatz für eine Echtzeit-Ausbringung zu erproben. Der erste Artikel erörtert die aktuelle Forschung im Bereich der teilflächenspezifischen Ausbringung von Herbiziden. Der Artikel bietet eine Zusammenfassung der bisherigen Technik sowie eine Einordnung in den Kontext aktueller Trends. Des Weiteren wird eine CNN-basierte modulare Einzelpflanzenspritze präsentiert, die über eine ISOBUS-Verbindung eine Kommunikation zwischen Traktor und Anbaugerät ermöglichen soll. Der zweite Artikel thematisierte den Einsatz von UAV zur Erstellung von Unkrautkontrollkarten im Mais. Im Rahmen der Studie wurden im Jahr 2023 auf vier Feldern an zwei Standorten Feldversuche durchgeführt. In den Versuchen wurde der Einsatz von Vorauflauf- und Nachauflaufherbiziden evaluiert und die Nachauflaufherbizide wurden sowohl als ganzflächige- als auch als Einzelpflanzenbehandlung ausgebracht. Der Behandlungszeitpunkt der Nachauflaufherbizide wurde variiert, wobei die erste Behandlung im zwei bis vier Blattstadium und die zweite Behandlung im sechs bis acht Blattstadium erfolgte. Der Bildklassifikator, der für die Unkrautkontrollkarte verwendet wurde zeigte eine Erkennungsgenauigkeit von 94 %. Der Unkrautbekämpfungserfolg der Einzelpflanzenbehandlung lag bei 86 %, was mit der Wirksamkeit der ganzflächigen Behandlung vergleichbar ist. Die Verwendung von Unkrautkontrollkarten führte zu einer Reduktion des Herbizideinsatzes um bis zu 47 %, ohne dabei den Ertrag negativ zu beeinflussen. Diese Methode hat das Potenzial die Betriebskosten zu senken und den negatien Einfluss der Herbizide auf die Umwelt zu reduzieren. Im dritten Artikel wurde der Einsatz verschiedener CNNs zur Unterscheidung zwischen unterschiedlichen Pflanzenarten sowie zur Unterscheidung zwischen Kulturpflanze, monokotylen Unkräutern und dikotylen Unkräutern erörtert. Zu diesem Zweck wurden alle zu diesem Zeitpunkt verfügbaren Modelle der Netzwerke YOLOv8, YOLOv9, YOLOv10 sowie des RT-DETR auf verschiedenen Central Processing Units (CPUs) und Graphic Processing Units (GPUs) trainiert. Die Ergebnisse zeigen, dass eine Differenzierung zwischen einzelnen Unkrautarten mit einer durchschnittlichen Genaugikeit (mAP) von bis zu 43.82 % erzielt werden kann, wenn ein Intersection over Union (IoU)-Schwellenwert von 0.50-0.95 verwendet wird. Eine höhere Genauigkeit lässt sich jedoch erzielen, wenn nur Kulturpflanze, monokotyle und dikotyle Unkräuter unterschieden wird, mit mAP50-95 Werten von bis zu 47.26 %. Darüber hinaus zeigt sich, dass die Inferenzzeit zwischen den einzelnen Modellen signifikante Schwankungen aufweisen, diese reichen von 8.46 ms für YOLOv8n auf der NVIDIA GeForce RTX 3090 GPU bis zu 120.44 ms auf der AMD Ryzen 9 5950X 16-Core CPU bei einer Unterscheidung zwischen einzelnen Unkrautspezies. Diese Ergebnisse verdeutlichen, dass GPUs mit ihren beschleunigten Verarbeitungsgeschwindigkeiten für Echtzeitanwendungen am betsen geeignet sind. Die durchgeführten Studien belegen, dass eine präzise Unterscheidung zwischen Pflanzenarten sowie zwischen Unkraut und Kulturpflanze mit Genauigkeiten von über 80 % möglich ist. Für eine teilfflächenspezifische Ausbringung von Herbiziden oder eine Einzelpflanzenbehandlung mag diese Genaugikeit ausreichend sein. In anderen Anwendungsbereichen, wie dem In-Row-Hacken ist eine Genauigkeit von 80 % nicht ausreichend, da dies bedeutet, dass die übrigen Arten falsch klassifiziert werden könnten und deshalb gehackt werden könnten, was zu einem Ertragsverlust führen würde. Dennoch hat der Einsatz von CNN-basierten Technologien, insbesondere des aufstrebenden RT-DETR, das Potenzial, den Einsatz von Herbiziden signifikant zu reduzieren und somit die Ziele des EU Green Deals zu erreichen. Des Weiteren erlauben diese Techniken die Umsetzung als Online-Systeme, sofern dies geeignet ist, sowie als Offline-Systeme, wenn dies passender ist. Für den Einsatz von Online-Systemen ist jedoch sicherzustellen, dass der Bordcomputer des Traktors über die erforderlichen Rechenkapazitäten verfügt, um Echtzeitanwendungen zu unterstützen. Des Weiteren ist für den praktischen Einsatz auf landwirtschaftlichen Betrieben eine entsprechende Spritztechnik mit kompatiblen Düsen erforderlich, um eine präzise und effektive Einzelpflanzenbehandlung zu gewährleisten. Unter Berücksichtigung der genannten Aspekte lässt sich zusammenfassend feststellen, dass eine Ausbringung von Herbiziden im Rahmen einer Einzelpflanzenbehandlung lediglich mit Nachauflaufherbiziden möglich ist. Eine Reduktion oder gar der Verzicht auf eine Behandlung mit Vorauflaufherbiziden könnte zu weiteren Einsparungen führen, da diese eine ganzflächige Anwendung erfordern. Unter Einbezug aller genannten Optimierungen wird ersichtlich, dass die Ziele des EU Green Deal ohne Einbußen der landwirtschaftlichen Erträge erreicht werden können.

File is subject to an embargo until

This is a correction to:

A correction to this entry is available:

This is a new version of:

Other version

Notes

Publication license


Copyright

Publication series

Published in

Other version

Faculty

Faculty of Agricultural Sciences

Institute

Institute of Phytomedicine

Examination date

2025-06-02

Supervisor

Cite this publication

Allmendinger, A. (2024). Herbicide reduction through Convolutional Neural Network (CNN)-based technologies for advanced weed control. https://doi.org/10.60848/12863

Edition / version

Citation

Identification

https://hohpublica.uni-hohenheim.de/handle/123456789/17932
 https://doi.org/10.60848/12863

DOI

ISSN

ISBN

Language

English

Publisher

Publisher place

Classification (DDC)

630 Agriculture

Collections

Institut für Phytomedizin

Original object

University bibliography

Free keywords

Standardized keywords (GND)

Sustainable Development Goals

BibTeX

@phdthesis{Alicia Allmendinger2025, url = {https://hohpublica.uni-hohenheim.de/handle/123456789/17932}, author = {Alicia Allmendinger}, title = {Herbicide reduction through Convolutional Neural Network (CNN)-based technologies for advanced weed control}, year = {2025}, }

Share this publication

Full item page