Using machine learning for supply and demand predictions in the German milk market

Abstract

The German milk market is driven by various ongoing trends on both the domestic supply and the international demand side. This results in increasingly volatile prices, as well as increasing production costs, and both risks continue to induce dairy farms going out of business. Therefore market participants have expressed a desire for reliable forecasting tools at the regional level in order to be able to make strategic and operational decisions with greater planning certainty. However, such forecasting models at the farm or regional level do not currently exist or are not publicly available. This dissertation fills this research gap by developing a forecasting model for predicting regional milk production in Lower Saxony.

The first of four research chapters, Chapter 3, compares five different Machine Learning (ML) models and a traditional linear regression (OLS) model based on time trends, direct and indirect weather influences, and price events. The ML models show advantages in forecast accuracy, in particular ML methods outperform econometric modelling in predicting non-linear developments induced by investment. Furthermore, differences in the efficiency of the methods are apparent: while comparable estimation approaches achieve similar accuracies, the training speed of the models varies considerably.

Chapter 4 presents the relationship between seasonal weather conditions and seasonal milk production. This chapter incorporates the influences of direct and indirect weather conditions as well as time and price trends into the model. A Fixed Effects (FE) estimator is used to model quarterly milk production for a panel dataset from Lower Saxony. The results mainly illustrate the influence of farm decisions on milk production, which is stronger than the influence of weather conditions. Contrary to expectations, the influence of weather conditions during the growing season cannot be significantly demonstrated. Instead, there is a positive effect of warmer and drier weather in almost all quarters except autumn.

Chapters 5 and 6 shift the focus to the demand side of the German milk market, examining in particular the sale of raw milk from vending machines. As farmers seek alternative sales channels, on-farm vending machines offer an opportunity for additional income. Chapter 5 develops a forecasting model based on a nationwide survey and the Xtreme Gradient Boosting (XGB) algorithm. The model achieves sufficiently accurate values to qualify as a practical tool, allowing indecisive farm managers to input their own values into the model and thus secure their investment decision. The influence of the variables on the prediction is investigated using SHapley Additive exPlanation (SHAP) values, indicating that sales of raw milk from vending machines are influenced less by individual marketing measures than by various location factors such as population density, proximity to a city, and location along a road with commuter traffic. It can be concluded that there is additional sales potential if farmers would be allowed to place the vending machine in an optimal location away from the farm.

Chapter 6 analyses consumer behaviour through a survey in Germany, using seemingly unrelated regression (SUR) to model willingness to pay (WTP) and frequency of purchase. The results suggest that in this form of marketing, consumers especially value a ‘fair’ price for the producer and are less price-sensitive. On average, customers’ WTP is higher than the current milk price and varies between consumer groups. Consumers with a closer connection to milk production are willing to pay more for raw milk but purchase it less frequently. It also appears that as consumers get older, they are more likely to buy raw milk but are less willing to pay for it. Tailoring marketing activities based on consumer characteristics can increase the efficiency of additional sales channels.

Overall, this dissertation demonstrates the potential applications and limitations of ML methods for considering supply and demand in the German milk market. The forecasting models can serve as a potential tool for farmers to better weight strategic and operational decisions, thus contributing to more efficient agriculture.

Die Entwicklung des deutschen Milchmarktes ist durch vielfältige Einflüsse sowohl auf der nationalen Angebots- als auch auf der internationalen Nachfrageseite gekennzeichnet. Dies führt zu zunehmend volatilen Preisen und steigenden Produktionskosten, was eine fortschreitende Konsolidierung von Milchviehbetrieben zur Folge hat. Marktteilnehmer haben daher den Wunsch nach Prognoseinstrumenten auf regionaler Ebene geäußert, um strategische und operative Entscheidungen mit größerer Planungssicherheit treffen zu können. Prognosemodelle auf betrieblicher oder regionaler Ebene sind jedoch derzeit nicht verfügbar bzw. nicht öffentlich zugänglich. Diese Forschungslücke wird in der vorliegenden Dissertation durch die Entwicklung eines Prognosemodells zur Vorhersage der regionalen Milchproduktion in Niedersachsen geschlossen.

In dem ersten von vier Forschungskapiteln, Kapitel 3, werden fünf verschiedene Modelle des maschinellen Lernens (ML) und ein herkömmliches lineares Regressionsmodell (OLS) auf Basis von zeitlichen Entwicklungen, direkten und indirekten Wettereinflüssen sowie Preisereignissen miteinander verglichen. Die ML-Modelle weisen Vorteile in der Prognosegenauigkeit auf, insbesondere übertreffen die ML-Methoden die ökonometrische Modellierung bei der Vorhersage von nicht-linearen, investitionsbedingten Entwicklungen. Darüber hinaus wird die unterschiedliche Effizienz der Methoden deutlich: während vergleichbare Schätzansätze ähnliche Genauigkeiten erreichen, variieren die Trainingsgeschwindigkeiten der Modelle erheblich.

In Kapitel 4 wird der Zusammenhang zwischen saisonalen Wetterbedingungen und saisonaler Milchproduktion dargestellt. Auch in diesem Kapitel werden die Einflüsse der direkten und indirekten Wetterbedingungen sowie der zeitlichen und preislichen Trends in das Modell integriert. Mit Hilfe eines Fixed-Effects (FE)- Schätzers wird die Milchproduktion pro Quartal für einen Panel-Datensatz aus Niedersachsen modelliert. Die Ergebnisse verdeutlichen vor allem den Einfluss betrieblicher Entscheidungen auf die Milchproduktion, der im Vergleich zum Einfluss von Wetterbedingungen stärker ausfällt. Entgegen den Erwartungen kann ein Einfluss der Witterung in der Vegetationsperiode nicht signifikant nachgewiesen werden. Stattdessen zeigt sich ein positiver Effekt wärmerer und trockenerer Witterung in fast allen Quartalen mit Ausnahme des Herbstes.

In den Kapiteln 5 und 6 wird der Fokus auf die Nachfrageseite des deutschen Milchmarktes gelegt und insbesondere der Verkauf von Rohmilch über Automaten untersucht. Da die Landwirte nach alternativen Absatzkanälen suchen, bieten die Verkaufsautomaten auf den Höfen eine zusätzliche Einkommensmöglichkeit. In Kapitel 5 wird ein Prognosemodell entwickelt, das auf einer bundesweiten Befragung von Landwirten und dem Xtreme Gradient Boosting (XGB) Algorithmus basiert. Das Modell erreicht ausreichende Genauigkeitswerte, um sich als praktisches Hilfsmittel zu qualifizieren, das es unentschlossenen Betriebsleitern ermöglicht, ihre eigenen Werte in das Modell einzugeben und so ihre Investitionsentscheidung abzusichern. Der Einfluss der Variablen auf das Prognoseergebnis wird mit Hilfe von SHapley Additive exPlanation (SHAP)- Werten dargestellt. Die Ergebnisse zeigen, dass der Rohmilchabsatz an Automaten weniger von einzelnen Marketingmaßnahmen als maßgeblich von verschiedenen Standortfaktoren wie z.B. Bevölkerungsdichte, Stadtnähe und Lage an einer Straße mit Pendlerverkehr beeinflusst wird. Daraus lässt sich ableiten, dass zusätzliches Absatzpotenzial besteht, wenn es Landwirten rechtlich ermöglicht würde, ihren Automaten abseits vom Betrieb an einem optimalen Standort aufzustellen und somit die Zielgruppe besser zu erreichen.

Kapitel 6 basiert auf einer deutschlandweiten Verbraucherbefragung. Mit Hilfe einer seemingly unrelated regression (SUR) wird die Zahlungsbereitschaft und Kaufhäufigkeit in einem gemeinsamen Modell dargestellt. Es zeigt sich, dass die Konsumenten bei dieser Vermarktungsform insbesondere den „fairen“ Preis für den Erzeuger zahlen möchten und weniger preissensibel sind. Die Zahlungsbereitschaft der Kunden liegt im Durchschnitt über dem aktuellen Milchpreis und variiert je nach Konsumentengruppe. Verbraucher, die einen engeren Bezug zur Milcherzeugung haben, sind zwar bereit, mehr für Rohmilch zu bezahlen, kaufen aber seltener dort ein. Es zeigt sich auch, dass mit zunehmendem Alter die Verbraucher zwar häufiger Rohmilch kaufen, aber weniger bereit sind, dafür zu bezahlen. Kundenspezifische Marketingaktivitäten auf der Basis von Verbrauchereigenschaften können die Effizienz zusätzlicher Vertriebskanäle erhöhen.

Insgesamt können im Rahmen dieser Dissertation die Einsatzmöglichkeiten und Limitationen von ML-Methoden zur Betrachtung von Angebot und Nachfrage auf dem deutschen Milchmarkt aufgezeigt werden. Die Prognosemodelle können Landwirten als potentielles Hilfsmittel dienen, um strategische und operative Entscheidungen besser abwägen zu können und somit zu einer effizienteren Landwirtschaft beitragen.