Abschlussbericht DFG-Projekt "Robuste Schätzung von zeitvariierenden Momenten, Transinformation und Transfer-Entropie mittels Dichteprognosen aus der Quantilsregression" (440652629)

Abstract

Die nichtparametrische Schätzung von Transferentropie und weiteren Kennzahlen in dynamischen Systemen setzt eine präzise Schätzung gemeinsamer und bedingter Dichten voraus. Wir entwickelten dafür eine Methode basierend auf geglätteter Quantilsregression, die die Verteilung einer Zielvariablen auch für extreme Werte und heteroskedastische Daten erfasst. Die Schätzung der Parameter erfolgt durch Minimierung einer speziellen Verlustfunktion. Asymptotische Verteilungen der Schätzparameter werden mittels Sigmoid-Approximation und der generalisierten Momentenmethode (GMM) hergeleitet. Zur Dichteschätzung verwenden wir die erste Differenz der geschätzten Quantile. Herausforderungen wie kreuzende Quantile und negative Dichteschätzungen werden durch Glättung und „Geisterpunkte“ gelöst. Der zweite Schritt glättet die bedingte Verteilungsfunktion lokal mittels Epanechnikov-Kernel, wobei die Bandbreitenwahl entscheidend ist. Diese Methode verwenden wir zur Schätzung von Informationsmaßen wie Transinformation und Transferentropie, wobei Simulationen robuste Ergebnisse auch in hochdimensionalen Anwendungen zeigen. Zudem untersuchen wir Dichteprognosen mit quantilvektorautoregressiven Modellen und lokalen Quantilsprojektionen, die sich insbesondere für Zeitreihenanalyse eignen und effiziente Berechnungen erlauben. Ein weiterer, zusätzlicher Projektaspekt ist die Erforschung bayesianischer Ansätze für Dichteschätzungen in höheren Dimensionen.

The nonparametric estimation of transfer entropy and other metrics in dynamic systems requires an accurate estimation of joint and conditional densities. To achieve this, we developed a method based on smoothed quantile regression, which captures the distribution of a target variable even for extreme values and heteroskedastic data. The parameter estimation is performed by minimizing a specialized loss function. Asymptotic distributions of the estimated parameters are derived using sigmoid approximation and the generalized method of moments (GMM). For density estimation, we use the first difference of the estimated quantiles. Challenges such as crossing quantiles and negative density estimates are addressed through smoothing and "ghost points." The second step smooths the conditional distribution function locally using an Epanechnikov kernel, where bandwidth selection is crucial. We apply this method to estimate information measures such as mutual information and transfer entropy, with simulations demonstrating robust results even in high-dimensional applications. Additionally, we explore density forecasting using quantile vector autoregressive models and local quantile projections, which are particularly suitable for time series analysis and enable efficient computations. Another aspect of the project involves investigating Bayesian approaches for density estimation in higher dimensions.