cc_by-ncVogelgesang, JensKieslich, Kimon2024-08-222024-08-222024https://hohpublica.uni-hohenheim.de/handle/123456789/15939https://doi.org/10.60848/10892Artificial Intelligence (AI) has a tremendous impact on society. While artificial intelligence encompasses a variety of different systems, algorithmic decision-making (ADM) systems in particular are being used to augment or even replace human decision-making. Because ADM systems are susceptible to ethical ramifications, such as fairness issues, opacity, and lack of accountability, how to manage the implementation of ADM is a societal challenge. This is particularly relevant when ADM is used in high impact situations that can potentially affect every member of society, such as in the public sector. As a way to address the harms of ADM, ethical guidelines have been proposed by companies and policy makers. However, scholars argue that these guidelines lack reinforcement mechanisms and that additional incentives are needed for decision makers to actually invest in ethical systems. In my dissertation, I focus on one potential factor that could contribute to the development of ADM in the public interest or for the common good, respectively -- public opinion. Critical public discussions about whether and how society wants ADM to make decisions can put pressure on decision makers to actually develop and implement ADM systems that adhere to ethical standards. The public does this by articulating (political) demands and by legitimizing or critiquing current practices. My research is situated within normative theories of the political public sphere, which propose different approaches for public discourse in the formation of democratic will, as well as the Society in the Loop framework, which emphasizes the need to include citizens' perceptions in decision-making about ethical trade-offs in the design and implementation of AI systems. This cumulative dissertation consists of four peer-reviewed papers: Paper 1 critically discusses at a theoretical level the role of public opinion as an influential factor in technology adoption. It argues that given the serious implications that the emergence of AI could have on society, public opinion can be a crucial incentive for both technological and political decision-makers to invest in AI for the common good. However, the paper also acknowledges and discusses the limits of public influence, and outlines potential avenues for greater inclusion of the public voice. Paper 2 presents data from a large-scale survey on public opinion on AI in Germany. In particular, it examines 1) what citizens have in mind when thinking about AI, 2) what role ethical AI issues play in this regard, 3) which demographic and AI-related factors contribute to a higher salience of (ethical) AI issues, and 4) what consequences the salience of ethical AI issues has in terms of AI avoidance and engagement in public discussions about AI. The paper's main contribution is to provide an empirical database on the engagement of German citizens with AI, thus helping to assess citizen influence on technological and political decision makers. Paper 3 empircally examines citizens' perceptions of the ethical trade-offs that must be made in the design process of AI systems. It uses a use case of AI in the public sector which, from the normative standpoint of AI development for the common good, requires citizen participation. Paper 3 provides insights into 1) citizens' ethical preferences for the design of AI systems, 2) shows that there are different publics with different preferences, and 3) describes how these publics are constituted in terms of demographic as well as AI-related factors. The paper's main contributions are to propose a measurement for evaluating ethical AI principles and to describe different preference patterns of the German public. Paper 4 delves deeper into the topic of the consequences of (non-)compliance with ethical design of AI systems. Again, the paper presents a use case of AI in the public sector and discusses the role of trust in AI as influential factor leading to the legitimization of AI technology. The main contribution of the empirical paper is to elaborate on the role of trust in AI, as it is treated as a major factor in empirical research and policy discussion in light of a widespread implementation of AI. In summary, my dissertation contributes to the literature on public opinion research, the Society in the Loop framework, and the efforts of the FAccT (Fairness, Accountability and Transparency) community, and specifically discusses the role of the public as a potential critical voice in the design and implementation process of AI systems. On a methodological level, I propose a measure for exploring the preference for trade-offs in ADM systems. On an empirical level, I provide a rich empirical (baseline) data on citizens' perceptions of ADM on which future studies can build. On a theoretical level, I discuss my findings in terms of normative theories about the role of the public and the Society in the Loop framework. On a practical level, I address the interplay between public opinion and the economic, media, educational, and political & legal sectors, and I elaborate on future steps that can be taken to strengthen the common good orientation in the development and implementation of AI systems.Künstliche Intelligenz (KI) hat, und wird auch in Zukunft, enorme Auswirkungen auf die Gesellschaft haben. Insbesondere algorithmische Entscheidungssysteme (ADM) stehen dabei im kritischen Fokus, da diese eingesetzt werden, um menschliche Entscheidungsfindung zu ergänzen oder sogar zu ersetzen. Da ADM-Systeme jedoch ethische Risiken mit sich bringen können, wie z.B. Fairness-Problematiken, Intransparenz und mangelnde oder undurchsichtige Rechenschaftspflicht, ist die Frage, wie der Einsatz von ADM gehandhabt werden soll, nur gesamtgesellschaftlich zu beantworten. Dies ist insbesondere dann besonders relevant, wenn ADM-Systeme für Aufgaben eingesetzt werden, die potenziell jede:n in der Gesellschaft betreffen können, wie z.B. im öffentlichen Sektor. Unternehmen und politische Entscheidungsträger haben in Anbetracht der Risiken von KI ethische Richtlinien (ethical guidelines) veröffentlicht, die der Entstehung ethischer Problematiken vorbeugen sollen. Einige Wissenschaftler:innen argumentieren jedoch, dass diese Richtlinien jedoch nicht wikungsvoll sind und dass zusätzliche Anreize für Entscheidungsträger:innen notwendig sind, um höhere Investitionen in eine ethische Entwicklung und Implementierung von KI-Systemen zu tätigen. In meiner Dissertation konzentriere ich mich auf einen möglichen Faktor, der zur Entwicklung von KI im öffentlichen Interesse beitragen könnte -- die öffentliche Meinung. Kritische öffentliche Diskussionen darüber, ob und wie die Gesellschaft Entscheidungen auf ADM-Systeme übertragen will, können Druck auf Entscheidungsträger:innen ausüben, ADM-Systeme tatsächlich unter Berücksichtigung ethischer Gesichtspunkte zu entwickeln und zu implementieren. Indem die Öffentlichkeit (politische) Forderungen artikuliert und einen aktiven Part in der Gestaltung von KI einnimmt kann sie zu einer Legitimierung des Einsatzes von KI oder aber auch dem kritischen Hinterfragen aktueller Praktiken beitragen. Meine Forschung beruht auf normativen politischen Öffentlichkeitstheorien, in welchen dem Publikum verschiedene Rollen in der demokratischen Willensbildung zukommen. Außerdem beziehe ich mich auf das Society in the Loop Framework, welches die Notwendigkeit betont, die Wahrnehmungen der Bürger:innen in der Entscheidungsfindung über die ethische Gestaltung bei der Entwicklung und Implementierung von KI-Systemen mit einzubeziehen. Diese kumulative Dissertation besteht aus vier peer-reviewed Papern: Paper 1 diskutiert auf theoretischer Ebene die Rolle der öffentlichen Meinung als Einflussfaktor bei der Einführung von Technologien. Ich argumentiere, dass angesichts der gravierenden Auswirkungen, die die verstärkte Nutzung von KI-Systemen auf die Gesellschaft hat, eine kritische öffentliche Meinung sowohl für technologische als auch für politische Entscheidungsträger:innen ein entscheidender Anreiz sein kann, in eine gemeinwohlorientiere KI-Entwicklung zu investieren. Das Paper skizziert mögliche Wege, wie öffentliche Meinung stärker einbezogen werden kann, zeigt aber auch die Grenzen des Einflusses öffentlicher Meinung auf. Paper 2 präsentiert Umfrageergebnisse über die öffentlichen Meinung zu KI in Deutschland. Insbesondere wird untersucht, (1) welche Themen die deutsche Bevölkerung mit KI assoziiert, (2) welche Rolle ethische Themen in diesem Zusammenhang spielen, (3) welche demographischen und KI-bezogenen Faktoren zu einer höheren Bewusstmachung von (ethischen) KI-Themen beitragen und (4) welche Konsequenzen das Bewusstsein von ethischen KI-Themen auf Nutzungsabsichten von KI und die Beteiligung in öffentlichen Diskussionen über KI hat. Der Hauptbeitrag des Papers besteht darin, eine empirische Datenbasis über die Auseinandersetzung der deutschen Bevölkerung mit KI bereitzustellen und damit den Einfluss der Bürger:innen auf technologische und politische Entscheidungsträger:innen zu verorten. Paper 3 untersucht empirisch die Wahrnehmung der Bürger:innen hinsichtlich ethischer trade-off Entscheidungen, die im Designprozess von KI-Systemen eingegangen werden müssen. Dabei wird ein Anwendungsbeispiel von KI im öffentlichen Sektor untersucht, für welches, im normativen Sinne, eine Orientierung an Bürgerpräferenzen wünschenswert ist. Paper 3 bietet Einblicke in 1) die ethischen Präferenzen der Bürger:innen bei der Entwicklung von KI-Systemen, 2) zeigt, dass es verschiedene Öffentlichkeiten mit unterschiedlichen Designpräferenzen gibt, und 3) beschreibt, wie sich diese Öffentlichkeiten in Bezug auf demographische und KI-bezogene Faktoren zusammensetzen. Die wichtigsten Beiträge des Papers sind die Etablierung einer Messung für die Erfassung ethischer KI trade-off Präferenzen sowie die Beschreibung verschiedener Präferenzmuster in der deutschen Öffentlichkeit. Paper 4 vertieft die Frage nach den Folgen der (Nicht-)Beachtung ethischer Prinzipien bei der Gestaltung von KI-Systemen. Auch hier wird ein Anwendungsfall von KI im öffentlichen Sektor vorgestellt und die Rolle von Vertrauen in KI als Einflussfaktor für die Legitimation von KI-Technologie diskutiert. Der Hauptbeitrag des empirischen Papers besteht darin, die Rolle des Vertrauens in KI als Einflussfaktor in Legitimierungsprozessen näher zu beleuchten. Zusammenfassend leistet meine Dissertation einen Beitrag zur Literatur über öffentliche Meinungsforschung, zum Society in the Loop Framework und zu den Bemühungen der FAccT (Fairness, Accountability and Transparency) Community und diskutiert insbesondere die Rolle der Öffentlichkeit als potentielle kritische Stimme im Design- und Implementierungsprozess von KI-Systemen. Auf methodischer Ebene schlage ich ein Messung vor, um die Präferenz für ethische trade-offs in ADM-Systemen zu untersuchen. Darüber hinaus liefere ich auf empirischer Ebene (Basis-)Daten über die Wahrnehmung von ADM durch die deutsche Bevölkerung, auf dem zukünftige Forschung aufbauen kann. Auf theoretischer Ebene diskutiere ich meine Ergebnisse im Hinblick auf normative Öffentlichkeitstheorien und dem Society in the Loop Framework. Auf praktischer Ebene gehe ich auf die Interaktion zwischen öffentlicher Meinung und den Bereichen Wirtschaft, Medien, Bildung und Politik & Recht ein und erläutere, welche Schritte in Zukunft unternommen werden können, um eine Gemeinwohlorientierung bei der Entwicklung und Implementierung von KI-Systemen zu stärken.eng300DoctoralThesis