Impact of Conformal Prediction on Human Decision-Making

Kurzbeschreibung:

Conformal prediction is a machine learning framework utilized for uncertainty quantification. Assuming the data is exchangeable, it generates statistically valid prediction regions for any underlying point predictor. Conformal prediction calculates nonconformity scores based on previously labeled data. These scores gauge how "unusual" a data point is compared to the rest. The scores create prediction sets for a new, unlabeled test data point, representing a range of possible outcomes with a specified confidence level. The user defines a significance level, limiting the frequency of errors the algorithm can make. A smaller significance level (resulting in fewer allowed errors) produces broader prediction sets, while a larger significance level (resulting in more allowed errors) creates narrower prediction sets. Decision support systems often neglect the uncertainty inherent in models and fail to incorporate confidence intervals into decision-making. The potential master thesis will address this research gap. The objective is to explore how conformal prediction influences human decision-making and if it can lead to more robust decisions. A laboratory experiment or a qualitative study will be conducted for this purpose. The goal is to review and, if necessary, further develop existing AI/ML-based decision-making theories, such as Reflection Theory.

Zielsetzung:

Im Rahmen einer Masterarbeit soll idealerweise der Einfluss von Conformal Prediction auf die AI/ML-basierte Entscheidungsfindung (Decision Support Systemen) mit Hilfe eines Laborexperiments untersucht werden. Dabei soll untersucht werden ob der Einsatz von Conformal Prediction Methoden zu robusteren Entscheidungen führen kann. Dafür ist es notwendig bestehende Theorien zur AI/ML-basierten Entscheidungsfindung (z.B. Reflection Theory) zu verstehen und im Rahmen der Untersuchung anzuwenden. Eine Abgrenzung zu Methoden von Explainable AI ist sinnvoll. Die Arbeit setzt an der Schnittstelle zwischen Mensch und Technik (Human-Computer Interaction) an und auch ein Fokus auf aktuelle Entwicklungen (wie z.B. GenAI) wäre denkbar.

Einstiegslieteratur:

• Shafer, G., & Vovk, V. (2008). A tutorial on conformal prediction. Journal of Machine Learning Research, 9(3).
• Abdel-Karim, B. M., Pfeuffer, N., Carl, K. V., & Hinz, O. (2023). How AI-Based Systems Can Induce Reflections: The Case of AI-Augmented Diagnostic Work. MIS Quarterly, (4).
• Vazquez, J., & Facelli, J. C. (2022). Conformal prediction in clinical medical sciences. Journal of Healthcare Informatics Research, 6(3), 241-252.

Voraussetzungen:

• Exzellente Studienleistungen (idealerweise Winfo Master)
• Gute Statistik- und Programmierkenntnisse
• Interesse am Thema Human-Computer Interaction und Decision Support Systems

Bei Interesse an der Abschlussarbeit schicken Sie bitte einen aktuellen Leistungsspiegel und einen Lebenslauf an Frederik Hering (hering(at)wiwi.uni-frankfurt.de).

Ausgeschrieben ab: sofort

Evaluating Incentive Mechanisms for Consumer Data Sharing

Kurzbeschreibung:

Datenökosysteme sind Netzwerke von verbundenen Datenquellen, Plattformen und Diensten, die zusammenarbeiten, um Daten zu sammeln, zu verarbeiten und zu analysieren. Sie sind besonders wichtig für KMUs, da sie Zugang zu wertvollen Einblicken und neuen Geschäftsmöglichkeiten bieten, die ansonsten großen Unternehmen, mit einer breiten Nutzendenbasis, vorenthalten bleiben. Zudem stärken sie die Datensouveränität der Datenerzeuger*innen, indem sie sicherstellen, dass diese die Kontrolle über ihre Daten behalten.

Das Konsortialprojekt COMET adressiert diese Herausforderungen, indem es Mechanismen des Consumer Empowerments entwickelt, sodass Konsument*innen selbstbestimmt über die Nutzung ihrer Daten entscheiden können. Durch COMET sollen Konsument*innen als Data Owner agieren und Unternehmen verantwortungsvoll Zugang zu realen Konsumierendendaten erhalten, um bspw. innovative KI-basierte Angebote entwickeln zu können.

Es ist entscheidend, dass Konsument*innen ihre Daten freiwillig und informiert freigeben, um die volle Potenzialentfaltung des Ökosystems zu ermöglichen. In diesem Zusammenhang sollen verschiedene Anreizmechanismen (bspw. monetäre Anreize, bessere Services oder Gamification-Ansätze) untersucht werden, die Endkonsument*innen zur Freigabe ihrer Daten inzentivieren könnten.

Zielsetzung:

Im Rahmen einer Masterarbeit sollen sowohl qualitative als auch quantitative Methoden in einem zweistufigen Ansatz angewendet werden, um verschiedene Anreizmechanismen zur freiwilligen Datenfreigabe durch Konsument*innen zu untersuchen. Durch diesen 2-Step-Approach sollen eine tiefgehende Analyse und Bewertung der Effektivität und Akzeptanz der vorgeschlagenen Anreize evaluiert werden.

Einstiegsliteratur:

• Naous, Dana, and Christine Legner. „Exploring Information Disclosure in Location-based Services: U.S. vs. German Populations“ (2019). ICIS 2019 Pre-Conference Workshop Proceedings.
• Stepanovic, Stefan and Mettler, Tobia. "Financial Incentives and Intention to Subscribe to Data-Driven Health Plans" (2020). ICIS 2020 Proceedings. 6.
• Raddatz, Nirmalee I., William J. Kettinger and Joshua Coyne. “Giving to Get Well: Patients’ Willingness to Manage and Share Health Information on AI-Driven Platforms” (2023). Communications of the Association for Information Systems, 52, 1017-1049

Bei Interesse an der Abschlussarbeit schicken Sie bitte einen aktuellen Leistungsspiegel und einen Lebenslauf an Dr. K. Valerie Carl (kcarl(at)wiwi.uni-frankfurt.de) und Aaron Witzki (witzki(at)wiwi.uni-frankfurt.de).

Ausgeschrieben ab: sofort