LLM-basierter Datenassistenten mit integrierter informeller Lernunterstützung

Motivation

Auf Basis großer Sprachmodelle (Large Language Models, LLMs) lassen sich LLM-basierte Datenassistenten entwickeln, die Mitarbeitende bei der effektiven Nutzung ihrer Daten unterstützen. Unternehmen erhoffen sich dadurch, dass auch Mitarbeitende ohne technische Expertise effektiv, schnell und eigenständig mit Daten arbeiten und Analysen durchführen können. (Guo et al., 2024; Schelhorn et al., 2024; World Economic Forum, 2025). Damit diese Systeme ihr Potenzial vollständig entfalten, müssen die Nutzenden jedoch lernen, wie man effektiv mit ihnen arbeitet.

Forschungen zeigen, dass nur ein kleiner Teil beruflicher Fähigkeiten durch formelle Schulungen vermittelt wird. Ein Großteil des Lernens erfolgt informell, bspw. im Rahmen der täglichen Arbeitsabläufe (Cross, 2007). Zahlreiche Studien unterstützen diese Erkenntnisse: Wenn Systeme Nutzende während der Anwendung aktiv unterstützen, lernen diese schneller und erzielen bessere Ergebnisse (Glover et al., 1997; Morana et al., 2017; Burton-Jones & Grange, 2013). Diese Erkenntnisse unterstreichen die Bedeutung von situativem, informellem Lernen im Umgang mit KI-Systemen und tragen zur Steigerung der sogenannten AI Literacy bei (Pinski & Benalian, 2024). Bisher ist jedoch unklar, wie solche Lernunterstützungsfunktionen in LLM-basierten Datenassistenten systematisch gestaltet werden sollten, um die effektive Nutzung zu verbessern. Genau hier setzt die MenschKI! Studie in Kooperation mit der EnBW an.

Existierende Arbeiten und Hintergrund

Unsere Arbeit baut auf drei Forschungsbereichen auf:  Zunächst auf der Forschung zu informellem Lernen und AI Literacy, die zeigt, dass die meisten Fähigkeiten durch unstrukturierte, praktische Aktivitäten erworben werden, wie dem Austausch mit Kolleginnen und Kollegen, und learning-by-doing, also durch Ausprobieren, und der direkten Arbeit mit KI-Systemen (Cross, 2007; Long & Magerko, 2020; Pinski & Benlian, 2024). Darauf aufbauend berücksichtigt unsere Forschung den Bereich Guidance, die Nutzende durch Hinweise und Informationen bei ihren Entscheidungen und Aufgaben unterstützen. Studien zeigen, dass solche Hilfen am besten wirken, wenn sie während der Nutzung verfügbar sind, wenn sie informativ sind und dynamisch auf die jeweilige Situation reagieren. Das motiviert Nutzende, fördert aktives Engagement, und verbessert die Lernergebnisse (Glover et al., 1997; Parikh et al., 2001; Gajos & Mamykina, 2022). Schließlich zeigt die bestehende Forschung, dass Nutzende, um ein System wirklich effektiv zu verwenden, Nutzende zwei Dinge lernen müssen: erstens, wie sie auf Systemfunktionen zugreifen und anwenden, und zweitens, welche Informationen und Daten durch das System bereitgestellt werden (Burton-Jones & Grange, 2013). Bisherige Arbeiten zu LLM-basierte Datenassistenten haben zwar Designprinzipien für Transparenz und Nachvollziehbarkeit vorgeschlagen (bspw. Schelhorn et al., 2024; Schelhorn et al., 2025), aber Lernunterstützung nicht explizit berücksichtigt. Die vorliegende Studie schließt diese Lücke, indem sie Guidance-Funktionen in LLM-basierter-Datenassistenten integriert, um informelles Lernen und damit die effektive Nutzung zu fördern.

Methodik

Zur Entwicklung und Evaluierung des prototypischen Systems wurde das Design Science Research (DSR) Framework nach Kuechler und Vaishnavi (2008) verwendet.  Im ersten Gestaltungszyklus wurde das Problem aus zwei Perspektiven betrachtet: i) durch Analyse der Fachliteratur und ii) durch semi-strukturierten Interviews mit potenziellen Anwender:innen bei der EnBW Energie Baden-Württemberg AG. Auf dieser Basis haben wir zentrale Anforderungen abgeleitet und zwei Gestaltungsprinzipien abgeleitet:

1) Der Assistent sollte erklären, wie Daten verarbeitet werden (DP1, Data Process Guidance)

2) Der Assistant sollte helfen, das Datenmodell zu verstehen (DP2, Data Modeling Guidance).

Diese Anforderungen wurden in einem voll funktionsfähigen LLM-basierten Datenassistenten mit integrierten Lernfunktionen umgesetzt. Technisch basiert der Prototyp auf Streamlit für die Benutzeroberfläche und LangGraph als LLM-basiertes Agentensystem.

ne kontrollierte Evaluation erfolgte zunächst in einem Online-Experiment mit 119 Teilnehmenden über die Plattform Prolific. Anschließend wurde das System weiterentwickelt und den Mitarbeitenden der EnBW Energie Baden-Württemberg AG bereitgestellt.

Ergebnisse

Die Auswertung der Online-Experiment-Daten bestätigt die Wirksamkeit der integrierten Lernfunktionen: Die Integration von DP1 (Data Process Guidance) verbesserte signifikant das Verständnis darüber, wie das System arbeitet. Dagegen förderte DP2 (Data Modeling Guidance) nachweislich das Verständnis der zugrundeliegenden Datenstrukturen. Die Designprinzipien wirkten dabei nicht direkt auf die Korrektheit der Ergebnisse, sondern indirekt über das verbesserte Systemverständnis. Anwendende mit höheren Systemverständnis erzielten signifikant effektivere Ergebnisse. Das qualitative Feedback war überwiegend positiv; der Assistent wurde als klar und informativ wahrgenommen. Vereinzelt wurden jedoch Geschwindigkeit und Unklarheiten in bestimmten Erklärungen geäußert.

Ausblick/Implikationen für Forschung und Praxis

Unsere Studie erweitert das Gestaltungswissen über LLM-basierte Datenassistenten, indem sie neue Designprinzipien für integriertes informelles Lernen vorschlägt und validiert.  Wir zeigen damit, dass begleitende, informative und dynamische Hilfestellungen das Verständnis sowohl der Systemfunktionen als auch der Datenstrukturen verbessert. Die Ergebnisse bestätigen, dass Lernen ein wichtiger Faktor zur effektiven Nutzung ist.  Unsere Gestaltungsprinzipien bieten praktische Orientierung und umsetzbare Leitlinien für Organisationen, die LLM-basierte Datenassistenten einführen möchten und machen entsprechende Systeme für Mitarbeitende mit unterschiedlichem technischem Hintergrund nutzbar.

Zukünftige Forschung sollte untersuchen, ob sich diese Ergebnisse in Langzeitstudien bestätigen lassen. Besonders spannend ist, wie integrierte Unterstützungsfunktionen langfristiges Lernen und die Entwicklung von KI-Kompetenzen beeinflussen. Eine interessante Herausforderung bleibt die Bereitstellung personalisierter Hilfestellung, welche kognitive Fähigkeiten, Motivation und das Gefühl, selbstwirksam zu sein, konsolidieren und kontextuell unterstützen.

Burton-Jones, A., & Grange, C. (2013). From Use to Effective Use: A Representation Theory Perspective. Information Systems Research, 24(3), 632–658. https://doi.org/10.1287/isre.1120.0444 

Gajos, K. Z., & Mamykina, L. (2022). Do People Engage Cognitively with AI? Impact of AI Assistance on Incidental Learning. Proceedings of the 27th International Conference on Intelligent User Interfaces, 794–806. https://doi.org/10.1145/3490099.3511138 

Glover, S. M., Prawitt, D. F., & Spilker, B. C. (1997). The Influence of Decision Aids on User Behavior: Implications for Knowledge Acquisition and Inappropriate Reliance. Organizational Behavior and Human Decision Processes, 72(2), 232–255. https://doi.org/10.1006/obhd.1997.2735 

Gu, K., Grunde-McLaughlin, M., McNutt, A., Heer, J., & Althoff, T. (2024). How Do Data Analysts Respond to AI Assistance? A Wizard-of-Oz Study. Proceedings of the CHI Conference on Human Factors in Computing Systems, 1–22. https://doi.org/10.1145/3613904.3641891 

Guo, J., Mohanty, V., Piazentin Ono, J. H., Hao, H., Gou, L., & Ren, L. (2024). Investigating Interaction Modes and User Agency in Human-LLM Collaboration for Domain-Specific Data Analysis. Extended Abstracts of the CHI Conference on Human Factors in Computing Systems, 1–9. https://doi.org/10.1145/3613905.3651042 

William Kuechler and Vijay Vaishnavi (2008). “On theory development in design science research: anatomy of a research project”. EJIS 17, 489–504. 

Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16. https://doi.org/10.1145/3313831.3376727 

Morana, S., Schacht, S., Scherp, A., & Maedche, A. (2017). A review of the nature and effects of guidance design features. Decision Support Systems, 97, 31–42. https://doi.org/10.1016/j.dss.2017.03.003 

Microsoft Corporation. (2025). Microsoft SQL Server samples—Northwind. GitHub. https://github.com/microsoft/sql-server-samples/tree/master/samples/databases/northwind-pubs 

Pinski, M., & Benlian, A. (2024). AI literacy for users – A comprehensive review and future research directions of learning methods, components, and effects. Computers in Human Behavior: Artificial Humans, 2(1), 100062. https://doi.org/10.1016/j.chbah.2024.100062 

Schelhorn, T. C., Gnewuch, U., & Maedche, A. (2024). Designing a Large Language Model Based Open Data Assistant for Effective Use. In M. Mandviwalla, M. Söllner, & T. Tuunanen (Eds.), Design Science Research for a Resilient Future (pp. 398–411). Springer Nature Switzerland. https://doi.org/10.1007/978-3-031-61175-9_27 

Schelhorn, T., Gnewuch, U., & Maedche, A. (2025). The Impact of Chain-of-Thought Display on the Effective Use of LLM-based Analytics Agents. SIGHCI 2024 Proceedings. https://aisel.aisnet.org/sighci2024/15 

World Economic Forum. (2025, January 20). Reshaping work in the Intelligent Age: A future-proof workforce. World Economic Forum. https://www.weforum.org/stories/2025/01/reshaping-work-in-the-intelligent-age-building-a-future-proof-workforce/