Date
2024Author
Jankowsky, KristinURI
doi:10.17170/kobra-2024050710129doi:10.1177/01650254221075034doi:10.1177/10731911231167490doi:10.1111/bjc.12452Metadata
Show full item record
Dissertation
Promises and Pitfalls of Machine Learning Modeling in Psychological Research
Abstract
Algorithmen des maschinellen Lernens werden in der Psychologie und ihren Teildisziplinen immer beliebter. Sie werden häufig dafür angepriesen, dass sie mit der Multikollinearität von Prädiktorvariablen und komplexen Beziehungen zwischen Prädiktoren und Kriterien effizient umgehen können. Trotz ihrer Vorteile werden auch immer mehr kritische Stimmen laut, die auf die derzeitigen Grenzen von Vorhersagen durch maschinelles Lernen hinweisen und die Frage aufwerfen, ob die Algorithmen den Erwartungen gerecht werden. Insbesondere gibt es immer mehr Berichte über fehlerhafte Modellvalidierungen, die wiederum inflationäre Ergebnisse bedingen. In dieser Dissertation untersuche ich die Nützlichkeit von Algorithmen des maschinellen Lernens für die Vorhersage von Abbrüchen in längsschnittlichen Studien (Manuskript 1), Suizidversuchen von Jugendlichen (Manuskript 2), dem Ansprechen auf eine Psychotherapie (Manuskript 3) und dem Abbruch einer Psychotherapie (Manuskript 4). In jedem dieser Gebiete werden Machine Learning Algorithmen immer häufiger mit dem Ziel genutzt, negative Ergebnisse proaktiv zu vermindern. Innerhalb des Prologs gehe ich jeweils auf typische Probleme bei der Machine Learning Modellierung innerhalb dieser Gebiete ein und adressiere diese innerhalb der vier Studien. Im Epilog diskutiere ich verschiedene Aspekte (Zeit, Umgebung, Kultur, Messinstrumente und -verfahren, und Methoden), die sich auf die Generalisierbarkeit von Vorhersagemodellen auswirken können und bisher bei dessen Betrachtung innerhalb der psychologischen Forschung zu kurz kommen. Darüber hinaus thematisiere ich verschiedene Aspekte, bei denen es innerhalb von Machine Learning Modellierung in der psychologischen Forschung allgemein, aber auch für meine Vorhersagemodelle noch Verbesserungspotential gibt (z.B. eine strengere Variablenvorabauswahl oder die stärkere Verknüpfung von Machine Learning Modellierung und Open Science Praktiken).
Machine learning algorithms are becoming increasingly popular across psychology and its subdisciplines. They are often praised for their ability to efficiently deal with collinearity of predictors and complex relationships between predictors and outcomes. Despite their advantages, there are also critical voices pointing out the current limitations of machine learning predictions and questioning whether the algorithms live up to the expectations. In particular, there are increasing reports of incorrect model validation contributing to inflationary results. In this thesis, I investigate the usefulness of machine learning across four prediction use cases, namely the prediction of attrition in longitudinal studies (manuscript 1), of suicide attempts of adolescents (manuscript 2), of treatment response in psychotherapy (manuscript 3), and of psychotherapy dropout (manuscript 4). In each of these research areas, machine learning algorithms are increasingly being used with the aim to proactively prevent negative outcomes. In the prologue and in the four studies, I present and address typical pitfalls in machine learning modeling common for each of these areas. In the epilogue, I discuss different aspects (time, settings, cultures, measures, and methods) that can affect the generalizability of predictive models and that have not been sufficiently considered in the psychological research literature so far. In addition, I address several aspects where there is still room for improvement not only in machine learning modeling in psychological research in general, but also with respect to the prediction models included in this thesis (e.g., a more stringent feature selection or a more rigorous combination of machine learning modeling and open science practices).
Citation
@phdthesis{doi:10.17170/kobra-2024050710129,
author={Jankowsky, Kristin},
title={Promises and Pitfalls of Machine Learning Modeling in Psychological Research},
school={Kassel, Universität Kassel, Fachbereich Humanwissenschaften, Institut für Psychologie, Fachgebiet Psychologische Diagnostik},
year={2024}
}
0500 Oax 0501 Text $btxt$2rdacontent 0502 Computermedien $bc$2rdacarrier 1100 2024$n2024 1500 1/eng 2050 ##0##http://hdl.handle.net/123456789/15747 3000 Jankowsky, Kristin 4000 Promises and Pitfalls of Machine Learning Modeling in Psychological Research / Jankowsky, Kristin 4030 4060 Online-Ressource 4085 ##0##=u http://nbn-resolving.de/http://hdl.handle.net/123456789/15747=x R 4204 \$dDissertation 4170 5550 {{Maschinelles Lernen}} 5550 {{Suizid}} 5550 {{Therapieabbruch}} 5550 {{Psychologie}} 5550 {{Forschung}} 7136 ##0##http://hdl.handle.net/123456789/15747
2024-05-13T07:28:22Z 2024-05-13T07:28:22Z 2024 doi:10.17170/kobra-2024050710129 http://hdl.handle.net/123456789/15747 eng doi:10.1177/01650254221075034 doi:10.1177/10731911231167490 doi:10.1111/bjc.12452 Namensnennung-Nicht-kommerziell 4.0 International http://creativecommons.org/licenses/by-nc/4.0/ machine learning predictive modeling psychological research suicidal behavior treatment response therapy dropout attrition in longitudinal studies 150 Promises and Pitfalls of Machine Learning Modeling in Psychological Research Dissertation Algorithmen des maschinellen Lernens werden in der Psychologie und ihren Teildisziplinen immer beliebter. Sie werden häufig dafür angepriesen, dass sie mit der Multikollinearität von Prädiktorvariablen und komplexen Beziehungen zwischen Prädiktoren und Kriterien effizient umgehen können. Trotz ihrer Vorteile werden auch immer mehr kritische Stimmen laut, die auf die derzeitigen Grenzen von Vorhersagen durch maschinelles Lernen hinweisen und die Frage aufwerfen, ob die Algorithmen den Erwartungen gerecht werden. Insbesondere gibt es immer mehr Berichte über fehlerhafte Modellvalidierungen, die wiederum inflationäre Ergebnisse bedingen. In dieser Dissertation untersuche ich die Nützlichkeit von Algorithmen des maschinellen Lernens für die Vorhersage von Abbrüchen in längsschnittlichen Studien (Manuskript 1), Suizidversuchen von Jugendlichen (Manuskript 2), dem Ansprechen auf eine Psychotherapie (Manuskript 3) und dem Abbruch einer Psychotherapie (Manuskript 4). In jedem dieser Gebiete werden Machine Learning Algorithmen immer häufiger mit dem Ziel genutzt, negative Ergebnisse proaktiv zu vermindern. Innerhalb des Prologs gehe ich jeweils auf typische Probleme bei der Machine Learning Modellierung innerhalb dieser Gebiete ein und adressiere diese innerhalb der vier Studien. Im Epilog diskutiere ich verschiedene Aspekte (Zeit, Umgebung, Kultur, Messinstrumente und -verfahren, und Methoden), die sich auf die Generalisierbarkeit von Vorhersagemodellen auswirken können und bisher bei dessen Betrachtung innerhalb der psychologischen Forschung zu kurz kommen. Darüber hinaus thematisiere ich verschiedene Aspekte, bei denen es innerhalb von Machine Learning Modellierung in der psychologischen Forschung allgemein, aber auch für meine Vorhersagemodelle noch Verbesserungspotential gibt (z.B. eine strengere Variablenvorabauswahl oder die stärkere Verknüpfung von Machine Learning Modellierung und Open Science Praktiken). Machine learning algorithms are becoming increasingly popular across psychology and its subdisciplines. They are often praised for their ability to efficiently deal with collinearity of predictors and complex relationships between predictors and outcomes. Despite their advantages, there are also critical voices pointing out the current limitations of machine learning predictions and questioning whether the algorithms live up to the expectations. In particular, there are increasing reports of incorrect model validation contributing to inflationary results. In this thesis, I investigate the usefulness of machine learning across four prediction use cases, namely the prediction of attrition in longitudinal studies (manuscript 1), of suicide attempts of adolescents (manuscript 2), of treatment response in psychotherapy (manuscript 3), and of psychotherapy dropout (manuscript 4). In each of these research areas, machine learning algorithms are increasingly being used with the aim to proactively prevent negative outcomes. In the prologue and in the four studies, I present and address typical pitfalls in machine learning modeling common for each of these areas. In the epilogue, I discuss different aspects (time, settings, cultures, measures, and methods) that can affect the generalizability of predictive models and that have not been sufficiently considered in the psychological research literature so far. In addition, I address several aspects where there is still room for improvement not only in machine learning modeling in psychological research in general, but also with respect to the prediction models included in this thesis (e.g., a more stringent feature selection or a more rigorous combination of machine learning modeling and open science practices). open access Jankowsky, Kristin 2024-04-25 137 Seiten Kassel, Universität Kassel, Fachbereich Humanwissenschaften, Institut für Psychologie, Fachgebiet Psychologische Diagnostik Schroeders, Ulrich (Prof. Dr.) Zimmermann, Johannes (Prof. Dr.) Gnambs, Timo (Dr.) Maschinelles Lernen Suizid Therapieabbruch Psychologie Forschung publishedVersion false true true
The following license files are associated with this item: