| dc.date.accessioned | 2018-06-18T12:42:13Z | |
| dc.date.available | 2018-06-18T12:42:13Z | |
| dc.date.issued | 2018-06-18 | |
| dc.identifier.uri | urn:nbn:de:hebis:34-2018061855694 | |
| dc.identifier.uri | http://hdl.handle.net/123456789/2018061855694 | |
| dc.language.iso | eng | |
| dc.rights | Urheberrechtlich geschützt | |
| dc.rights.uri | https://rightsstatements.org/page/InC/1.0/ | |
| dc.subject | content expectations | eng |
| dc.subject | interrater reliability | eng |
| dc.subject | likability | eng |
| dc.subject | prior subject interest | eng |
| dc.subject | student evaluations of teaching | eng |
| dc.subject | validity | eng |
| dc.subject | variance components | eng |
| dc.subject.ddc | 150 | |
| dc.title | Teaching quality in higher education: Do student evaluation of teaching questionnaires allow a reliable and valid assessment of teaching quality? | eng |
| dc.type | Dissertation | |
| dcterms.abstract | Improving teaching quality is a relevant topic in society to nurture the students’ innate potential in the best possible way. One often applied tool for assessing teaching quality in higher education is student evaluations of teaching (SETs) that are used as a criterion for making important decisions in higher education such as employing teachers, distributing funds, and making changes in the curriculum. Despite their effect on decisions it is relatively unclear if SETs are a valid and reliable assessment of teaching quality. Therefore, the current dissertation examines the influence of student characteristics that are not conceptually related to teaching quality in two ways. First the variance of students was estimated through cross-classified multilevel models. This type of analysis allows a direct estimation of variance attributed to the students while separating it from the residual variance. Second selected student characteristics were added as predictors to estimate their effect on SETs and therefore to enhance the interpretation of their validity. In all studies a standardized German questionnaire was applied as the SET instrument.
The first study investigated the reliability of SETs as measurement of teaching quality which was operationalized as interrater reliability calculated from intra-class correlations. It was assessed by comparing the variance components of teachers, courses, and students. The instrument can be considered reliable only when a high proportion of variance is explained by teachers and courses, however not by students. The study revealed that teachers and courses were large sources of variance in different dimensions of the questionnaire. This result suggests that SETs are reliable instruments if a sufficient number of students (at least 24) evaluate a teacher and course. Moreover, the study also revealed students and the interaction of students and teachers as relevant sources of variance. This finding implies that student characteristics and the individual fit between students and teachers can affect SETs and should be considered in the ongoing discussion of the instrument’s validity.
The latter two studies examined the validity of SETs. The second study focused on student’s characteristics, content expectations and prior subject interest. Both variables are theoretically unrelated to teaching quality because they are outside of the teacher’s sphere of influence. Therefore they should not affect SET results. This means that the inclusion of both variables as predictors into cross-classified multilevel models should not lead to significant fixed effects. The second study revealed significant but weak effects of both variables on SETs and thus did not pose strong threats to the validity of SETs.
The third study also addressed the validity of SETs, extending the research of prior subject interest by measuring it twice, once at the beginning of the course and a second time retrospectively at the time of evaluation. Additionally, likability of the teacher perceived by students was measured once at the beginning of the course and a second time at the typical time of evaluation toward the end of the semester. Similar to the results from Study 2 a weak effect was found of prior subject interest on the validity of SETs. However, the likability of teachers had a strong effect on the validity of SETs at both times of measurement. This result was interpreted as a strong effect of likability, which is theoretically unconnected to teaching quality and thus undermines the validity of SETs.
The results of the three studies suggest that SETs are a reliable instrument given a sufficient number of evaluations. Only the likability of the teacher perceived by students strongly affected the SETs and hence was a solid threat to its validity as a measurement of teaching quality. Conclusively, decisions should not be justified solely by SETs. | eng |
| dcterms.abstract | Die Verbesserung der Lehrqualität ist im Sinne einer bestmöglichen Förderung aller Studierenden ein wichtiges gesellschaftliches Thema. Typischerweise wird universitäre Lehrqualität durch studentische Evaluationsfragebögen erfasst, deren Ergebnisse häufig die Grundlage für Entschei-dungen sind, die das Lehrpersonal, finanzielle Mittelverteilungen und Lehrplanänderungen betreffen. Trotz der Reichweite dieser Entscheidungen ist jedoch unklar, ob die Fragebögen Lehrqualität überhaupt reliabel und valide messen. Hier ansetzend wurde in der vorliegenden Dissertation der Einfluss von studentischen Merkmalen, die eigentlich nichts mit Lehrqualität zu tun haben, auf Evaluationsfragebögen untersucht. Als Erstes wurde die durch Studierende erklärte Varianz durch kreuzklassifizierte Mehrebenenmodelle geschätzt. Dieses Analyseverfahren erlaubt eine Abgrenzung der studentischen Varianz von der unerklärten Varianz. Darauf folgend wurde der Effekt studentischer Merkmale auf Evaluationsfragebögen untersucht, in dem diese als Prädiktoren in die Analysen aufge¬nommen wurden. Die drei folgenden Studien basieren auf demselben in Deutschland häufig eingesetzten standardisierten Evaluationsfragebogen.
In der ersten Studie wurde die Fragebogenreliabilität als Maß der Lehrqualität untersucht. Die Reliabilität wurde als Interrater-Reliabilität auf Basis der Intra-Klassen-Korrelation berechnet. Hierfür wurden die Varianzanteile der Dozierenden, Veranstaltungen und Studierenden berechnet. Ein Evaluationsfragebogen wird dann als reliabel eingestuft, wenn viel Varianz durch Dozierende und Veranstaltungen, nicht jedoch durch Studierende, erklärt wird. Die Ergebnisse dieser Studie zeigten, dass Dozierende und Veranstaltungen in den analysierten Fragebogendimensionen ausreichend Varianz aufklärten, wenn genügend Evaluationen (mindestens 24) pro Veranstaltung vorlagen. Darüber hinaus zeigte die Studie auch eine erhebliche Varianzaufklärung durch die beiden Komponenten Studierende und Interaktion Studierende und Dozierende. Dieser Befund impliziert, dass Studierenden¬merk¬male und die individuelle Passung zwischen Studierenden und Dozierenden die Evaluations¬ergebnisse beeinflussen können.
Auf diesen Befunden aufbauend wurde in den folgenden beiden Studien die Validität der Evaluations¬fragebögen untersucht. In der zweiten Studie wurden die Studierendenmerkmale inhaltliche Vorstellungen über das Studienfach Psychologie und inhaltliches Vorinteresse untersucht. Beide Variablen sind theoretisch unabhängig von Lehrqualität, da sie außerhalb des Einflussbereiches der Dozierenden liegen. Somit sollten sie keinen Effekt auf Evaluations-ergebnisse haben. Die Ergebnisse dieser Studie offenbarten schwache, jedoch signifikante Effekte beider Variablen auf Evaluationsfragebögen. Diese beiden Studierendenmerkmale stellen somit nur eine schwache Bedrohung der Fragebogenvalidität dar.
In der dritten Studie wurden ebenfalls potentiell validitätsgefährdende Studierendenmerkmale betrachtet. Einerseits wurde erneut inhaltliches Vorinteresse betrachtet. Es wurde diesmal zu zwei Zeiten erfasst: 1) zu Beginn der Veranstaltung und 2) wie in Studie 2 zur Evaluationszeit. Darüber hinaus wurde Sympathie den Dozierenden gegenüber, ebenfalls zweimal erfasst, betrachtet. Ähnlich zu den Ergebnissen der Studie 2 zeigte sich ein geringer Effekt des inhaltlichen Vorinteresses. Sympathie offenbarte dagegen einen hohen Einfluss auf die Evaluationsergebnisse und gefährdet somit die Validität der Evaluationsfragebögen.
Die Ergebnisse dieser Dissertation legen nahe, dass Evaluationsfragebögen ausreichend reliabel sind, wenn mindestens 24 Evaluationen vorliegen. Sie sind jedoch keine validen Messinstru¬mente der Lehrqualität, da sie stark durch Sympathieeinschätzungen den Dozierenden gegen¬über beeinträchtigt sind. Daher sollten weitreichende Entscheidungen nicht ausschließlich durch Evaluationsergebnisse begründet sein. | ger |
| dcterms.accessRights | open access | |
| dcterms.creator | Feistauer, Daniela | |
| dc.contributor.corporatename | Kassel, Universität Kassel, Fachbereich Humanwissenschaften, Institut für Psychologie | |
| dc.contributor.referee | Richter, Tobias (Prof. Dr.) | |
| dc.contributor.referee | Hänze, Martin (Prof. Dr.) | |
| dc.contributor.referee | Horz, Holger (Prof. Dr.) | |
| dc.subject.swd | Hochschule | ger |
| dc.subject.swd | Lehre | ger |
| dc.subject.swd | Qualität | ger |
| dc.subject.swd | Erwartung | ger |
| dc.subject.swd | Evaluierung | ger |
| dc.subject.swd | Fragebogen | ger |
| dc.subject.swd | Urteilerübereinstimmung | ger |
| dc.subject.swd | Reliabilität | ger |
| dc.subject.swd | Validität | ger |
| dc.date.examination | 2018-04-16 | |
