Der Einfluss der Stichprobenverzerrung auf die Datenqualität in einer online-gestützten Studierendenbefragung - Ein Modusvergleich am Beispiel einer Trendstudie

Abstract

Online-Umfragen haben in der jüngeren Vergangenheit in der empirischen Sozialforschung zunehmend an Relevanz gewonnen. Zu ihren Vorzügen zählen, dass sie kostengünstig sind, dass Multimedia-Elemente in das Erhebungsinstrument integriert werden können und dass die Daten schneller verfügbar sind. Dies hat einerseits zu einer „Demokratisierung“ der Umfrageforschung geführt, andererseits aber auch zu einer regelrechten Schwemme an Befragungen mit zum Teil fragwürdiger Qualität. Auch das Problem rückläufiger Ausschöpfungsquoten sozialwissenschaftlicher Er-hebungen wird durch Online-Erhebungen kaum gelöst, sondern eher verstärkt, so dass auch diese keine Gewähr gegen systematische Verzerrungen infolge von Unit-Nonresponse bieten.

Angesichts dieser Probleme schlagen wir im vorliegenden Beitrag ein methoden-vergleichendes Verfahren zur Überprüfung der systematischen Stichprobenverzerrung und ihrer Einflüsse auf die Daten-qualität im Zuge von Online-Erhebungen vor. Ausgangspunkt ist ein Trenddesign, das die vergleichende Analyse von online erhobenen und per Paper-and-Pencil-Verfahren gesammelten Daten erlaubt. Datengrundlage für die Untersuchungen bildet eine seit dem Jahr 2006 laufende Trendanalyse zum Studierendenverhalten und zur Studienmotivation in geistes- und sozialwissenschaftlichen Studiengängen an der RWTH Aachen. Die Daten für die aktuelle Welle wurden zwischen Februar und April 2016 per Online-Befragung gesammelt. Die beiden früheren Wellen (2006 und 2011) wurden per Paper-and-Pencil-Verfahren erhoben.

Im ersten Schritt werden die aktuell erhobenen Daten mittels Abgleich mit den vorliegenden amtlichen Statistiken auf systematische Verzerrungen untersucht. Im zweiten Schritt wird untersucht, ob und inwieweit sich die Stichprobenverzerrung im Zuge der Online-Erhebung im Vergleich zu früheren (Paper-and-Pencil-basierten) Erhebungen verändert hat. Hierzu werden folgende Variablen verglichen: Alter, Geschlecht, Abidurchschnitt. Dabei werden institutionelle, d.h. nicht direkt mit dem Erhebungsdesign verbundene Einflüsse (z.B. Änderungen/Reformen von Studiengängen), mit Blick auf die aufgezeigten Entwicklungen diskutiert.