Der Einfluss der Stichprobenverzerrung auf die Datenqualität in einer online-gestützten Studierendenbefragung - Ein Modusvergleich am Beispiel einer Trendstudie

  • Mareike Kaucher RWTH Aachen
  • Daniel Baron RWTH Aachen
Schlagworte: Online-Befragung, Datenqualität, Repräsentativität, Modusvergleich

Abstract

Online-Umfragen haben in der jüngeren Vergangenheit in der empirischen Sozialforschung zunehmend an Relevanz gewonnen. Zu ihren Vorzügen zählen, dass sie kostengünstig sind, dass Multimedia-Elemente in das Erhebungsinstrument integriert werden können und dass die Daten schneller verfügbar sind. Dies hat einerseits zu einer „Demokratisierung“ der Umfrageforschung geführt, andererseits aber auch zu einer regelrechten Schwemme an Befragungen mit zum Teil fragwürdiger Qualität. Auch das Problem rückläufiger Ausschöpfungsquoten sozialwissenschaftlicher Er-hebungen wird durch Online-Erhebungen kaum gelöst, sondern eher verstärkt, so dass auch diese keine Gewähr gegen systematische Verzerrungen infolge von Unit-Nonresponse bieten.

Angesichts dieser Probleme schlagen wir im vorliegenden Beitrag ein methoden-vergleichendes Verfahren zur Überprüfung der systematischen Stichprobenverzerrung und ihrer Einflüsse auf die Daten-qualität im Zuge von Online-Erhebungen vor. Ausgangspunkt ist ein Trenddesign, das die vergleichende Analyse von online erhobenen und per Paper-and-Pencil-Verfahren gesammelten Daten erlaubt. Datengrundlage für die Untersuchungen bildet eine seit dem Jahr 2006 laufende Trendanalyse zum Studierendenverhalten und zur Studienmotivation in geistes- und sozialwissenschaftlichen Studiengängen an der RWTH Aachen. Die Daten für die aktuelle Welle wurden zwischen Februar und April 2016 per Online-Befragung gesammelt. Die beiden früheren Wellen (2006 und 2011) wurden per Paper-and-Pencil-Verfahren erhoben.

Im ersten Schritt werden die aktuell erhobenen Daten mittels Abgleich mit den vorliegenden amtlichen Statistiken auf systematische Verzerrungen untersucht. Im zweiten Schritt wird untersucht, ob und inwieweit sich die Stichprobenverzerrung im Zuge der Online-Erhebung im Vergleich zu früheren (Paper-and-Pencil-basierten) Erhebungen verändert hat. Hierzu werden folgende Variablen verglichen: Alter, Geschlecht, Abidurchschnitt. Dabei werden institutionelle, d.h. nicht direkt mit dem Erhebungsdesign verbundene Einflüsse (z.B. Änderungen/Reformen von Studiengängen), mit Blick auf die aufgezeigten Entwicklungen diskutiert.

Literaturhinweise

Batinic, B. 2003: Internetbasierte Befragungsverfahren. Österreichische Zeitschrift für Soziologie, 28. Jg., Heft 4, 6–18.
Buskirk, T. D., Kolenikov, S. 2015: Finding respondents in the forest. A comparison of logistic regression and random forest models for response propensity weighting and stratification. Survey Methods: Insights from the Field.
Couper, M. P. 2000: Web surveys. A review of issues and approaches. Public Opinion Quarterly, 64. Jg.,464–494.
Couper, M. P., Singer, E. 2013: Informed consent for web paradata use. Survey Research Methods, 7. Jg., Heft 1, 57–67.
Greenlaw, C., Brwon-Welty, S. 2009: A comparison of web-based and paper-based survey methods. Testing assumptions of survey mode and response cost. Evaluation Review, 33. Jg., Heft 5, 464–480.
Jacob, R., Heinz, A., Décieux, J. P., Eirmbter, W. H. 2011: Umfrage – Einführung in die Methoden der Umfrageforschung. München: Oldenbourg Verlag.
Kreuter, F., Casas-Cordero, C. 2010: Paradata. Working Paper 136. Berlin: German Council for Social and Economic Data (RatSWD).
Lozar Manfreda, K., Bosnjak, M., Berzelak, J., Haas, I., Vehovar, V. 2008: Web surveys versus other survey modes: A meta-analysis comparing response rates. International Journal of Market Research, 50. Jg., Heft 1, 79–104.
Rada, V. D. d., Domínguez-Álvarez, J. A. 2014: Response quality of self-administered questionaires. A comparison between paper and web questionnaires. Social Science Computer Review, 32. Jg., Heft 2, 256–269.
RWTH Aachen 2007: Zahlenspiegel 2006. Aachen: RWTH Aachen.
RWTH Aachen 2012: Zahlenspiegel 2011. Aachen: RWTH Aachen.
RWTH Aachen 2015: Studierende. Datenblatt Wintersemester 15/16. Aachen: RWTH Aachen.
Schnell, R. 1997: Nonresponse in Bevölkerungsumfragen: Ausmaß, Entwicklung und Ursachen. Opladen: Leske und Budrich.
Schnell, R. 2012: Survey-Interviews. Methoden standardisierter Befragungen. Wiesbaden: VS Verlag für Sozialwissenschaften.
Schnell, R., Hill, P. B., Esser, E. 2013: Methoden der empirischen Sozialforschung. München: Oldenbourg Verlag.
Schouten, B., Shlomo, N., Skinner, C. 2011: Indicators for monitoring and improving representativeness of response. Journal of Official Statistics, 27. Jg., Heft 2, 231–253.
Schupp, J., Wolf, C. (Hg), 2015: Nonresponse Bias. Qualitätssicherung sozialwissenschaftlicher Umfragen. Wiesbaden: Springer VS.
Shin, E., Johnson, T. P., Kumar, R. 2012: Survey mode effects on data quality. Comparison of web and mail modes in a U.S. National Panel Survey. Social Science Computer Review, 30. Jg., Heft 2, 212–228.
Veröffentlicht
2017-07-18
Rubrik
Ad-Hoc: Fluch oder Segen? Ambivalente Perspektiven auf die Antwortqualität von Onlineumfragen