„To force or not to force. That is the question!“: Die Auswirkungen des Einsatzes von Forced-Response-Fragen auf die Qualität der Befragungsergebnisse

Autor/innen

  • Alexandra Mergener Bundesinstitut für Berufsbildung (BIBB)
  • Philipp Sischka Université du Luxembourg
  • Jean Philippe Decieux Université du Luxembourg Research Unit Inside

Schlagworte:

Forced Answering, Onlineumfrage, Onlinesurvey, Forced Response, Antwortzwang, Pflichtfrage

Abstract

Die Methode der Onlinebefragung hat sich innerhalb des letzten Jahrzehnts als Befragungsroutine etabliert. Sie ist zumeist mit niedrigen Kosten verbunden und ermöglicht es innerhalb kürzester Zeit hohe Fallzahlen zu erzielen sowie „fundierte“ Ergebnisse zu generieren. Dies führte einerseits zu einer Demokratisierung der Umfrageforschung, denn mithilfe der Onlinebefragung ist es nahezu jedem möglich ein Befragungsprojekt durchzuführen. Andererseits resultiert daraus aber auch, dass viele Befragungen von Laien durchgeführt werden, dadurch eine schlechte Qualität aufweisen und zahlreiche Operationalisierungsfehler enthalten.
Ein Beispiel hierfür ist die Verwendung der Forced Response Option, deren Auswirkungen innerhalb dieses Forschungsprojektes untersucht werden.
Theoretischer Hintergrund des Projektes
Als Forced-Response wird allgemein die Möglichkeit bezeichnet den Respondenten einer Umfrage zur Beantwortung einer Frage zu verpflichten. Bei den meisten Programmpaketen zur Durchführung eines Onlinesurveys ist dies auf einfachste Art und Weise zu realisieren.
Diese Praxis kommt zuweilen sehr häufig auch zur Anwendung, ohne dass sich die Fragesteller über eventuelle Folgen ihrer Wahl bewusst sind. In den Handbüchern der Programme  wird diese Option als eine Lösung angepriesen, die den Item Non Response verringert.
In der Methodenliteratur gibt es jedoch zahlreiche Bedenken und Gegenstimmen für diese Vor-gehens¬weise. Diese Bedenken speisen sich aus der Über¬legung, dass der Befragte plausible Gründe haben kann, um nicht zu antworten (der Befragte versteht die Frage nicht, die entsprechende Antwortkategorie fehlt, der Befragte will die Frage aus persönlichen Gründen bewusst nicht beantworten, usw.).
Verpflichtet man den Befragten unter diesen Umständen eine Antwort zu geben, könnte dies möglicherweise dazu führen, dass die Befragung abgebrochen wird oder der Befragte eine willkürliche/inhaltsunabhängige Antwort gibt.
Zusammenfassend lassen sich damit zwei zentrale Thesen aufstellen:
1. Forced-Response führt zu erhöhtem Unit Non Response.
2. Forced-Response führt zu weniger validen Antworten (Lügen oder Zufallsantwort).
Allerdings gibt es bisher kaum empirische Untersuchungen, die diese Behauptungen belegen.
Ziel des Projektes
Über Split Ballot Experimente werden die genauen Folgen der Implementierung einer Forced-Response-Option empirisch abgebildet. Die Folgen sollen über die Analyse von Abbruchquoten und Antwortreaktionszeiten dargestellt werden. Die Feldphase des Online-Experiments endet Mitte Juli 2014, sodass wir dann in der Lage sind, aktuelle und bisher nicht veröffentlichte Ergebnisse auf dem Kongress zu präsentieren.

Autor/innen-Biografien

Alexandra Mergener, Bundesinstitut für Berufsbildung (BIBB)

Wissenschaftliche Mitarbeiterin im Arbeitsbereich 2.2 “ Qualifikation, berufliche Integration und Erwerbstätigkeit“ und Doktorandin an der Universität Trier

Philipp Sischka, Université du Luxembourg

Doktorand in der Research Unit Inside

Jean Philippe Decieux, Université du Luxembourg Research Unit Inside

Doktorand in der Research Unit Inside

Literaturhinweise

Albaum, G., Roster, C., Smith, S. 2014: Topic sensitivity and research design: effects on internet survey respondents' motives. Asia Pacific Journal of Marketing and Logistics 26, 147–161.

Albaum, G., Wiley, J., Roster, C., Smith, S. M. 2011: Visiting item non-responses in internet survey data collection. International Journal of Market Research 53, 687–703.

Albaum, G. et al. 2010: Designing web surveys in marketing research: does use of forced answering affect completion rates? The Journal of Marketing Theory and Practice 18, 285–294.

Batinic, B. 2003: Internetbasierte Befragungsverfahren. Österreichische Zeitschrift für Soziologie 28, 6–18.

Cunha Jr, M., Caldieraro, F. 2009: Sunk‐Cost Effects on Purely Behavioral Investments. Cognitive Science 33, 105–113.

Décieux, J. P. P. 2012: Modeeffekte bei Onlineumfragen: Ein multivariater Methodenvergleich unter Zuhilfenahme eines Propensity Score Matchings. München: Akademische Verlagsgemeinschaft.

Décieux, J. P. P., Hoffmann, M. 2014: Antwortdifferenzen im Junk & Crime Survey: Ein Methodenvergleich mit goffmanscher Interpretation. S. In M. Löw (Hg.), Vielfalt und Zusammenhalt. Verhandlungen des 36. Kongresses der Deutschen Gesellschaft für Soziologie in Bochum und Dortmund 2012. Frankfurt am Main: Campus.

Derouvray, C., Couper, M. P. 2002: Designing a strategy for reducing «no opinion” responses in web-based surveys. Social Science Computer Review 20, 3–9.

Dillman, D. A., Smyth, J. D., Christian, L. M. 2014: Internet, phone, mail, and mixed-mode surveys: the tailored design method: John Wiley & Sons.

Fan, W., Yan, Z. 2010: Factors affecting response rates of the web survey: A systematic review. Computers in Human Behavior 26, 132–139.

Galesic, M., Bosnjak, M. 2009: Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly 73, 349–360.

Ganassali, S. 2008: The influence of the design of web survey questionnaires on the quality of responses. Survey Research Methods.
Göritz, A. S. 2007: Using online panels in psychological research. The Oxford handbook of Internet psychology, 473–485.

Jacob, R., Heinz, A., Décieux, J. P. 2013: Umfrage: Einführung in die Methoden der Umfrageforschung. München: Oldenbourg Verlag.

Kaczmirek, L. 2005: Web Surveys: A Brief Guide on Usability and Implementation Issues. Center for Survey Research and Metholology (ZUMA) 22.

Marcus, B. et al. 2007: Compensating for Low Topic Interest and Long Surveys: A Field Experiment on Nonresponse in Web Surveys. Social Science Computer Review 25, 372–383.

Meier, G., Schneid, M., Stegemann, Y., Stiegler, A. 2005: Steigerung der Ausschöpfungsquote von Telefonumfragen durch geschickte Einleitungstexte. Zuma Nachrichten 29: 37–55.

O’ Neil, K. M., Penrod, S. D., Bornstein, B. H. 2003: Web-based research: Methodological variables’ effects on dropout and sample characteristics. Behavior Research Methods, Instruments, & Computers 35, 217–226.

Peytchev, A., Crawford, S. 2005: A typology of real-time validations in web-based surveys. Social science computer review 23, 235–249.

Preisendörfer, P. 2008: Heikle Fragen in mündlichen Interviews: Ergebnisse einer Methodenstudie im studentischen Milieu. Zürich. Working Paper. 6.
Questback 2013: Enterprise Feedback Suite EFS Survey 9.1. Köln.

Roster, C. A., Albaum, G., Smith, S. M. 2014: Topic sensitivity and Internet survey design: A cross-cultural/national study. Journal of Marketing Theory and Practice 22, 91–102.

Sakshaug, J. W., Yan, T., Tourangeau, R. 2010: Nonresponse error, measurement error, and mode of data collection: tradeoffs in a multi-mode survey of sensitive and non-sensitive items. Public Opinion Quarterly 74, 907–933.

Schnell, R., Hill, P. B., Esser, E. 2011: Methoden der empirischen Sozialforschung. München: Oldenbourg Verlag.

Stieger, S., Reips, U. D., Voracek, M. 2007: Forced‐response in online surveys: Bias from reactance and an increase in sex‐specific dropout. Journal of the American Society for Information Science and Technology 58, 1653–1660.

Taddicken, M. 2008: Methodeneffekte bei Web-Befragungen. Köln: Herbert von Halem Verlag.

Vicente, P., Reis, E. 2010: Using questionnaire design to fight nonresponse bias in web surveys. Social Science Computer Review 28, 251–267.

Zeelenberg, M., Van Dijk, E. 1997: A reverse sunk cost effect in risky decision making: Sometimes we have too much invested to gamble. Journal of Economic Psychology 18, 677–691.

Downloads

Veröffentlicht

2015-12-23