Daten aus probabilistischen und nicht-probabilistischen Online Panel-Stichproben sind in der aktuellen Zeit omnipräsent und haben unter anderem eine prominente Rolle in der Erforschung der Auswirkungen der COVID-19-Pandemie eingenommen. Die Daten aus diesen Online Panel Stichproben werden häufig als „(bevölkerungs-)repräsentativ“ und/oder „fit-for-purpose“ bezeichnet. Aber was bedeutet das eigentlich? Und unter welchen Voraussetzungen kann man dies als zutreffend erachten, bzw. annehmen? Und wie kann man „Repräsentativität“ und „Fitness-for-purpose“ eigentlich messen und kommunizieren? Basierend auf existierenden theoretischen Konzepten und dem aktuellen Stand der empirischen Evidenz soll dieser Vortrag dazu beitragen, neue Impulse in die Diskussion um Datenqualität in (nicht-)probabilistischen Online Panel Daten zu geben, und eine transparente und (teil-)standardisierte Kommunikation über Datengüte zu fördern.

In vielen Ländern und Kontexten sehen sich Umfrageforscher mit sinkenden Antwortquoten und steigenden Umfragekosten konfrontiert. Die Datenerhebung ist sogar noch komplexer und teurer, wenn seltene oder schwer zu erreichende Bevölkerungsgruppen befragt werden sollen. In diesen Fällen sind in der Regel alternative Stichproben- und Rekrutierungsverfahren erforderlich, darunter Non-Probability- und Online-Convenience-Stichproben. Ein recht neuer Ansatz zur Rekrutierung seltener Bevölkerungsgruppen für die Teilnahme an Online- und mobilen Umfragen ist die Werbung in sozialen Medien. Social-Media-Plattformen bieten einen relativ kostengünstigen Zugang zu einer großen Anzahl potenzieller Befragter und ermöglichen es, ansonsten schwer zu erreichende Bevölkerungsgruppen zu identifizieren und anzusprechen. Diese Rekrutierung birgt jedoch eine Reihe von Herausforderungen, darunter Untererfassung und Selbstselektion, Betrug und gefälschte Interviews sowie Probleme bei der Gewichtung der Umfragedaten, um unverzerrte Schätzungen zu ermöglichen.

Dieser Vortrag gibt Einblicke in die Möglichkeiten und Hürden, die Social Media Plattformen für die Umfrageforschung bieten. Es werden zwei Social-Media-Stichproben von seltenen Bevölkerungsgruppen vorgestellt und diskutiert. Darüber hinaus werden durch den Vergleich einer Social-Media-Stichprobe mit einer gleichzeitig erhobenen Face-to-Face-Wahrscheinlichkeitsumfrage die Möglichkeiten, die Angemessenheit und die Grenzen der Social-Media-Rekrutierung im Vergleich zu traditionellen Stichprobenverfahren bewertet.

Das Modell zur Informationssystem-Erfolgsmessung von DeLone und McLean ist die dominante theoretische Grundlage der Literatur zum Thema. In das Modell fließen System-, Dienst- und Informationsqualität als abhängige Variablen ein. Weiterhin werden quantitative Nutzung und qualitative Daten in der Erfolgsmessung zusammen und konzertiert eingesetzt. Für professionelle Praxisgemeinschaften, wie sie vor allem durch Etienne Wenger einführt wurden, wird über die Festlegung von Erfolgsfaktoren und Messung der Erfolgskriterien ein Erfolgsmodell erzeugt, wobei auf die kontinuierliche, langfristige und möglichst automatische Erhebung von Daten fokussiert wird. Zu diesem Zweck haben wir mit MobSOS ein Rahmenwerk und eine technische Plattform geschaffen, die es uns erlauben, Erfolgsmodelle kollaborativ zu erzeugen, zu pflegen, Erfolgsfaktoren aus Katalogen zu wählen, mit Messungen zu instrumentieren, Ergebnisse zu visualisieren und durch die Analyse im zugrundeliegenden Informationssystem und der Erfolgsmodellierung gegebenenfalls zu intervenieren. Durch die Lenkung der Aufmerksamkeit von professionellen Praxisgemeinschaften auf Erfolgsmodelle und die dadurch ermöglichte Reflexion werden die Grundlagen geschaffen für das soziale Lernen der Gemeinschaft zur Erhaltung oder gar Steigerung der Handlungsmacht trotz sich wandelnder Praxen und Systeme. Beispiele aus realen Praxen und laufenden Forschungsprojekten werden den Vortrag illustrieren.