„how is your opinion regulated and by whom is your opinion made? Empirical social research is a method that has been attacked many times because this system can be used to manipulate opinions and results. Is your opinion that you really feel your opinion? Or have you already been manipulated and regulated?“
Die meisten Umfragen und Meinungen werden von einem Institut gamacht und reguliert. Die Umfragen sind auffällig ersichtlich in diversen medialen Artikeln, der Öffentlichkeit zugänglich gemacht und beeinflussen im Hintergrund die Meinung der Bevölkerung.
Erfahren Sie, was Deutschland denkt!
Wir ermöglichen repräsentative Umfragen im Internet. Dabei sehen erstmals alle die Ergebnisse. Kostenlos und in Echtzeit.
Reichweite
Befragen Sie das größte Panel Deutschlands. Erreichen Sie neue Leser und werden Sie durch erfolgreiche Agenturmeldungen mit Civey-Umfragen erhöht zitiert.
Eine Million registrierte und verifizierte Nutzer im Panel
Steigerung der Agentur-Performance um bis zu 200%
Wer klickt denn wirklich im Hintergrund und wer erstellt eine detailierte Auswertung ?
Wer kontrolliert das Ergebnis ?
Was denken Sie?
https://public.tableau.com/de-de/s/
Civey GmbH
Die Civey GmbH ist ein deutsches Start-up-Unternehmen mit Sitz in Berlin, das unter dem Namen Civey Meinungsumfragen durchführt, die regelmäßig eine breite Medienöffentlichkeit erfahren.
Die Daten für die Umfragen werden ausschließlich online erhoben, wobei sich die Umfrageteilnehmer selbst rekrutieren. Das Unternehmen gibt an, die Umfrageergebnisse seien dennoch repräsentativ für die Gesamtbevölkerung. Wegen dieser Behauptung und der angewandten Methodik steht das Unternehmen in der empirischen Sozialforschung in der Kritik.
Unternehmen
Das Unternehmen wurde 2015 von Gerrit Richter, ehemaliger Politikberater und Referent bei Hans Eichel, mit vier Mitstreitern unter der Firma OMNI TT GmbH gegründet. Von der Investitionsbank Berlin wurde Startkapital in Höhe von 1,7 Millionen Euro zur Verfügung gestellt. Im Januar 2017 erfolgte die Umbenennung in Civey GmbH. Der Name soll sich von dem englischen Citizen Survey, was übersetzt Bürgerumfrage heißt, ableiten. Seit November 2018 hat das Unternehmen einen Beirat, dem die ehemalige Bundesministerin Brigitte Zypries und die Wissenschaftler Jörg-Müller Lietzkow und Anselm Rink angehören. Tagesspiegel-Herausgeber Sebastian Turner investierte nach eigenen Angaben 2018 erstmals privat in Civey und hält mittlerweile nach einer Kapitalerhöhung im August 2019 über eine Beteiligungsgesellschaft knapp über die Hälfte der Gesellschafteranteile.
Civey-Umfragen werden auf zahlreichen Websites publiziert, von wo aus jeder auch an diesen teilnehmen kann (Fachbegriff: „Selbstrekrutierung“). Eine der reichweitenstärksten deutschen Websites, Spiegel Online, lässt sich von Civey die Sonntagsfrage, den sogenannten SPON-Wahltrend ermitteln. Zu den zahlreichen anderen Medien, die mit Civey kooperieren, gehören bspw. Focus Online, Die Welt und die öffentlich-rechtlichen Fernsehsender Bayerischer Rundfunk und Phoenix. Damit sind Civey-Inhalte mit Ausnahme von bild.de auf allen Nachrichten-Webseiten vertreten, die in Deutschland am meisten besucht werden.
Eine enge Kooperation besteht von Anfang an mit dem Tagesspiegel, für den Civey regelmäßig den politischen Berlin-Monitor erstellt und dessen Herausgeber mittlerweile dominierender Anteilseigner ist (s.o).
Kaum bis gar keine Ergebnisse aus Civey-Umfragen sind hingegen auf Webseiten und Portalen zu finden, die sich mit repräsentativer Wahlforschung auseinandersetzen. Die Seite Wahlrecht.de etwa listet Civeys Umfragen nicht aus. Die Ergebnisse für die Sonntagsfrage zur Bundestagswahl aller anderen Umfrage-Institute hingegen werden auf der Seite abgebildet, unter anderem auch jene von YouGov, welches im Mai 2017 eine solche Sonntagsfrage erstmals erhob.
Methodik
Civey erhebt die Ergebnisse für seine Umfragen nach eigenen Angaben ausschließlich online. Unternehmen wie Opinary erheben zwar auch ausschließlich onlinebasierte Umfragen, bestreiten aber nicht die Nicht-Repräsentavität von diesen. Anders als bei YouGov, das die Teilnehmer an einer Umfrage stichprobenartig aus einem manuell betreuten Online-Panel zieht, kann bei Civey-Umfragen jeder abstimmen und die Ergebnisse werden sofort angezeigt.
Civey streut die Umfragen nach eigenen Angaben über eine große Zahl von Internetseiten, das sogenannte „Riversampling“. Das Unternehmen selbst spricht von einem „Netzwerk von 25.000 Webseiten“, auf denen die Umfragewidgets platziert sind, womit allerdings die Zahl der Unterseiten (URLs) gemeint ist. Im Wesentlichen handelt es sich also um die Anzahl von Artikelseiten. Die Zahl der Websites, die Civey-Umfragen eingebunden haben, wird nicht öffentlich kommuniziert. Bei jeder Umfrage wird nach Beantwortung der erste Frage nach Alter, Geschlecht und Postleitzahl des jeweiligen Nutzers gefragt. Zusammen mit einem gesetzten Cookie gilt ein Benutzer danach bereits als „registriert“, auch ohne Angabe einer E-Mail-Adresse, die später ebenfalls möglich ist. Anschließend wird das Ergebnis der ersten beantworteten Frage sofort angezeigt. Der Nutzer hat dann die Möglichkeit, beliebig viele weitere Umfragen zu beantworten, wobei ebenfalls jeweils sofort das Umfrageergebnis angezeigt wird. Einige der Fragen sind keine herkömmlichen Umfragen, sondern haben zum Ziel, weitere Daten über den Nutzer für die spätere Gewichtung zu gewinnen. So z. B. Fragen nach Einkommen oder Familienstand.
Damit die Ergebnisse eine mutmaßlich repräsentative Aussagekraft erhalten, gewichtet das Unternehmen die auf diese Weise erhobenen Daten auf Basis von Basisvariablen, für die die tatsächliche Verteilung in der Bevölkerung als bekannt gilt, wie beispielsweise Alter, Geschlecht oder Postleitzahl, nach. Die Meinungen der Teilnehmer erhalten also ein unterschiedliches Stimmgewicht, sodass die Antworten auf die bei jeder Umfrage gleichzeitig abgefragten Basisvariablen ungefähr den Basisdaten der Gesamtbevölkerung entsprechen. Dies geschieht unter der strittigen Hypothese, dass dann auch die unbekannten Variablen (also die eigentlichen Umfrageantworten) bei gleicher Gewichtung denen der Gesamtbevölkerung entsprechen sollen und etwaige Verzerrungen, die beispielsweise durch die Selbstrekrutierung entstehen können, verschwinden. Es handelt sich damit abgesehen von der Besonderheit der Online-Selbstrekrutierung faktisch um eine typische Quotenstichprobe, welche ihrerseits seit Jahrzehnten in der Sozialwissenschaft kontrovers diskutiert wird.
Im Mai 2019 wurde Civey-Geschäftsführer Gerrit Richter in einem Interview darauf angesprochen, dass der Anteil von AfD-Sympathisanten an Teilnehmern bestimmter Umfragen zu politischen Statements sehr groß sei, woraufhin Richter antwortete, dass es „in den vergangenen Jahren dem rechtskonservativen Spektrum gelungen sei, online zu mobilisieren. Natürlich wird da versucht Umfragen zu manipulieren.“ Die entscheidende Frage sei, ob „dieser Bias festzustellen ist und mit statistischen Verfahren entfernt werden kann.“ Civey tue dies erfolgreich, so Richter.
Kritik
Civey sieht sich mit zunehmendem Bekanntheitsgrad Kritik ausgesetzt, die meistens darauf abzielt, dass die Umfrageergebnisse, anders als behauptet, tatsächlich nicht repräsentativ seien.
Auswahl von Kritik bekannter Wissenschaftler:
Rainer Schnell, Professor für Empirische Sozialforschung an der Universität Duisburg-Essen, bezeichnet die Civey-Methodik als „willkürliche Stichprobe“. Die Selbstauswahl sei zudem so gravierend, dass man sie „nicht mehr wegkorrigiert“ bekomme. „Wir wissen seit spätestens 1975, Freiwillige sind in vielen Dimensionen anders als Nicht-Freiwillige“, so Schnell.
Jörg Blasius, Professor am Institut für Politische Wissenschaft und Soziologie in Bonn, fand bei Civey diverse mathematische und inhaltliche Fehler. Seiner Ansicht nach sei die Methode „längst nicht repräsentativ“.
Gerd Bosbach, Professor für Statistik an der Hochschule Koblenz, sagte bezogen auf Civey-Umfragen dem Deutschlandfunk: „Leute, die sich dort anmelden, machen einen großen Aufwand. Denen ist es halt wichtig, dass ihre Meinung Einfluss nimmt. Und das ist schon ein ganz kleiner Ausschnitt aus der Bevölkerung. Also insofern ist das schon mal von der Warte her nicht repräsentativ.“
Helmut Jung, ehemaliger Präsident von ESOMAR: „Die Repräsentativität (hängt) angesichts der Internet-Dichte nicht von der Erhebungsmethode per Online, sondern von der Art der Rekrutierung ab. Hier gibt es bis zur völligen Offenlegung der Civey-Methodik mehr als erhebliche Zweifel.“
Ulrich Kohler, Professor für Methoden der empirischen Sozialforschung an der Universität Potsdam, schrieb Anfang August 2019 in einem offenen Brief bezogen auf Ergebnisse einer Civey-Umfrage zur Berliner Politik:
„Civey-Umfragen sind aus fachlicher Sicht ein Unterhaltungsformat. Das Stichprobendesign von Civey basiert auf einer willkürlichen Auswahl von Befragten. Das angewandte Gewichtungsverfahren ist hoch spekulativ, und das genaue Verfahren der wissenschaftlichen Kritik nicht zugänglich. Die mit der Civey-Methode ermittelten Prozentwerte können nicht beanspruchen, gültige Näherungswerte für „die Berliner“ zu liefern. Sie sind eine Fata Morgana!“
Im November 2019 äußerte sich die Akademie für Soziologie öffentlich: „Natürlich sind die Ergebnisse nur (für) die Nutzer der jeweiligen Dienste aussagekräftig – und dies auch nur mit der Einschränkung, dass nur an der Befragung besonders interessierte Personen teilnehmen. Damit kann man von den Ergebnissen einleuchtenderweise nicht auf die gesamte Bevölkerung oder Wahlberechtigte schließen.“
Civey kommt in gesellschaftspolitischen Umfragen des Öfteren zu gänzlich anderen Ergebnissen als die „klassischen“ Unternehmen der Meinungsforschung, die mit der Telefon-Stichprobe arbeiten. Dies sorgte für Aufsehen, weil in Deutschland solch drastische Abweichungen bisher unbekannt waren. Hervorzuheben ist eine Umfrage aus dem Jahre 2018, die fragte, ob Mesut Özil und Ilkay Gündogan nach einem Medientermin mit Recep Tayyip Erdoğan weiter in der Fußball-Nationalmannschaft für Deutschland auflaufen sollten, wonach laut Civey 80 % mit „Nein“ antworten, bei einer etwas anders formulierten Forsa-Umfrage waren es nur 25 % – eine Diskrepanz, die laut Kritikern nicht durch die statistische Fehlertoleranz erklärbar sei, sodass bei „diesen Abweichungen mindestens eines der Institute Quatsch verbreite“. Als Reaktion reichte Forsa gemeinsam mit infas und der Forschungsgruppe Wahlen eine Beschwerde beim Presserat ein, die sich allerdings gegen Focus online richtete, welches die Umfrage publiziert hatte. Die Beschwerde wurde einstimmig abgewiesen mit der Begründung, dass Journalisten über keine entsprechende Kompetenz verfügen (müssen), um selbstständig über Repräsentativität oder Nicht-Repräsentativität von Umfragen zu urteilen. Der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM), der die Presseratsbeschwerde nicht aktiv unterstützt hatte, kritisierte deren Ablehnung, weil, wenn Menschen auf Online-Seiten nach ihrer Meinung gefragt würden, diese Stichprobe nicht das Meinungsbild der Bevölkerung abbilden könne. Außerdem könnten solche Stichproben auch nicht – anders als Civey es behauptet – durch Gewichtung bevölkerungsrepräsentativ werden. „Für diese Erkenntnis benötigt man keine Statistikausbildung“, sagte ADM-Vorstandsvorsitzender Bernd Wachter.
Kritisiert wird auch, dass die Civey-Umfragen oftmals in einem „nicht-neutralen Umfeld“ positioniert seien, was zur Manipulation der Befragten führen könne. Als Beispiel dafür werden Umfragen genannt, die das Sicherheitsgefühl der Bürger abfragen, eingebettet in einen Artikel über ein Kapitalverbrechen.
Ein weiterer Kritikpunkt an Civey ist, dass das Unternehmen versichert, „Umfragen in Echtzeit“ zu produzieren, doch gibt es Beispiele, in denen Civey von den Umfrageinstituten jenes war, welches einen demoskopischen Trend als Letztes erkannte, so etwa beim sogenannten „Schulz-Hype“ 2017 oder bei der Landtagswahl in Bayern 2018. Schließlich sieht sich Civey auch der klassischen Kritik der Scheingenauigkeit ausgesetzt, da die Ergebnis stets mit einer Genauigkeit von 1/10 Prozent angegeben werden, was bei Umfragen anderer bekannter Institute unüblich ist. „Als ob man aufs Komma genau wissen könnte, wozu die Wählerschaft neigt“, schrieb dazu die Süddeutsche Zeitung.
Neben der öffentlichen Methodenkritik von anerkannten Wissenschaftlern sieht sich Civey auch dem Betrugsvorwurf ausgesetzt, Umfragezahlen von anderen Instituten zu kopieren. So existiert ein anonymer Twitter-Account unter dem Namen Civey Watch, der im Dezember 2018 von der im Deutschen Fachverlag erscheinenden Fachzeitschrift Planung & Analyse zum „Unwort des Jahres“ gekürt wurde. Im selben Magazin wurde jedoch in einem Artikel unter der Überschrift Forscher oder Fälscher? der Geschäftsführer von Civey-Konkurrent Forsa, Thorsten Thierhoff, zitiert mit den Worten: „Auch wenn es besser wäre, wenn Civey Watch offen und nicht anonym agieren würde, sind die dort dargestellten Sachverhalte nach unserer Beobachtung korrekt und zeugen von großer Sachkenntnis.“ Entsprechende Vorwürfe werden auch von der Forschungsgruppe Wahlen geäußert.
Janina Mütze, Geschäftsführerin von Civey, entgegnete der Kritik in einer Presseerklärung: „Die Daten von Civey sind repräsentativ. Unsere online-basierten Methoden zur Datenerhebung und –auswertung basieren auf Standards, die international längst anerkannt sind. Internationale Leitmedien setzen auf Daten, die mit Methoden vergleichbar derer von Civey erhoben werden. Wir schließen aus, dass unsere Daten schlechter sind als jene traditioneller Call-Center Institute. Das Gegenteil ist vielmehr anzunehmen.“ Die Stellungnahme sorgte ihrerseits für Kritik beim Fachpublikum. Sven Dierks von der Hochschule für Medien, Kommunikation und Wirtschaft entgegnete: „Die Stellungnahme Civeys ist keine Stellungnahme, sondern ein Rundumschlag unterhalb der Gürtellinie gegen etablierte Institute mit einem verschwörungstheoretischen Beigeschmack. […] Mich würde einmal eine Validierungsstudie interessieren, in der Civey-Ergebnisse mit Daten aus konventionellen Erhebungen verglichen werden. Und nach Möglichkeit sollte das nicht die „Sonntagsfrage“ sein, deren Ergebnisse man ja locker anhand der laufend veröffentlichten Umfrageergebnisse anderer Institute gewichten könnte.“
Empirische Sozialforschung
Empirische Sozialforschung bezeichnet die systematische Erhebung von Daten der Sozialwissenschaften über soziale Tatsachen durch Beobachtung, Befragung/Interview, Experiment oder durch die Sammlung sog. prozessgenerierter Daten und deren Auswertung. Neben der Allgemeinen Soziologie und den speziellen Soziologien (wie beispielsweise die Familien-, Organisations- oder Berufssoziologie) gilt die empirische Sozialforschung als dritter großer Bereich der Soziologie. Zugleich ist sie eine disziplinübergreifende Erfahrungswissenschaft, da sie anderen Sozialwissenschaften Erhebungsverfahren und Methoden zur Verfügung stellt (z. B. der Politologie in der Wahlforschung; der Volks- und Betriebswirtschaftslehre in der Marktforschung; der Sozialpsychologie mit Experimenten; der Wirtschafts- und Sozialgeschichte mit quantitativen Verfahren), an deren Entwicklung die Soziologie zwar in prominenter, aber nicht ausschließlicher Weise beteiligt war.
Ziele
Mit empirischer Sozialforschung können eine Reihe sehr unterschiedlicher Ziele verfolgt werden:
es können soziale Sachverhalte (bspw. Arbeitslosenquoten, Suizidraten, Kriminalitätsentwicklung, das Ausmaß der Fremdenfeindlichkeit u. v. a. m.) anhand systematisch gesammelter Daten beschrieben und auf dieser Grundlage Arbeitshypothesen entwickelt werden,
es können sozialwissenschaftliche Theorien und daraus entwickelte Hypothesen durch empirische Daten überprüft werden (deduktives Vorgehen),
es können Theorien und Hypothesen auf der Grundlage empirischer Beobachtungen entwickelt oder modifiziert werden (induktives Vorgehen),
es können (z. B. sozialpolitische) Planungs- und Entscheidungsprozesse durch wissenschaftliche Ergebnisse unterstützt werden und dabei Wege aufgezeigt werden, gesellschaftliche Probleme praktisch und politisch zu bewältigen.
Qualitative vs. quantitative Verfahren in den Sozialwissenschaften
In den Sozialwissenschaften wird bis heute eine sehr kontroverse Diskussion darüber geführt, ob es besser ist, empirische Forschung mittels qualitativer Methoden oder quantitativer Methoden durchzuführen. In diesem Methodenstreit, der besonders zu Ende der 1960er Jahre sehr heftig ausgetragen wurde, fließen methodologische, soziologisch-theoretische und manchmal auch politisch-weltanschauliche Fragen mit ein.
In der quantitativen Sozialforschung wird vor allem mit standardisierten Daten gearbeitet (etwa mit den Ergebnissen von Umfragen, bei denen die Befragten zwischen festen Antwortalternativen wählen), weil standardisierte Informationen besonders leicht mit statistischen Methoden verarbeitet werden können. Als methodologische Grundlage der quantitativen empirischen Sozialforschung dienen bestimmte Strömungen der modernen Wissenschaftstheorie, wie die Analytische Philosophie oder der Kritische Rationalismus von Karl Popper und Hans Albert. Ein wichtiger Grundsatz der quantitativen Sozialforschung ist, dass Forschung prinzipiell unabhängig von der Subjektivität der Forscherin/des Forschers ablaufen soll (Prinzip der Intersubjektivität). Das Ziel quantitativer Sozialforschung kann einerseits in der Beschreibung gesellschaftlicher „Makrophänomene“ (etwa Geburtenraten, Arbeitslosenquoten usw.) bestehen oder in der Überprüfung von Hypothesen, die aus sozialwissenschaftlichen Theorien abgeleitet werden.
Parallel zur quantitativen Sozialforschung hat sich seit den 1920er Jahren die qualitative Sozialforschung entwickelt, die mit unstandardisierten Daten arbeitet, wie sie bspw. in offenen Interviews, die eher einem normalen Gespräch als einer standardisierten Befragung ähneln, gesammelt werden. Im Rahmen der historischen Soziologie und der Ideengeschichte der Soziologie gehört auch die Quellenkritik zu den qualitativen Verfahren. Vorteile der in den 1990er Jahren weiterentwickelten Verfahren qualitativer Datenerhebung und kombinierter Techniken (z. B. teilnehmende Beobachtung, qualitatives Interview, Gruppendiskussion) werden von Vertretern der Qualitativen Sozialforschung darin gesehen, dass hiermit die Handlungsorientierungen, Relevanzsetzungen und Deutungsmuster der Akteure im Gegenstandsbereich oft besser erfasst werden könnten als mit standardisierten Methoden.
In der Regel zielt qualitative Sozialforschung dabei nicht auf die Überprüfung einer vorab (d. h. vor dem Kontakt mit dem empirischen Feld) formulierten wissenschaftlichen Hypothese, sondern das Ziel besteht darin, soziale Strukturen und Prozesse tiefergehend zu erkunden und zu erforschen und soziale Sinnstrukturen sichtbar zu machen. Die unterschiedlichen Formen des qualitativen Forschens beginnen dabei immer mit einem individuellen Feldzugang, der mit Einwilligung (einfacher Zugang) oder auch der das Feld während einer sensitiven Phase politisiert (schwieriger Zugang).
Kritik
Zum Paradigma unterschiedlicher Auffassungen über das Verhältnis von soziologischer Theorie zur empirischen Sozialforschung wurde die Diskussion dreier Soziologen: Paul Lazarsfeld, der als Begründer des „administrative research“ gilt, Theodor W. Adorno, der zuletzt die empirische Forschung von seiner philosophischen Position zunehmend kritisierte (siehe Zur gegenwärtigen Stellung der empirischen Sozialforschung in Deutschland und Soziologie und empirische Forschung), und Robert K. Merton, der mit dem Konzept der Theorien der mittleren Reichweite eine Vermittlung zwischen großen Theorien und theorieferner Sozialstatistik suchte.
C. Wright Mills hat in seinem einflussreichen Werk The Sociological Imagination einerseits in der Konzentration auf die „administrative research“ (schon aus der Notwendigkeit der Projektfinanzierung heraus) die Gefahr des Bürokratismus und technokratischer Unterordnung der Sozialwissenschaften gesehen, andererseits in der von wirklichen gesellschaftlichen Problemen abgewandten „großen Theorie“ den ausschließlich ideologischen Nutzwert derselben.