|
?:linkContext
|
-
In den empirischen Sozialwissenschaften, die versuchen, allgemeine Gesetzmäßigkeiten zu erforschen und zu überprüfen, stellt sich ebenso wie in den Naturwissenschaften die Frage, für welche Raum-Zeit-Koordinaten die Aussagen Gültigkeit beanspruchen können. Anstelle des Experiments wird häufig auf die Beobachtung derselben Faktoren in unterschiedlichen Kontexten zurückgegriffen. Dieses Verfahren ist beim internationalen Vergleich auf der Basis von Umfragedaten gegeben, indem die Mittelwerte, Regressionseffekte u.a. Parameter für verschiedene Länderstichproben miteinander verglichen werden. Traditionell begnügen sich die Vergleiche mit folgenden Strategien: (a) aus verschiedenen unabhängigen Umfragen in verschiedenen Ländern werden Mittelwerte u.a. Parameter miteinander verglichen, (b) eine länderübergreifende Datenquelle wie das Eurobarometer oder die European Values Study (EVS) dient als Quelle für eine einheitliche Messung derselben Sachverhalte. In beiden Fällen wird auf die Reliabilität der Messung vertraut. Genauere Prüfungen finden in weiterführenden Analyseverfahren mit Datenquellen statt, die die Überprüfung von Methodeneffekten etc. mit Hilfe von Strukturgleichungsmodellen (SEM) erlauben, z.B. mit den Daten des European Social Survey . Solche Modelle lassen sich aber nur berechnen, wenn für die interessierenden Variablen mehrere Indikatoren verfügbar sind. Dies ist insbesondere für Untersuchungen, die weniger populäre oder in Umfragereihen noch nicht hinreichend implementierte Forschungsfragen betreffen, nicht immer gegeben. Für diese Themen ist dann eine Kontrolle der Messung mit Hilfe von SEM nicht möglich. Ebenso scheiden bei bestimmten Forschungsthemen mangels vorliegender Studien Metaanalysen Die Akzeptanz der Homosexualität ist bislang relativ selten Gegenstand international vergleichender Studien gewesen . In allen Studien werden starke Länderunterschiede in der Akzeptanz vorgefunden. In "Homosexualität und Humanentwicklung" Frage zur Akzeptanz der Homosexualität in den Wertstudien (jhomosex): § "Please tell me for each of the following statements whether you think it can always be justified, never be justified, or something in between, using this card: 'accepting a bribe', 'homosexuality', (…) § The card indicates a list of numbers from one to ten with the poles being verbally described: Auf der einen Seite können diese definitorischen Einschränkungen zu einer breiteren Akzeptanz gleichgeschlechtlicher Sexualkontakte bzw. der Homosexualität beitragen, auf der anderen Seite treten im ISSP andere Effekte auf, die umgekehrt die Bewertung negativ beeinträchtigen können. Das vorangehende Item behandelt Untreue und trägt so durch das damit potentiell aktivierte Stereotyp des promisken homosexuellen Mannes (zumindest für die ,schwulen Sexualkontakte') zu einem möglichen Halo-bzw. Ausstrahlungseffekt bei. Die negativen moralischen Konnotationen zur sexuellen Untreue können also die Bewertung der gleichgeschlechtlichen Sexualkontakte negativ beeinträchtigen. Diese messtechnischen Probleme schränken einerseits die Vergleichbarkeit der Ergebnisse der Wertestudien und des ISSP ein, andererseits wird aber gerade dadurch ein Vergleich von zwei lexikalisch, semantisch und pragmatisch unterschiedlich formulierten Fragen zur Akzeptanz gleichgeschlechtlicher Sexualkontakte möglich. Smith verweist darauf, dass die Unterschiede in Sprache, Kultur und Sozialstruktur die international vergleichende Forschung einerseits wertvoll machen, sie andererseits aber auch mit einer Vielzahl von Problemen belasten, die die Messäquivalenz betreffen (ebd.): "When using only one measure, it is impossible to determine whether any measured differences (or even a measured non-difference) are societal or merely linguistic" , dass etwa auch Differenzen zwischen religiösen Traditionen wie Christentum und Islam diskutiert In dieser Untersuchung werden alle Variablen am Gesamtmittel zentriert, um Abweichungen durch die Parameterkombinationen (z.B. niedrige Bildung und hohe Religiosität) stets auf den Durchschnittsbefragten über alle Kontexteinheiten zu beziehen. Für die Dummyvariablen ist eine Zentrierung nicht erforderlich. In den Tabellen 3 und 4 werden die hierarchisch-linearen Zwei-Ebenenmodelle für die Akzeptanz der Homosexualität in den beiden Studienreihen über 22 Länder dokumentiert. Neben den Verteilungsmaßen sind auch die theoretischen Vorhersagen angegeben, die sämtlich für beide Datenquellen bestätigt werden. Für die leeren Modelle zeigen sich in Tabelle 3 die bereits diskutierten Unterschiede mit geringeren Kontextvarianzen für das ISSP. Die schrittweise aufgebauten Vergleichsmodelle für die Individualebene zeigen Unterschiede in den Effektstärken. So ist der negative Effekt der Religiosität und der positive Effekt des Geschlechteregalitarismus auf die Akzeptanz der Homosexualität im ISSP jeweils deutlich stärker. Umgekehrt ist der positive Effekt der Bildung in den Wertestudien deutlich höher. Sehr prononcierte Unterschiede ergeben sich auch für die konditionalen ICC, die im ISSP fast nur ein Drittel der Stärke der Wertestudien erreichen. In den Modellen in Tabelle 4 nähern sich die konditionalen ICCs bei Hinzunahme von Kontextmerkmal und Cross-Level-Interaktionen wieder stärker an. Die positiven Effekte des Niveaus der Humanentwicklung bzw. des sozio-ökonomischen Wohlstands (HDI) auf die Akzeptanz fällt ebenfalls in den Wertestudien deutlich stärker aus und ist zudem abhängig von dem auf der Individualebene realisierten Modell. Die Kontextvarianz, die erklärten Varianzen auf Ebene 1 und 2, die Bedeutung des Lands als Kontext und die Kontextvariablen werden also je nach verwendetem Modell und analysierter Datenreihe unterschiedlich eingeschätzt. Dennoch ist der Vergleich zufriedenstellend, da die Effektrichtungen identisch vorhergesagt werden und die Effektstärken sich zwar unterscheiden, aber die Gesamtbeurteilung ähnlich ausfallen würde. Die Resultate dieser Untersuchung untermauern substanziell die Bedeutung des Länderkontexts neben Individualeinflüssen auf die Akzeptanz der Homosexualität, zeigen aber insbesondere im Vergleich mit erweiterten Modellen mit mehr Ländern Literatur Economic Inequality and Intolerance: Attitudes toward Homosexuality in 35 Democracies American Journal of Political Science Homosexualität und Humanentwicklung. Genese, Struktur und Wandel der Ablehnung und Akzeptanz gleichgeschlechtlicher Sexualkontakte in einer international vergleichenden Kontextanalyse. Inauguraldissertation zur Erlangung des Doktorgrades der Wirtschaftsund Sozialwissenschaftlichen Fakultät der Universität zu Köln Das Recht und der homosexuelle Körper in einem weltweiten Vergleich der Zusammenhänge von Rechtsordnung, sozialen Chancen und Einstellungen Islam and the Acceptance of Homosexuality: the Shortage of Socio-Economic Well-being and Responsive Democracy Homosexuality and Islam (2 Bände) Comparing Comparisons as a Cross-Validation Strategy (CC-CV): A Proposal for Applied Survey Research Using the Example of Attitudes towards Economic Liberalism, erscheint im Sommer Komparative empirische Sozialforschung Cross-Cultural Survey Equivalence with Structural Equation Modelling Mohler: Cross Cultural Survey Methods. Hoboken Hg.) 2005: Gender in Cross-Cultural Perspective soFid Methoden und Instrumente der Sozialwissenschaften Das Vergleichen von Vergleichen als Validierungsstrategie Hox Multilevel Analysis, Techniques and Applications. Lawrence Erlbaum Associates Attitudes towards Homosexuality in 29 Nations In: Australian Social Monitor Sexual Meanings: The Cultural Construction of Gender and Sexuality The Logic of Comparative Social Inquiry Hierarchical Linear Models. Applications and Data Analysis Methods The Cross-Cultural Use of Sample Surveys: Problems of Comparability Historische Sozialforschung Developing Comparable Questions in Cross-National Surveys The European Values Study Foundation and World Values Survey Association Meta-Analyse als Verfahren der Forschungssynthese in der Soziologie. Dargestellt anhand zweier Fallbeispiele zum Schulabsentismus. Inauguraldissertation zur Erlangung des Doktorgrades der Wirtschafts-und Sozialwissenschaftlichen Fakultät der Universität zu Köln. Datenquellen: EUROPEAN AND WORLD VALUES SURVEYS FOUR-WAVE INTEGRATED DATA FILE Das Vergleichen von Vergleichen als Validierungsstrategie Ein Vorschlag für die Sekundärdatenanalyse von Umfragedaten Tilo Beckers Das Vergleichen von Vergleichen als Validierungsstrategie Ein Vorschlag für die Sekundärdatenanalyse von Umfragedaten GROBID - A machine learning software for extracting information from scholarly documents Sociology and political science-when choosing the format of the natural sciences-intend to be generalizing sciences; and yet the time-space coordinates within which empirically found 'laws'are valid remain (actually or potentially) a matter of perennial dispute. In lieu of the experiment, observation of the same factors in different contexts is the obvious strategy, either to confirm empirically the generality of the statements or to specify the time-space coor Einleitung In den empirischen Sozialwissenschaften, die versuchen, allgemeine Gesetzmäßigkeiten zu erforschen und zu überprüfen, stellt sich ebenso wie in den Naturwissenschaften die Frage, für welche Raum-Zeit-Koordinaten die Aussagen Gültigkeit beanspruchen können. Anstelle des Experiments wird häufig auf die Beobachtung derselben Faktoren in unterschiedlichen Kontexten zurückgegriffen. Dieses Verfahren ist beim internationalen Vergleich auf der Basis von Umfragedaten gegeben, indem die Mittelwerte, Regressionseffekte u.a. Parameter für verschiedene Länderstichproben miteinander verglichen werden. Traditionell begnügen sich die Vergleiche mit folgenden Strategien: (a) aus verschiedenen unabhängigen Umfragen in verschiedenen Ländern werden Mittelwerte u.a. Parameter miteinander verglichen, (b) eine länderübergreifende Datenquelle wie das Eurobarometer oder die European Values Study (EVS) dient als Quelle für eine einheitliche Messung derselben Sachverhalte. In beiden Fällen wird auf die Reliabilität der Messung vertraut. Genauere Prüfungen finden in weiterführenden Analyseverfahren mit Datenquellen statt, die die Überprüfung von Methodeneffekten etc. mit Hilfe von Strukturgleichungsmodellen (SEM) erlauben, z.B. mit den Daten des European Social Survey (ESS; vgl. Billiet 2003) . Solche Modelle lassen sich aber nur berechnen, wenn für die interessierenden Variablen mehrere Indikatoren verfügbar sind. Dies ist insbesondere für Untersuchungen, die weniger populäre oder in Umfragereihen noch nicht hinreichend implementierte Forschungsfragen betreffen, nicht immer gegeben. Für diese Themen ist dann eine Kontrolle der Messung mit Hilfe von SEM nicht möglich. Ebenso scheiden bei bestimmten Forschungsthemen mangels vorliegender Studien Metaanalysen (Weiß 2008) Zwei Messungen der Akzeptanz der Homosexualität in zwei Umfragereihen Die Akzeptanz der Homosexualität ist bislang relativ selten Gegenstand international vergleichender Studien gewesen (Kelley 2001; Beckers 2008a Beckers , 2008b Andersen/Fetner 2008) . In allen Studien werden starke Länderunterschiede in der Akzeptanz vorgefunden. In "Homosexualität und Humanentwicklung" (Beckers 2008a) Frage zur Akzeptanz der Homosexualität in den Wertstudien (jhomosex): § "Please tell me for each of the following statements whether you think it can always be justified, never be justified, or something in between, using this card: 'accepting a bribe', 'homosexuality', (…) § The card indicates a list of numbers from one to ten with the poles being verbally described: Auf der einen Seite können diese definitorischen Einschränkungen zu einer breiteren Akzeptanz gleichgeschlechtlicher Sexualkontakte bzw. der Homosexualität beitragen, auf der anderen Seite treten im ISSP andere Effekte auf, die umgekehrt die Bewertung negativ beeinträchtigen können. Das vorangehende Item behandelt Untreue und trägt so durch das damit potentiell aktivierte Stereotyp des promisken homosexuellen Mannes (zumindest für die ,schwulen Sexualkontakte') zu einem möglichen Halo-bzw. Ausstrahlungseffekt bei. Die negativen moralischen Konnotationen zur sexuellen Untreue können also die Bewertung der gleichgeschlechtlichen Sexualkontakte negativ beeinträchtigen. Diese messtechnischen Probleme schränken einerseits die Vergleichbarkeit der Ergebnisse der Wertestudien und des ISSP ein, andererseits wird aber gerade dadurch ein Vergleich von zwei lexikalisch, semantisch und pragmatisch unterschiedlich formulierten Fragen zur Akzeptanz gleichgeschlechtlicher Sexualkontakte möglich. Smith verweist darauf, dass die Unterschiede in Sprache, Kultur und Sozialstruktur die international vergleichende Forschung einerseits wertvoll machen, sie andererseits aber auch mit einer Vielzahl von Problemen belasten, die die Messäquivalenz betreffen (ebd.): "When using only one measure, it is impossible to determine whether any measured differences (or even a measured non-difference) are societal or merely linguistic" (Smith 2003: 73 1999 (vgl. Beckers 2008a , 2008b , dass etwa auch Differenzen zwischen religiösen Traditionen wie Christentum und Islam diskutiert (Beckers 2009 In dieser Untersuchung werden alle Variablen am Gesamtmittel zentriert, um Abweichungen durch die Parameterkombinationen (z.B. niedrige Bildung und hohe Religiosität) stets auf den Durchschnittsbefragten über alle Kontexteinheiten zu beziehen. Für die Dummyvariablen ist eine Zentrierung nicht erforderlich. § 1 ' In den Tabellen 3 und 4 werden die hierarchisch-linearen Zwei-Ebenenmodelle für die Akzeptanz der Homosexualität in den beiden Studienreihen über 22 Länder dokumentiert. Neben den Verteilungsmaßen sind auch die theoretischen Vorhersagen angegeben, die sämtlich für beide Datenquellen bestätigt werden. Für die leeren Modelle zeigen sich in Tabelle 3 die bereits diskutierten Unterschiede mit geringeren Kontextvarianzen für das ISSP. Die schrittweise aufgebauten Vergleichsmodelle für die Individualebene zeigen Unterschiede in den Effektstärken. So ist der negative Effekt der Religiosität und der positive Effekt des Geschlechteregalitarismus auf die Akzeptanz der Homosexualität im ISSP jeweils deutlich stärker. Umgekehrt ist der positive Effekt der Bildung in den Wertestudien deutlich höher. Sehr prononcierte Unterschiede ergeben sich auch für die konditionalen ICC, die im ISSP fast nur ein Drittel der Stärke der Wertestudien erreichen. In den Modellen in Tabelle 4 nähern sich die konditionalen ICCs bei Hinzunahme von Kontextmerkmal und Cross-Level-Interaktionen wieder stärker an. Die positiven Effekte des Niveaus der Humanentwicklung bzw. des sozio-ökonomischen Wohlstands (HDI) auf die Akzeptanz fällt ebenfalls in den Wertestudien deutlich stärker aus und ist zudem abhängig von dem auf der Individualebene realisierten Modell. Die Kontextvarianz, die erklärten Varianzen auf Ebene 1 und 2, die Bedeutung des Lands als Kontext und die Kontextvariablen werden also je nach verwendetem Modell und analysierter Datenreihe unterschiedlich eingeschätzt. Dennoch ist der Vergleich zufriedenstellend, da die Effektrichtungen identisch vorhergesagt werden und die Effektstärken sich zwar unterscheiden, aber die Gesamtbeurteilung ähnlich ausfallen würde. Schlussfolgerungen und ein Vorschlag für die Sekundäranalyse von Umfragedaten Die Resultate dieser Untersuchung untermauern substanziell die Bedeutung des Länderkontexts neben Individualeinflüssen auf die Akzeptanz der Homosexualität, zeigen aber insbesondere im Vergleich mit erweiterten Modellen mit mehr Ländern (Beckers 2008a (Beckers , 2009 Literatur als Instrumentarium aus. Für diese Fälle, insbesondere ländervergleichender Studien wird hier ein Vorschlag unterbreitet, wie dennoch die Reliabilität der Messung mit einfachen statistischen Mitteln verglichen werden kann. Dieser Beitrag behandelt Mittelwertvergleiche und Mehrebenenanalysen, die mit unterschiedlichen Datensätzen und Messinstrumenten im Ländervergleich durchgeführt werden, um die studienübergreifende Stabilität von Stichprobenparametern und insbesondere Effekten in hierarchisch-linearen Modellen zu überprüfen. Als Anwendungsbeispiele dienen die Einstellungen zur Homosexualität in 22 europäischen Ländern, die u.a. im World Values Survey (WVS) und der European Values Study (EVS) untersucht wurden (u.a. 1999-2003). Diese Studienreihen soll hier einheitlich als Wertestu-dien bezeichnet werden. Zudem sind Einstellungen zu gleichgeschlechtlicher Sexualität im International Social Survey Programme zur Religion untersucht worden (u.a. ISSP 1998). 1 In diesem Beitrag geht es um drei Arten von Fragen. An allererster Stelle geht es um eine statistische Frage: Führen internationale Vergleiche mit unterschiedliche Umfragereihen zu äquivalenten statistischen Ergebnissen in Mittelwertvergleichen und Mehrebenenanalysen? Ergänzend wird gefragt, ob die Zahl der Kontexte sowie die Unterschiede der Messung des Konzepts der interessierenden abhängigen Variable die Richtung und Größe der Koeffizienten beeinflussen. Zudem geht es um eine methodische Frage: Hängen die beobachtbaren Länderunterschiede mit einem abweichenden Verständnis von Homosexualität zusammen, das auf zwei unterschiedliche Messungen der abhängigen Variable zurückführbar ist? Schließlich geht es entlang des Anwendungsbeispiels um eine substanzielle Frage: Unter welchen sozialen Bedingungen ist Homosexualität aus der Sicht der Menschen in Euro- pa eigentlich akzeptabel bzw. "zu rechtfertigen"? Die zentrale Hypothese lautet, dass die Länderkon- texte jenseits der Einflüsse von Individualvariablen von zentraler Bedeutung sind. Die weiteren Hy- pothesen und Aspekte der inhaltlichen Frage sollen in diesem methodischen Beitrag aber nicht näher erläutert werden (vgl. ausführlich Beckers 2008a). Im Abschnitt zwei werden die beiden Messinstru- mente vorgestellt, in Abschnitt 3 werden die Verteilungen und Mittelwerte der beiden Variablen für die Messreihen Wertstudien 1999 und ISSP 1998 miteinander verglichen. In Abschnitt 4 werden die Mehrebenenanalysen als Fallbeispiel des Vergleichens von Vergleichen als Validierungsstrategie präsentiert. In Abschnitt 5 werden offene Fragen diskutiert und es wird vorgeschlagen, das Verfahren als Standard für die Sekundäranalyse von Umfragedaten zu etablieren. Umfragereihen werden hier im Englischen als der Sprache des Quellfragbogens dokumentiert. Die (mindestens problematischen) deutschen Übersetzungen der Antwortskalen sind jeweils in Klammern angegeben. Diese Übersetzungsprobleme sollen an dieser Stelle jedoch nicht weiter thematisiert werden. Der Fragestimulus ist in beiden Studienreihen symmetrisch balanciert formuliert. 20 soFid Methoden und Instrumente der Sozialwissenschaften 2010/1 Das Vergleichen von Vergleichen als Validierungsstrategie Die Fragen der beiden werden die Umfragereihen Wertestudien und ISSP miteinander vergli- chen. Diese Ergebnisse werden hier kurz mit einem Schwerpunkt auf dem methodischen Aspekt des Vergleichs dargestellt und weiter systematisiert. And what about sexual relations between two adults of the same sex, is it ... 2010/1 21 Das Vergleichen von Vergleichen als Validierungsstrategie schen Erwachsenen und minderjährigen Heranwachsenden oder gar Kindern. Hiermit wird die Bewertung homosexuellen Verhaltens eingeschränkt auf Verhaltensweisen, die potenziell negative Konnotationen (Gruppensex, Prostitution und Zwang, Pädophilie) definitorisch ausschließen und theoretisch Teil der Bewertung der Homosexualität in den Wertestudien sein können. Never justifiable' [deutsch: "niemals in Ordnung"]; § 2; 3; 4; 5; 6; 7; 8; 9; § 10 'Always justifiable'" ["immer in Ordnung"] Diese Messung der Akzeptanz der Homosexualität (jhomosex) ist von sehr allgemeiner Art. Die Per- sonen, die in homosexuelle Handlungen involviert sind, werden nicht benannt, sondern das Verhal- ten an sich soll bewertet werden. Auch die Geschlechter werden dadurch nicht genannt. Für diese Untersuchung soll angenommen werden, dass die Befragten sich bei der Beantwortung auf sexuelle Kontakte oder Beziehungen zwischen zwei Personen gleichen biologischen Geschlechts beziehen. Es bleibt aber offen, inwiefern die Befragten sich durch den Begriff der Homosexualität möglicher- weise auch auf die spezielle Variante egalitärer homosexueller Beziehungen und damit implizit auf diese Identität oder ein anderes kulturell etabliertes homosexuelles Identitätsmodell beziehen. Die bisherige Forschung legt nahe, dass die Befragten beim Begriff Homosexualität häufiger schwule Männer als lesbische Frauen assoziieren (Ortner 1981; vgl. auch Brettell 2005). Dies ist sicherlich nicht die Absicht der Verantwortlichen der Wertestudien gewesen. Frage zur Akzeptanz der Homosexualität im ISSP (samesex):§ "Do you think it is wrong or not wrong if …" [Die Liste beginnt mit zwei Fragen zu außereheli- chem Geschlechtsverkehr bzw. Sexualkontakt und Untreue]§ "§ 1. Always wrong, [deutsch: "immer schlimm"]§ 2. Almost always wrong, ["fast immer schlimm"]§ 3. Wrong only sometimes, ["nur manchmal schlimm"]§ 4. Not wrong at all" ["nie schlimm"] Die Messung der Akzeptanz der Homosexualität im ISSP (1991, 1994 und 1998) ist in bestimmter Hinsicht präziser als die Messung in den Wertestudien, da sie erstens den Begriff der Homosexualität vermeidet und einen rein verhaltensbezogenen Einstellungsindikator darstellt. Zweitens bezieht sich die Frage explizit auf männliche wie weibliche gleichgeschlechtliche Sexualkontakte, ohne jedoch etwa die Begriffe ,gay' oder ,lesbian' zu verwenden und damit die Dimension der Identität einzube- ziehen. Drittens beschränkt das ISSP-Item die Zahl der Sexualpartner auf zwei und schließt damit z.B. Dreierkonstellationen u.ä. aus. Fünftens und sechstens werden die Sexualkontakte auf zwei ein- verständige Personen eingeschränkt, die zudem erwachsen sind. Damit wird bewusst erzwungene Sexualität oder solche in Abhängigkeitsverhältnissen ebenso ausgeschlossen wie Sexualität zwi- soFid Methoden und Instrumente der Sozialwissenschaften ). Gerade weil in jeder einzelnen hier verfügbaren Studie jeweils nur ein Item die Akzeptanz der Homosexualität misst, ist der Studienvergleich wertvoll, da er eine externe Validierung der Befunde erlaubt(vgl. Beckers 2008a). den Daten und Fragen der Wertestudien und des ISSP kann ein direkter Vergleich zweier unterschiedlicher Einstellungsmessungen vorgenommen werden, der sich auf repräsentative Stichproben aus denselben Ländern zu beinahe identischen Zeitpunkten bezieht. Damit kann u.a. die Frage geklärt werden, ob die Nennung des Begriffs Homosexualität möglicherweise zu einer Überschätzung von Länderunterschieden führt. Kommt es also bei Vermeidung dieses Begriffs durch die Umschreibung als "Sexualkontakte zwischen zwei Menschen gleichen Geschlechts" zu geringeren Länderunterschieden? Leider erlauben die Daten wegen der eingeschränkten interkulturellen Variabilität kein vollständiges Systemdifferenzdesign mit rund 60 Ländern wie im World Values Survey Mit 3 Mittelwerte der Akzeptanz der Homosexualität in zwei Umfragereihen Das Vergleichen von Vergleichen als Validierungsstrategie schränkt, die in beiden Studienreihen vorkommen. 2 Durch diesen konservativen Vergleich sollen mögliche Selektionseffekte kleiner Länderstichproben vermieden werden.Ein bereits für die Daten der Wertestudien an andere Stelle(Beckers 2008a) nachgewiesenes Phänomen der Messung der Einstellungen zur Homosexualität bzw. gleichgeschlechtlichen Sexualkontakten zeigt sich auch für die Analyseergebnisse des ISSP im direkten Vergleich mit den Wertestudien: die starke Polarisierung der Meinungen zur Homosexualität in Befürworter und Gegner, also solche, die Akzeptanz und solche, die Ablehnung äußern. Diese Polarisierung ist zum einen auf der Personenebene, zum anderen auf der Länderebene erkennbar. Die Verteilungen der Zielvariablen samesex im ISSP und jhomosex in den Wertestudien zeigen in Abbildung 1 eine starke Ähnlichkeit in der Polarisierung sowohl in den Ländern als auch zwischen den Ländern. Werte sind jeweils absteigend ranggeordnet nach der relativen Häufigkeit in der höchsten Akzeptanzkategorie. Die Summe der Werte 1 bis 4 an den Skalenenden ist in allen 22 Ländern des ISSP größer als 65 Prozent und in 15 Ländern sogar größer als 75 Prozent. In den Wertestudien sind diese Zahlen durch die Existenz einer fünften Kategorie (bzw. 10 Ausprägungen in der Originalskalierung) etwas kleiner.Abbildung 2 belegt darüber hinaus die starke Ähnlichkeit der beiden Rangfolgen nach arithmetischen Mittelwerten, die eine Pearsons-Korrelation von r = 0,89 aufweisen. Die Abbildung zeigt überdies grafisch die für weiteren Analysen vorgenommene Lineartransformation der Skalenwerte des ISSP an die Skala der Wertestudien, die für die Tabelle 1 die Vergleichbarkeit der Mittelwerte und Standardabweichungen zwischen den Erhebungsreihen erleichtert. Der auf der Basis von Äquivalenzgewichten über alle Länder aggregierte Mittelwert ist danach praktisch identisch. Die Standardabweichung fällt in den Wertestudien etwas höher aus, die Polarisierung ist dort also stärker ausgeprägt. Das Vergleichen von Vergleichen als Validierungsstrategie Weitet man den Vergleich zusätzlich über das oben vorgestellte konservative Design auf andere Länderstichproben aus, so zeigt sich für die hier diskutierte Akzeptanz der Homosexualität das folgende Bild. Tabelle 1 zeigt, dass eine größere Länderstichprobe in unserem Beispiel die Varianz der Akzeptanz der Homosexualität zwischen Ländern stark erhöht. Werden für die Wertestudien die weiteren europäischen Länder herangezogen (N=29), so werden die eta-Werte in der Varianzanalyse ebenso wie die Intraklassenkorrelationskoeffizienten (ICC) im leeren Modell der Mehrebenenanalyse erheblich gesteigert. Die entsprechenden Vergleichswerte zwischen den Wertstudien und dem ISSP für die oben genannten 22 Länder unterscheiden sich ebenfalls. Wie auf der Basis der Frageformulieungen erwartet wurde, zeigen sich für das ISSP deutlich geringere Länderunterschiede (eta, ICC). Die Messung beeinflusst also tatsächlich die Vergleichsparameter stärker, als dies auf der Basis der Anschauung der Verteilungen und Mittelwerte zu erwarten gewesen wäre.Die Mehrebenenanalyse als spezieller Fall der so genannten Random Effects-Modelle erlaubt die Spezifikation von festen bzw. fixen und freien bzw. Zufallseffekten(vgl. Snijders 1999 ; Hox 2002). Wie in allen Zufallseffektmodellen können verschiedene Effekte variiert werden: erstens die Effekte der Kontextvariablen auf die abhängige Variable der Individualebene, also unterschiedliche Niveaus der abhängigen Variablen in Abhängigkeit vom Kontext (random intercept bzw. Zufallskonstante); zweitens die Effekte der unabhängigen Variablen der Individualebene, also unterschiedliche Steigungsparameter in Abhängigkeit vom Kontext (random slope bzw. Zufallssteigungen). Sofern angenommen wird, dass der Effekt der Individualvariablen in Abhängigkeit eines bestimmten Kontextmerkmals variiert, können diese Einflussbeziehungen als cross-level interactions bzw. ebenenübergreifende Interaktionen statistisch modelliert werden. soFid Methoden und Instrumente der Sozialwissenschaften 2010/1 soFid Methoden und Instrumente der Sozialwissenschaften 2010/1 23 soFid Methoden und Instrumente der Sozialwissenschaften 2010/1 25 26 soFid Methoden und Instrumente der Sozialwissenschaften 2010/1 soFid Methoden und Instrumente der Sozialwissenschaften 2010/1 27 Das Vergleichen von Vergleichen als Validierungsstrategie Das Vergleichen von Vergleichen als Validierungsstrategie Das Vergleichen von Vergleichen als Validierungsstrategie Das Vergleichen von Vergleichen als Validierungsstrategie Tabelle 2: Äquivalenztabelle der Messinstrumente in den Wertestudien 1999 und im ISSP 1998 ISSP 1998 EVS/WVS 1999 Abhängige Variablen: (Stimulus beginnt in v7: Do you think f118 (jhomosex): Please tell me for Insgesamt zeigt der einfache Mittelwertvergleich zwischen den beiden Studienreihen eine hohe Ähn-lichkeit der Ergebnisse unabhängig vom Messinstrument. Die Verwendung der abweichenden Fra-geformulierungen erzeugt hier also keine gravierenden Unterschiede, obwohl es hinsichtlich weite-it is wrong or not wrong if …) each of the following statements whet-accepths her you think it can always be justified, v9 (samesex): And what about sexual never be justified, or some-thing in bet-relations between two adults of the sa-ween, using this card: (…) Homosexua-me sex, is it ... (Please tick one box on-lity (…) -[card] 1 'Never justifiable'; ly): 1. Always wrong, 2. Almost always 2; 3; 4; 5; 6; 7; 8; 9; 10 'Always wrong, 3. Wrong only some-times, 4. Not wrong at all. justifiable'. rer Parameter (Item-Non-Response) durchaus erhebliche Differenzen gibt, wie ergänzende Analysen zeigen. In die Mehrebenenanalyse fließen das Niveau der Humanentwicklung auf der Länderebene (Human Unabhängige Variablen: Development Indicator/HDI; www.undp.org) und verschiedene Prädiktoren auf der Individualebene cohort -Alter in Kategorien v201: Alter rekodiert auf 7 Kategorien, 18-24, 25-34 … 65-74, 75+ x003: Alter rekodiert auf 7 Kategorien, ein, die in Tabelle 2 mit ihren jeweiligen Messungen und den Quellvariablen bzw. -fragenummern 18-24, 25-34 … 65-74, 75+ aus den Originalfragebögen dokumentiert sind. Die semantischen Abweichungen können in den Mo- dellen nicht statistisch kontrolliert werden. Allerdings stellen die Abweichungen wiederum wie attndchu -schon bei der abhängigen Variable einen interessanten Testfall dar für die Beeinflussung der Ver-v218: How often do you attend religi-f028: rekodiert von 8 auf 6 Kategorien, Kirchgang gleichsergebnisse. Für das Vergleichen von Vergleichen in den Mehrebenenanalysen wird zudem ous services?; Kirchgang in 6 Katego-und Skala umgekehrt. rien, Skala umgekehrt. die ISSP-Skala rekodiert auf die Werte 1, 4, 7, 10, um die Interpretation der unstandardsierten Effekt- stärken zu erleichtern. godimp - v46: life is meaningful only because f063: korrespondierendes Item nur im Wichtigkeit von Gott god exists (5-Punkte-Skala): 1. Strongly agree, 2. Agree, 3. Neither agree nor EVS/WVS 1990, nicht in 1999; anstelle dessen: how important is god in your li- Abb. 1: Verteilungen von samesex (ISSP 1998, oben) und homosex (Wertestudien 1999, un-disagree, 4. Disagree, 5. Strongly dis-fe; rekodiert von 10-auf 5-Punkte-Ska- ten) über 22 Staaten im Vergleich. agree la. Tabelle 1: 4 educat -Vergleich der Verteilungs-und Modellparameter zwischen Wertestudien 1999 und v205: Höchster erreichter Bildungsab-x025: Bildung rekodiert von 8 auf 6 Ka-Bildungsabschluss ISSP 1998 Höchster erreichter schluss in 6 Kategorien tegorien Pearson's Korrelationen der Ländermittelwerte: r = 0.89 sex - Geschlecht: 1. Male, 2. Female, reko- Sex: 1 'Male', 2 'Female', rekodiert als 3 Alle Stichproben in den dargestellten Analysen wurden auf n=1.000 äquivalenzgewichtet, alle HLM diert als Regressionsdummy zu 0: male, Regressionsdummy zu 0: male, 1: fe-Geschlecht 1: female. male. werden mit Restricted Maximum Likelihood-Schätzungen gerechnet, wobei die Chi Quadrat-Ver- gleiche auf Full Maximum Likelihood basieren. Die Individualmodelle werden hier als Fixed Effect Strongly agree, 2. Agree, 3. Neither EVS/WVS 1999 (rechte Skala: 1 -10) full-time job" (5-Punkte-Skala): 1. Geschlechteregalitarismus 2 gndreq -v13: "Agree or disagree: All in all, fa-mily life suffers when the woman has a only-Modelle geschätzt, die vollständigen HLM beinhalten auch Random Effects. Dabei werden die who does not work", rekodiert von 4 tionship with her children as a mother d056, d056a: "A working mother can establish just as warm and secure a rela-random slopes geprüft und Cross-Level-Interaktionen hinzugefügt. ISSP 1998 (linke Skala: 1 -4) agree nor disagree, 4. Disagree, 5. auf 5 categories durch Einbeziehung der Strongly disagree, Skala umgekehrt. N.A./D.K als Mittelkategorie, außer in Österreich und Irland (5 Punkte-Skala 1 gegeben), alle Skalen umgekehrt. LV RU BG PL PT HU IE SI IT IL SK UK FR AT DE CZ NO ES CH DK SE NL Abb. 2: Damit wird die Glaubwürdigkeit von Forschungsergebnissen wirksam gesteigert und neben der gän-Mittelwerte der Akzeptanz der Homosexualität in 22 Staaten (Wertestudien 1999/ISSP 1998) gigen Replikation ein weiteres Validierungsverfahren etabliert. ). Um den hier vorgenommenen Vergleich von zwei Ver- gleichen im Sinne eines Systemähnlichkeitsdesign (Przeworski/Teune 1970) auf Europa im weiteren Sinne einzuschränken, wurden Australien, Kanada, Chile, Japan, Neuseeland, die Philippinen und die USA hier nicht berücksichtigt, für die ebenfalls Daten in den Wertestudien und dem ISSP vorlie- gen. Berücksichtigt wurden Israel (IL), Russland (RU) und 20 europäische Staaten: Bulgarien (BG), Dänemark (DK), Deutschland (DE), Frankreich (FR), Großbritannien (UK), Irland (IE), Italien (IT), Lettland (LV), die Niederlande (NL), Norwegen (NO), Österreich (AT), Polen (PL), Portugal (PT), Schweden (SE), die Schweiz (CH), die Slowakei (SK), Slowenien (SI), Spanien (ES), Ungarn (HU) und die Tschechische Republik (CZ). Der Vergleich wird daher also 22 identische Staaten be- 22 soFid Methoden und Instrumente der Sozialwissenschaften 2010/14 Mehrebenenanalysen der Akzeptanz der Homosexualität mit zwei Umfragereihen In der ländervergleichenden Forschung hat sich die Mehrebenenanalyse (MLA) in den vergangenen 10-15 Jahren als Standard in variablenorientierten Forschungsdesigns entwickelt. In aller Regel wird aber nur eine Studienreihe zur Überprüfung theoretischer Annahmen verwendet und im weiteren auf existierende Literatur mit abweichenden Messungen, Zielsetzungen und ggf. auch Ergebnissen ver- wiesen. Anstelle der Replikation, die eine ex post-Strategie der Ergebnisvalidierung darstellt, soll hier auch für die MLA das direkte ex ante Vergleichen von Vergleichen als Validierungsstrategie vorgeschlagen werden. , dass nicht nur die Kontextvarianz, sondern damit einhergehend auch die Bedeutung der Kontextvariablen in Modellen mit weniger Ländern beträchtlich schwinden kann. Ländervergleichende Mehrebenenanalysen sollten aus methodischer Sicht mit Blick auf die möglichen substanziellen Schlussfolgerungen also mit Bedacht und Vorsicht analysiert und interpretiert werden. Insbesondere für etablierte Forschungsthemen werden Vergleiche mit verschiedenen Umfragen und ggf. abweichenden Messinstrumenten nahegelegt. Das Vergleichen von Vergleichen als Validierungsstrategie führt vor allen Dingen zum Schluss, dass ungeachtet der Ähnlichkeiten in Mittelwertvergleichen in den Mehrebenenanalysen zwar Effektrichtungen, nicht aber Effektstärken eindeutig interpretierbar sind. Selbst wenn die Unterschiede auf die Abweichungen in der Messung der unabhängigen Individualvariablen zurückgeführt werden können, bedeutet dies, dass die Verfügbarkeit eines bestimmten Indikators in einer bestimmten Umfragereihe in erheblichem Maße dessen relative Effektstärke in einem Modell bestimmen kann und nicht unbedingt das latente theoretische Konstrukt per se von starker Bedeutung ist.30 soFid Methoden und Instrumente der Sozialwissenschaften 2010/1 Das Vergleichen von Vergleichen als Validierungsstrategie Neben den hier vorgestellten Schritten ist ergänzend auch ein Vergleich von Korrelationen oder anderen Regressionskoeffizienten, z.B. aus OLS-oder Logitmodellen vorstellbar. Ebenso kann das Verfahren durch die Angabe von Konfidenzintervallen der Parameter und statistische Signifikanztests ergänzt werden. In jedem Falle erhöht das Verfahren die Glaubwürdigkeit von Untersuchungsergebnissen aus der stets mit Unschärfen arbeitenden Umfrageforschung. Ein weiteres wichtiges Argument ist, dass Forscher B nur selten bereit ist, eine Replikation einer Studie von Forscher A ohne leichte Modellveränderungen durchzuführen. Zudem sind Replikationen rar und bestätigen nur Resultate innerhalb einer Studienreihe. Das Vergleichen von Vergleichen hingegen schafft Klarheit ex ante und verringert damit ein für die Umfrageforschung bedeutendes Problem: die relative Unsicherheit von Forschungsergebnissen in Fällen, in denen nur ein Indikator pro Umfragereihe zur Messung verfügbar ist und SEM nicht anwendbar sind. Der Forscher wird durch den Vergleich zwischen Studienreihen auch sensibilisiert für mögliche Alternativen der Operationalisierung, für die relative Arbitrarität seiner bisherigen Indikatorenauswahl und (bei Durchführung des vorgestellten Verfahrens) für die möglichen Abweichungen in den Parametern seiner Modelle bei der Sekundäranalyse von Umfragedaten. Dieser Mehraufwand sollte die Sache wert sein, trägt er doch mit einfachen Mitteln zu einer Verbesserung der Forschungsqualität und -kredibilität bei. Ein aktuellerer Vergleich der beiden Studienreihen ist zum derzeitigen Zeitpunkt aufgrund der noch nicht publizierten Daten des ISSP 2008 noch nicht möglich. Das hier vorgestellte Verfahren ist im Rahmen eines Promotionsprojektes an der Universität zu Köln erprobt worden: Tilo Beckers (2008): Homosexualität und Humanentwicklung: Genese, Struktur und Wandel der Ablehnung und Akzeptanz gleichgeschlechtlicher Sexualkontakte in einer international vergleichenden Kontextanalyse Untersuchung. Inauguraldissertation. Universität zu Köln. Das Verfahren wird anhand eines anderen Anwendungsbeispiels auch an anderer Stelle vorgestellt: Tilo Beckers (2010): Comparing Comparisons as a Cross-Validation Strategy (CC-CV): A Proposal for Applied Survey Research Using the Example of Attitudes towards Economic Liberalism, erscheint im Sommer 2010 in: Tilo Beckers, Klaus Birkelbach, Jörg Hagenah, Ulrich Rosar (Hg.): Komparative empirische Sozialforschung. Wiesbaden: VS Verlag für Sozialwissenschaften. Die hier vorgestellte Studie basiert auf Konferenzpapieren, die bei der 2. Konferenz der European Survey Research Association 2007 in Prag und beim Kongress der Deutschen Gesellschaft für Soziologie 2008 in Jena vorgestellt wurden. Daten für einige Länder der Wertestudien sind nicht aus dem Jahre 1999, sondern aus anderen Jahren und z.T. aus der dritten Welle entnommen, um die Länderüberlappung, also die Zahl der Länder für den Vergleich zu verbessern(Schweiz: 1996; Ungarn: 1998; Israel: 2001; Norwegen: 1996). Daten für einige Länder im ISSP sind faktisch im Jahre 1999 erhoben worden (Bulgarien, Schweiz, Polen, Portugal). soFid Methoden und Instrumente der Sozialwissenschaften 2010/1 Das Vergleichen von Vergleichen als Validierungsstrategie Zur Person Tilo Beckers, Dr. rer. pol ., ist Akademischer Rat für Soziologie und Methoden der empirischen Sozialforschung am Institut für Sozialwissenschaften der Heinrich-Heine-Universität Düsseldorf. Er hat 2008 an der Universität zu Köln mit einer international vergleichenden Kontext-und Mehrebenenanalyse über Einstellungen zur Homosexualität im Fach Soziologie promoviert und zuvor in Düsseldorf und New York (New School for Social Research) studiert. In seinem laufenden Habilitationsprojekt analysiert er u.a. die Einstellungen zur Sterbehilfe. Economic Inequality and Intolerance: Attitudes toward Homosexuality in 35 Democracies Robert/Tina Andersen Fetner American Journal of Political Science 52 Tilo Beckers Homosexualität und Humanentwicklung. Genese, Struktur und Wandel der Ablehnung und Akzeptanz gleichgeschlechtlicher Sexualkontakte in einer international vergleichenden Kontextanalyse. Inauguraldissertation zur Erlangung des Doktorgrades der Wirtschaftsund Sozialwissenschaftlichen Fakultät der Universität zu Köln Das Recht und der homosexuelle Körper in einem weltweiten Vergleich der Zusammenhänge von Rechtsordnung, sozialen Chancen und Einstellungen Tilo Beckers Karl-Siegbert Rehberg Hg. ): Die Natur der Gesellschaft. Verhandlungen des 33. Kongresses der Deutschen Gesellschaft für Soziologie in Kassel Islam and the Acceptance of Homosexuality: the Shortage of Socio-Economic Well-being and Responsive Democracy Tilo Beckers Homosexuality and Islam (2 Bände) Samar Habib Praeger Comparing Comparisons as a Cross-Validation Strategy (CC-CV): A Proposal for Applied Survey Research Using the Example of Attitudes towards Economic Liberalism, erscheint im Sommer Tilo Beckers Komparative empirische Sozialforschung Tilo Beckers, Klaus Birkelbach, Jörg Hagenah, Ulrich Rosar Wiesbaden VS Verlag für Sozialwissenschaften Cross-Cultural Survey Equivalence with Structural Equation Modelling Jaak Billiet Mohler: Cross Cultural Survey Methods. Hoboken Janet A. Harkness/Fons J.R. van de Vijver/Peter Ph NJ Wiley-Interscience Caroline B Brettell F Carolyn Sargent Hg.) 2005: Gender in Cross-Cultural Perspective Upper Saddle River, New Jersey Pearson soFid Methoden und Instrumente der Sozialwissenschaften 1 Das Vergleichen von Vergleichen als Validierungsstrategie Hox Multilevel Analysis, Techniques and Applications. Lawrence Erlbaum Associates Attitudes towards Homosexuality in 29 Nations Jonathan Kelley In: Australian Social Monitor zuletzt geprüft am 25.10. Sherry B Ortner /Harriet Whitehead Sexual Meanings: The Cultural Construction of Gender and Sexuality Cambridge, London Cambridge University Press The Logic of Comparative Social Inquiry Adam/Henry Przeworski Teune Wiley-Interscience Stephen W Raudenbush S Anthony Bryk Hierarchical Linear Models. Applications and Data Analysis Methods Newbury Park, CA Sage The Cross-Cultural Use of Sample Surveys: Problems of Comparability Erwin K Scheuch Historische Sozialforschung 18 Historical Social Research Tom W Smith Developing Comparable Questions in Cross-National Surveys Janet A. Harkness/Fons J.R. van de Vijver/Peter Ph Hoboken, NJ Wiley-Interscience Mohler: Cross Cultural Survey Methods Tom A B Snijders Bosker Multilevel Analysis. London: Sage Roel The European Values Study Foundation and World Values Survey Association Bernd Weiß 1998. ZA-Nr. 3190. Verfügbar über GESIS Meta-Analyse als Verfahren der Forschungssynthese in der Soziologie. Dargestellt anhand zweier Fallbeispiele zum Schulabsentismus. Inauguraldissertation zur Erlangung des Doktorgrades der Wirtschafts-und Sozialwissenschaftlichen Fakultät der Universität zu Köln. Datenquellen: EUROPEAN AND WORLD VALUES SURVEYS FOUR-WAVE INTEGRATED DATA FILE Madrid, Spain/Tilburg University, Tilburg, the Netherlands; Cologne, Germany Human Development Reports
(xsd:string)
|
![[This page as RDF]](https://data.gesis.org/gesiskg/static/rdf-icon.gif){kind=icon}