Kitabı oku: «Forschungsmethoden und Statistik für die Soziale Arbeit»

2.2 Untersuchungsplanung

Eine gängige Unterscheidung bezüglich sozialwissenschaftlicher Untersuchungsarten ist die zwischen explorativ (erkundend), deskriptiv (beschreibend) und explanativ (erklärend) ausgerichteten Untersuchungen. Diese sollen im Folgenden näher dargestellt werden. Anschließend werden einige Kriterien diskutiert, die bei der Entscheidung für oder gegen eine dieser Untersuchungsarten hilfreich sein können.

Explorative Untersuchungen

Explorative Untersuchungen (von lat. exploratio für die Erkundung) sind primär darauf ausgerichtet, mögliche neue, in der bisherigen Theoriebildung noch nicht berücksichtigte Variablen zu identifizieren bzw. Zusammenhänge zwischen Variablen, die noch nicht (oder noch nicht auf diese Weise) beschrieben wurden, aufzudecken. Explorative Studien sind also dann angemessen, wenn für die jeweilige Fragestellung bisher weder empirische Studien noch Theorien vorliegen (was durch eine ausführliche Literatursuche abgesichert werden muss) oder wenn zur Abgrenzung zu bestehenden Ansätzen (Theorien und Studien) neue Hypothesen entwickelt werden sollen (die anschließend einer empirischen Überprüfung zu unterziehen sind). Explorative Studien sind damit eher hypothesengenerierend ausgerichtet.

Bei einer explorativen Datenerhebung liegt meist nur eine sehr vage formulierte Fragestellung vor (z. B. »Wie gehen Menschen mit Behinderung mit diskriminierenden Erfahrungen im Alltag um?«), die im Rahmen eines qualitativen (z. B. freie Antworten in einem Interview) und/oder quantitativen (z. B. die Vorgabe eines strukturierten Fragebogens mit Antwortskalen) Vorgehens untersucht wird, wobei im sozialwissenschaftlichen Bereich die qualitative Vorgehensweise häufig präferiert wird (z. B. im Rahmen von Felduntersuchungen oder Einzelfallanalysen). Als ein Beispiel für eine qualitative Untersuchung kann die Entwicklung eines Fragebogens zur Erfassung von Prüfungsangst (das Differentielles Leistungsangst Inventar, DAI, von Rost & Schermer, 2007) genannt werden, bei dem zur Identifikation geeigneter Fragen für den späteren standardisierten Fragebogen zunächst eine freie Befragungen von Schülern und Schülerinnen zum Thema Prüfungsangst durchgeführt wurde (die SchülerInnen sollten z. B. zur Instruktion »Wie zeigt sich Deine Prüfungsangst?« Aufsätze schreiben; Kap. 9).

Deskriptive Untersuchungen

Deskriptive Studien (von lat. describere für beschreiben) verfolgen das Ziel, eine Population (Grundgesamtheit) von Personen (z. B. Menschen ohne Arbeit) bezüglich ausgewählter Merkmale (z. B. Wohlbefinden, Gesundheit, Aktivitäten etc.) zu charakterisieren. Ist es nicht möglich, die gesamte Population zu untersuchen (und das ist häufig der Fall), werden die Daten einer Stichprobe erhoben (z. B. bei den »BesucherInnen« des Arbeitsamtes mehrere Städte) und diese auf die Population verallgemeinert (generalisiert). Ein Beispiel für eine deskriptive Untersuchung stellen die periodisch durchgeführten Erhebungen zum Thema »Kinder & Medien« (KIM) des Medienpädagogischen Forschungsverbundes Südwest (mpfs) dar, in der bei ausgewählten ProbandInnen (ca. 1200) u. a. folgende Merkmale erfasst werden: Freizeitaktivitäten, Themeninteressen, Medienausstattung, Medienbindung, Medienfunktion, Computer- und Internetnutzung, Einstellungen zu Computer und Internet, Computerspiele, Lernprogramme, Computer und Schule sowie Mediennutzung im familiären Kontext (es gibt ähnliche mpfs-Befragungen für Jugend & Medien, JIM, und Familie & Medien, FIM).

Im Unterschied zu explorativen Studien werden bei deskriptiven Untersuchungen die zu erhebenden Merkmale bereits vor Beginn der Datenerhebung festgelegt. Auch deskriptive Studien sind primär hypothesengenerierend, weil aus ihren Ergebnissen (z. B. bezüglich der täglichen Verwendung eines Handys oder dem täglichen Lesen in einem Buch) Hypothesen über mögliche Kausalzusammenhänge abgeleitet werden können (z. B. »Je häufiger Kinder ihr Handy verwenden, desto seltener lesen sie in einem Buch«). Die Auswertung der in deskriptiven Studien gewonnenen Daten stützt sich in erster Linie auf die Methoden der beschreibenden (oder deskriptiven) Statistik, mit deren Hilfe Kennwerte für die jeweilige Stichprobe berechnet werden können (z. B. »20 % der untersuchten Kinder verfügen über einen persönlichen Computer oder Laptop«; Kap. 6.1). Um diese Stichprobenergebnisse anschließend auf die Population verallgemeinern zu können, sind darüber hinaus Methoden der schlussfolgernden (oder inferentiellen) Statistik anzuwenden, durch die z. B. Schätzungen für die Population berechnet werden können (»In Deutschland verfügen 15 % bis 25 % aller Kinder über einen PC oder Laptop«; Kap. 6.2).

Explanative Untersuchungen

Explanative Studien (von lat. explanativus für auslegend, erläuternd) verfolgen das Ziel, begründete Hypothesen (in Wenn-dann- oder Je-desto-Form), die von den Ergebnissen explorativer und/oder deskriptiver Untersuchungen bzw. von bereits bestehenden Theorien abgeleitet wurden, empirisch zu testen. Sie dienen damit der Überprüfung von Erklärungen (Explanation) und Vorhersagen (Prognose) von Beobachtungen (Ereignissen, Erfahrungsdaten), sie sind also hypothesenprüfend ausgerichtet. Explanative Untersuchungen setzen eine genaue Spezifizierung der Fragestellung und die Formulierung einer erfahrungswissenschaftlich prüfbaren Hypothese (oder mehreren) voraus. Dies mündet in der Regel in der Erstellung eines Versuchsplanes, in dem die unabhängigen und abhängigen Variablen der Untersuchung festgelegt werden. Nach der Datensammlung geschieht eine gezielte Überprüfung der aufgestellten Hypothesen durch Methoden der beschreibenden und schlussfolgernden Statistik.

Explanative Untersuchungen bedienen sich häufig der Methoden des Experimentes. Box 6 beschreibt eine experimentelle Studie von Snyder & Uranowitz (1978), in der die Wirkung einer unabhängigen Variablen (eine Zielperson wird entweder als »typisch homosexuell« oder als »typisch heterosexuell« beschrieben) auf die abhängige Variable (die Erinnerung der ProbandInnen an biographische Informationen über die Zielperson) untersucht wurde. In jedem Experiment ist sicher zu stellen, dass Veränderungen der abhängigen Variable ausschließlich auf die jeweilige unabhängige Variable zurückgeführt werden können. Auf diese Weise ermöglichen experimentelle Methoden eine Überprüfung des kausalen Zusammenhangs (von lat. causa für Ursache) zwischen unabhängiger und abhängiger Variable. Nähere Ausführungen zum Experiment finden sich im Abschnitt Forschungsdesigns.

Box 6: Beispiel einer explanativen Untersuchung: Das Experiment von Snyder & Uranowitz (1978)

In dem Experiment lasen die ProbandInnen eine ausführliche Personenbeschreibung, die sie genau über Kindheit, Schulzeit, Freundschaften, Berufswahl usw. einer Frau namens Betty K. informierte. Nach der Lektüre erfuhren einige Personen, Betty sei heterosexuell (z. B. »Betty lebt mit ihrem Ehemann zusammen«), anderen beschrieb man sie als lesbisch (z. B. »Betty lebt mit ihrer Lebenspartnerin zusammen«), und eine dritte Gruppe erhielt keinen Aufschluss über Bettys sexuelle Präferenzen. Die Zusatzinformation wurde so gegeben, dass die Personen Betty als »typische Heterosexuelle« oder »typische Lesbierin« klassifizieren konnten (z. B. hatte sie während ihrer Studienzeit keine feste Beziehung, ging aber auf »Dates« aus). Eine Woche später bat man dann die ProbandInnen, sich so genau wie möglich an Betty K. zu erinnern. Diejenigen, für die Betty lesbisch war, interpretierten deren Leben kurzerhand um und berichteten von mehr auf Homosexualität hindeutenden Ereignissen in ihrem Leben (z. B. »Betty ging in ihrer Studienzeit niemals mit Jungs aus«) als in den beiden anderen Versuchsbedingungen.

(nach Forgas, 1999, S. 51)

Kriterien zur Auswahl einer Untersuchungsart

Das erste Kriterium stellt der aktuelle Forschungsstand dar. Wie in Kapitel 2.1 bereits dargestellt, stehen dabei Fragen im Vordergrund wie: »Was weiß man bereits zu der Fragestellung?«, »Liegen schon Theorien und Befunde vor?« (was eher für eine deskriptive und/oder explanative Untersuchungsart sprechen würde) bzw. »Wird Neuland betreten?« (was eher für eine explorative Untersuchung spräche). Dieser Prozess mündet in der endgültigen Festlegung des Themas der Untersuchung, die das zweite Kriterium für die Auswahl einer Untersuchungsart darstellt. Bortz & Döring (2006) geben einige Beispiele für solche potentiellen Themenbereiche:

1. Überprüfung theoretisch begründeter Hypothesen: Können die von einer Theorie behaupteten Effekte oder Prozesse nachgewiesen werden? Kann durch eine Theorie das Verhalten einer Stichprobe befriedigend erklärt bzw. vorhergesagt werden? Ein Beispiel wäre die Hypothese »Je höher die Anonymität von AngreiferInnen, desto stärker fällt ihr aggressives Verhalten aus« (vgl. Zimbardo, 1969).

2. Wiederholung bzw. Übertragung vorliegender Befunde: Können bereits vorliegende Ergebnisse erneut bestätigt (repliziert) oder auf spezielle Stichproben übertragen (generalisiert) werden? Gelten die Vorhersagen einer Theorie auch noch unter veränderten Bedingungen? Bezogen auf das Beispiel hieße das: »Wird Cybermobbing durch die Anonymität von AngreiferInnen im Internet verstärkt?« (siehe Ziegler & Blanz, 2014a, 2014b).

3. Klärung widersprüchlicher Theorien bzw. Untersuchungsergebnisse: Ist eine von mehreren Theorien besser geeignet, das Verhalten einer Stichprobe zu erklären? Warum wurde eine Theorie in der einen Studie unterstützt, in der anderen jedoch nicht? Zum Beispiel: »Warum kommt es in einigen Gruppen zu einer Verstärkung der individuellen Aggressivität ihrer Mitglieder und in anderen Gruppen zu einer Reduktion?«

4. Überprüfung neuer methodischer Varianten: Wodurch kann eine wissenschaftliche Methode (z. B. eine Befragungsmethode zur Erfassung aggressiven Verhaltens) besser an eine Stichprobe (z. B. Kinder, ältere Menschen) angepasst werden? Gelten die Aussagemöglichkeiten einer Methode auch noch unter veränderten Bedingungen (z. B. eine mündliche Befragung im Vergleich zu einer schriftlichen)?

5. Erkundung von Hypothesen: Dies betrifft beispielsweise die Entwicklung neuer Hypothesen und Theorien, die sich von den bisherigen abgrenzen, oder die Ausarbeitung von Hypothesen und Theorien in einem neuen Gebiet, für das bislang keine Ansätze vorlagen (und die dann anschließend empirisch überprüft werden können).

Während explanative Untersuchungen grundsätzlich für die Punkte 1 bis 4 in Frage kommen, können sich deskriptive Studien besonders auf die Punkte 2, 4 und 5 beziehen und explorative Untersuchungen speziell auf Punkt 5. Explorative Studien sollten dabei wirklich nur dann eingesetzt werden, wenn absolutes Neuland betreten wird, nicht jedoch (auch nicht in der Sozialen Arbeit), weil man das »Risiko«, eine widerlegbare Hypothese aufzustellen, scheut oder den Aufwand einer größeren Stichprobenerhebung und den Einsatz statistischer Verfahren vermeiden möchte. Insbesondere eine sorgfältige und ausgedehnte Suche nach Theorien, die sich auf das jeweilige Forschungsinteresse beziehen lassen, sollte nicht umgangen oder abgekürzt werden, denn »theorieloses Forschen bewirkt oft, dass wir viele (empirische) Informationen, aber wenig Wissen haben« (Frey, 2014, S. 45).

Ein drittes Kriterium für die Entscheidung zugunsten einer Untersuchungsart schließlich bezieht sich auf die potentielle Aussagekraft der Ergebnisse der geplanten Untersuchung. Dabei stehen folgende Aspekte im Vordergrund:

• Innere Gültigkeit der Ergebnisse: Können Veränderungen in den abhängigen Variablen (z. B. »Verstärktes Cybermobbing ist dann zu beobachten, …«) eindeutig auf den Einfluss der unabhängigen Variablen zurückgeführt werden (z. B. »… wenn eine hohe Anonymität der Angreifer im Internet besteht«)? Dieser Aspekt wird auch als interne Validität (lat. validus für wirksam; engl. validity für Gültigkeit) einer empirischen Studie bezeichnet. Man sollte die eigene empirische Untersuchung also möglichst so anlegen und planen, dass potentielle Alternativerklärungen weitgehend ausgeschlossen werden können (z. B. »Verstärktes Cybermobbing tritt dann auf, wenn die Opfer viele persönliche Informationen von sich im Internet preisgeben«).

• Äußere Gültigkeit der Ergebnisse: Kann das in einer Stichprobenuntersuchung gefundene Ergebnis (z. B. »Die AnhängerInnen des Fußballvereins X zeigen in Situationen, in denen sie in einer großen Gruppe auftreten, eine Zunahme ihres aggressiven Verhalten gegenüber Fans der gegnerischen Mannschaft«) auf andere Personen, Situationen und Zeitpunkte verallgemeinert (generalisiert) werden (z. B. »Je größer eine Gruppe, desto stärker ist das aggressive Verhalten«)? Bei diesem Aspekt spricht man auch von der externen Validität einer empirischen Studie. Die eigene Untersuchung sollte also auch so geplant werden, dass es möglich wird, von ihrer Datenbasis aus Schlussfolgerungen auf eine »höhere« Ebene zu ziehen.

• Statistische Gültigkeit der Daten: Dazu zählen Fragen wie »Können die erhobenen Daten mit angemessenen statistischen Verfahren ausgewertet werden?«, »Kann die Stichprobe groß genug rekrutiert werden?« oder »Können die Variablen genau gemessen werden?« Dieser Aspekt wird auch als statistische Validität einer Untersuchung bezeichnet. Man sollte bei der Planung der eigenen Studie demzufolge bereits im Vorfeld mitbedenken, wie die Daten später ausgewertet werden können (z. B. »Welche Möglichkeiten gibt es, die in einem offenen Interview auf die Frage ›Wie geht es Ihnen mit Ihrem Studium der Sozialen Arbeit?‹ erhaltenen Antworten anschließend auszuwerten?« Und: »Welche Auswertungsmöglichkeiten können bei einem solchen Datenmaterial später nicht angewendet werden?«), ob und wie man an eine hinreichend große Stichprobe, die für die Fragestellung relevant ist, gelangen kann (z. B. »Wie hoch ist die Chance, genügend Frauen und Männer, die der Prostitution nachgehen, für meine Befragungsstudie zu gewinnen?«) und wie man die interessierenden Merkmale möglichst exakt erfassen kann (z. B. »Wie kann ich die Variable ›Kindeswohl‹ in meiner Studie messen?«; vgl. Dittrich & Borg-Laufs, 2011).

Die Auswahl der Untersuchungsart der geplanten empirischen Studie sollte idealerweise so erfolgen, dass die drei genannten Aspekte der inneren, äußeren und statistischen Gültigkeit (Validität) optimiert werden.

Forschungsdesigns

Untersuchungspläne können sich hinsichtlich verschiedener formaler Aspekte voneinander unterscheiden. Dazu zählen u. a., ob eine einmalige (Querschnittsstudie) oder eine mehrmalige Datenerhebung (Längsschnittstudie) geplant wird, ob die Untersuchung in einer natürlichen Situation (Feldstudie) oder einer künstlichen (Laborstudie) durchgeführt werden soll, ob die Variablen in der Untersuchung aktiv beeinflusst (manipuliert) werden oder nicht (Bedingungsvariation) und ob eine (univariate Studie) oder mehrere abhängige Variablen (multivariate Studie) erfasst werden sollen. Als grobe Orientierungshilfe bei der Untersuchungsplanung können die in Box 7 dargestellten »7 W-Fragen« dienen.

Box 7: Die 7 W-Fragen der Untersuchungsplanung

(nach Katschnig, 2013)

Korrelative Untersuchungen

Korrelative Studien (von lat. correlatio für Wechselbeziehung) sind insbesondere zur Prüfung von Zusammenhangshypothesen geeignet (z. B. »Besteht ein Zusammenhang zwischen der Rezeption von Gewalt in Medien und aggressivem Verhalten?«). Dabei werden die relevanten Variablen zumeist gleichzeitig (Querschnittsstudie) und häufig in einer natürlichen Situation (Feldstudie) so erfasst, dass sie durch den Erhebungsprozess nicht oder möglichst wenig beeinflusst werden. In korrelativen Untersuchungen werden aufgrund des vergleichsweise geringen Aufwandes meist mehrere Variablen zugleich erfasst, deren Zusammenhänge untereinander anschließend analysiert werden. Der größte Nachteil von korrelativen Querschnitt-Designs liegt darin, dass sie keine Aussagen über mögliche Kausalzusammenhänge ermöglichen, also eher von erkundender (explorativer) bzw. beschreibender (deskriptiver) Natur sind ( Kap. 7.1).

Längsschnittuntersuchungen

Bei längsschnittlichen Studien kommt es zu mehrmaligen Erhebungen, die anschließend miteinander verglichen werden, weshalb sie insbesondere zur Überprüfung von Veränderungshypothesen geeignet sind (z. B. »Verändern sich die Sehgewohnheiten bzw. das aggressive Verhalten der ProbandInnen über die Zeit?«; Kap. 8.2). Ist eine Längsschnittuntersuchung korrelativ angelegt, können aus ihr darüber hinaus Hypothesen in Bezug auf mögliche Kausalzusammenhänge abgeleitet werden (vgl. Helmreich, 1977): Dies ist z. B. dann der Fall, wenn Variable 1 (Rezeption von Gewaltsendungen) zum ersten Messzeitpunkt mit Variable 2 (aggressives Verhalten) zum zweiten Messzeitpunkt hoch zusammenhängt, Variable 2 (aggressives Verhalten) zum ersten Messzeitpunkt aber nicht mit Variable 1 (Gewaltrezeption) zum zweiten Messzeitpunkt. Anders formuliert: Während die heutigen Sehgewohnheiten mit dem späteren aggressiven Verhalten bedeutsam zusammenhängen, besteht zwischen dem derzeitigen Ausmaß an Aggressivität von Personen und ihren künftigen Sehgewohnheiten kein Zusammenhang (vgl. Lefkowitz, Eron, Walder & Huesmann, 1977). Das Grundprinzip dieses Vorgehens, das auf einem Vergleich zwischen den beiden sog. »Kreuzkorrelationen« beruht, ist in Abbildung 2 veranschaulicht. Solche Kausalhypothesen können anschließend im Rahmen experimenteller Studien geprüft werden.

Abb. 2: Längsschnittstudien und Kausalität Anmerkung: Hypothesen über mögliche Kausalzusammenhänge beruhen bei korrelativen Längsschnittuntersuchungen auf einem Vergleich der beiden »Kreuzkorrelationen«: Variable 1 hängt mit Variable 2 über die Zeit zusammen (erste Kreuzkorrelation; durchgezogene Linie), Variable 2 jedoch nicht mit Variable 1 (zweite Kreuzkorrelation; gestrichelte Linie).

Experimentelle Untersuchungen

Bei experimentellen Studien besteht immer eine Bedingungsvariation, weshalb sie besonders zur Untersuchung von Unterschiedshypothesen geeignet sind (z. B. ein Vergleich des aggressiven Verhaltens von Personen mit und ohne vorhergehende Rezeption medialer Gewaltinhalte; Kap. 8.1). Deshalb stellen Experimente das derzeit beste Mittel dar, Kausalzusammenhänge empirisch zu überprüfen. Ein Experiment (lat. experimentum für Versuch, Probe) ist eine »wiederholbare Beobachtung unter kontrollierten Bedingungen, wobei eine (oder mehrere) unabhängige Variable(n) derartig manipuliert wird (werden), dass eine Überprüfungsmöglichkeit der zugrundeliegenden Hypothese (Behauptung eines Kausalzusammenhangs) in unterschiedlichen Situationen gegeben ist« (Zimmermann, 1972, S. 37).

Der Aufbau experimenteller Untersuchungen kann folgendermaßen charakterisiert werden:

• Experimente weisen eine zeitliche Struktur auf, d. h. die unabhängigen Variablen (Herstellung der Wenn-Bedingungen; im Beispiel ist dies die Gewaltrezeption) treten zeitlich vor der Erfassung der abhängigen Variablen auf (Messung der Dann-Folgen; im Beispiel bezieht sich dies auf das nachfolgende aggressive Verhalten der RezipientInnen).

• Ein Experiment beinhaltet wenigstens eine unabhängige Variable (UV; wird auch als experimenteller Faktor bezeichnet), welcher mindestens zwei Abstufungen aufweist (z. B. »Gewaltrezeption nicht gegeben« versus »Gewaltrezeption gegeben«). Faktoren können auch mehrfach abgestuft sein (z. B. »keine Gewaltrezeption«, »1 Stunde Gewaltrezeption«, »2 Stunden Gewaltrezeption« usw.). Zudem können Experimente nicht nur einen einzelnen Faktor aufweisen (sog. ein- oder unifaktorielle Designs), sondern mehrere Faktoren umfassen (mehr- oder multifaktorielle Designs). So könnte man neben der Dauer der Gewaltrezeption als ersten Faktor die Realitätsnähe der Darstellungen (z. B. mit den Abstufungen »realistisch« versus »fiktiv«) als zweiten Faktor in einem zweifaktoriellen Design berücksichtigen.

• Des Weiteren umfasst ein Experiment stets mindestens eine abhängige Variable (AV), die ebenfalls wenigstens zwei (z. B. »aggressives Verhalten nicht gegeben« versus »aggressives Verhalten gegeben«), i. d. R. aber mehrere Abstufungen aufweist (z. B. auf einer Beurteilungsskala von 1 = »kein aggressives Verhalten« bis 10 = »sehr starkes aggressives Verhalten«). Experimente können auch mehrere abhängige Variablen umfassen: bei einer einzelnen AV wird von einem univariaten Design gesprochen (z. B. wird nur aggressives Verhalten gemessen), bei mehreren von einem multivariaten Versuchsplan (z. B. wird neben aggressivem Verhalten auch prosoziales Verhalten erfasst).

• Experimente können schließlich entweder in einem natürlichen Milieu (unter zumeist komplexen Bedingungen, z. B. eine Erhebung der Sehgewohnheiten Zuhause; Feldexperiment) oder in einer künstlich geschaffenen Umgebung (unter i. d. R. vereinfachten Bedingungen) stattfinden (z. B. wenn im Labor einige ProbandInnen einen Film ohne Gewaltinhalte rezipieren, andere einen mit Gewaltinhalten; Laborexperiment). Geschieht die Zuweisung der teilnehmenden Personen zur jeweiligen Untersuchungsbedingung (oder Versuchsgruppe; z. B. in die Gruppe ohne Gewaltrezeption und in die mit Gewaltrezeption) nach Zufall (randomisiert; z. B. durch Los), dann liegt ein echtes Experiment vor. In Fällen, in denen die Zuordnung jedoch nicht manipuliert werden kann (z. B. wenn Personen, die gewohnheitsmäßig Gewaltfilme rezipieren, mit solchen, die das nicht tun, verglichen werden sollen), spricht man von einem Quasiexperiment. In Box 8 finden sich weitere Beispiele für diese vier experimentellen Untersuchungsarten.

Box 8: Vier experimentelle Untersuchungsarten

• Quasiexperimentelle Feldstudie: Es besteht eine natürliche Umgebung, es ist aber keine Zufallszuweisung der teilnehmenden Personen möglich; Beispiel: »Einfluss der gemeinsamen Unterrichtung von Mädchen und Jungs auf das Leistungsselbstbild«.

• Experimentelle Feldstudie: Es besteht eine natürliche Umgebung und eine Zufallszuweisung der teilnehmenden Personen ist möglich; Beispiel: »Veränderungen der politischen Einstellungen durch die Rezeption zweier unterschiedlicher Tageszeitungen«.

• Quasiexperimentelle Laborstudie: Es besteht eine künstliche Umgebung und eine Zufallszuweisung der teilnehmenden Personen ist nicht möglich; Beispiel: »Vergleich der sozialen Kompetenz von RaucherInnen und NichtraucherInnen«.

• Experimentelle Laborstudie: Es besteht eine künstliche Umgebung und eine Zufallszuweisung der teilnehmenden Personen ist möglich; Beispiel: »Untersuchung der Hilfsbereitschaft in einer simulierten Notsituation bei fehlenden versus anwesenden ZeugInnen«.

(nach Bortz & Döring, 2006)

Laborexperimenten wird häufig eine höhere internale Validität (d. h. ein eindeutiger Schluss von den abhängigen auf die unabhängigen Variablen ist möglich) zugeschrieben als Feldexperimenten, da sie i. d. R. mehr Möglichkeiten bieten, unerwünschte Störfaktoren (z. B. ob die teilnehmenden Personen alleine oder in Gruppen Gewaltfilme rezipieren) auszuschließen. Auf der anderen Seite wird Feldexperimenten oft eine höhere externale Validität zugewiesen, da von ihren Befunden leichter auf die Grundgesamtheit (Population) geschlossen werden kann (während bei Laborexperimenten primär der Rückschluss auf die Hypothese bzw. Theorie im Vordergrund steht). Die Möglichkeiten zum konkreten Aufbau von Experimenten sowie zur Reduktion möglicher Störeinflüsse werden im nächsten Abschnitt behandelt.

Experimentelle Versuchspläne

Experimentelle Untersuchungen unterscheiden sich darin, in wieweit ihnen die Kontrolle von Störvariablen (und damit der Ausschluss von Alternativerklärungen) gelingt. Man kann deshalb von »besseren« und »schlechteren« experimentellen Versuchsplänen sprechen. Dies gilt nicht nur für Gruppen-Experimente (mit vielen Personen), sondern auch für Einzelfallexperimente (mit nur einer teilnehmenden Person). Da Letztere jedoch zumeist im Rahmen der Evaluation Sozialer Arbeit relevant erscheinen, z. B. wenn der »Wirkmechanismus« einer neuen sozialpädagogischen Intervention untersucht bzw. bewertet werden soll, wird dieser Aspekt in Kapitel 10 näher behandelt.

Experimentelle Störvariablen und ihre Kontrolle werden ausführlich bei Zimmermann (1972), Gniech (1976) und Bröder (2011) dargestellt, ebenso die jeweiligen Vor- und Nachteile bestimmter experimenteller Versuchspläne (ein knapper, aber sehr leicht lesbarer Überblick findet sich bei Spaeth-Hilbert & Imhof, 2013, S. 58 ff.). Im Folgenden sollen einige wesentliche Aspekte hervorgehoben werden.

Bedingungsvariation

Bei Designs mit nur einer Versuchsbedingung (sog. One-shot-Designs oder vorexperimentelle Versuchspläne) kann nicht von der abhängigen auf die unabhängige Variable geschlossen werden. Deshalb ist mindestens eine zusätzliche Vergleichsbedingung für ein Experiment unerlässlich (Zweigruppen-Versuchspläne). Die günstigste Variante vergleicht die Bedingung, in der die unabhängige Variable gegeben ist (z. B. »Gewaltrezeption vorhanden«), mit der, in der die UV fehlt (z. B. »Gewaltrezeption fehlt«). Hier spricht man auch von einem Kontrollgruppenplan.

Konstanthaltung

Damit Unterschiede in einem Kontrollgruppenplan ausschließlich auf die unabhängige Variable (im Beispiel ist das die Rezeption von Mediengewalt) und nicht auf etwaige andere Einflüsse (z. B. ob es sich um einen amerikanischen oder einen deutschen Film handelt) zurückgeführt werden können, ist sicherzustellen, dass sich die beiden Versuchsbedingungen nur hinsichtlich des experimentellen Faktors (der unabhängigen Variablen) voneinander unterscheiden, während alle übrigen äußeren Bedingungen des Experimentes gleich (konstant) gehalten werden müssen (z. B. sehen alle Probanden Ausschnitte des gleichen Films, wobei in einer Bedingung eine Gewaltszene zu sehen ist, in der anderen nicht).

Zufallszuteilung

In den Sozialwissenschaften sind äußere Störvariablen (z. B. Lärm während der Untersuchung) i. d. R. besser kontrollierbar als innere (z. B. Vorerfahrung mit Gewaltfilmen). Während z. B. Lärmeinflüsse durch die Versuchsanordnung ausgeschaltet werden können (etwa durch einen schalldichten Raum; sog. Elimination), können innere Störfaktoren dadurch reduziert werden, dass die teilnehmenden Personen nach Zufall (z. B. per Münzwurf) auf die Versuchsbedingungen aufgeteilt werden (sog. Randomisierung). Wird eine Randomisierung bei einer großen Strichprobe durchgeführt, kann erwartet werden, dass sich z. B. Personen mit fehlender bzw. vorhandener Vorerfahrung mit Mediengewalt auf beide Versuchsbedingungen annähernd gleich verteilen. Versuchspläne ohne Randomisierung haben lediglich quasi-experimentellen Charakter: Sie können Störvariablen häufig nur unzureichend kontrollieren, was zu einer sog. Konfundierung (von lat. confundere für vermischen) der Ergebnisse führt (d. h. der Rückschluss von der abhängigen auf die auf die unabhängige Variable wird eingeschränkt).

Parallelisierung

Ist die verwendete Stichprobe allerdings sehr klein, kann auch trotz einer Randomisierung eine Ungleichverteilung von Merkmalen in den Versuchsbedingungen auftreten. In diesem Falle ist zusätzlich zur Zufallszuweisung eine sog. Parallelisierung (oder Matching) zu empfehlen, bei dem z. B. die Rezeptionserfahrung der teilnehmenden Personen in einer Vorbefragung (oder Vortest) erfasst wird, so dass eine Gleichverteilung auf die Gruppen aktiv hergestellt werden kann.

Vortests

Voruntersuchungen sind darüber hinaus sinnvoll, um die Wirkung der unabhängigen Variablen zu überprüfen (z. B. »Wird eine einzelne Gewaltdarstellung von wenigen Sekunden von den RezipientInnen überhaupt wahrgenommen?«; sog. Manipulationscheck), die Rezeption der experimentellen Instruktionen vorab zu testen (z. B. deren Verständlichkeit) sowie die Eignung der zur Erfassung der abhängigen Variablen verwendeten Datenerhebungsverfahren (z. B. Beobachtung, Interview, Fragebogen usw.) zu überprüfen (»Durch welche Methode kann ich aggressives Verhalten am besten messen?«, »Sagen die Messwerte tatsächlich etwas über aggressives Verhalten aus (und nicht z. B. etwas über soziale Erwünschtheit)?«, »Sind die Messungen zuverlässig, also wiederholbar mit gleichem Ergebnis?«).

Wiederholungsmessungen

Sind Randomisierung und Parallelisierung gelungen, sollte sich bei der Messung der abhängigen Variablen kurz vor der Einführung des experimentellen Faktors kein bedeutsamer Unterschied zwischen den Versuchsgruppen finden. Vorher-nachher-Messungen verbessern also zusätzlich den Schluss von Veränderungen der Nachher-Messung der abhängigen Variablen (z. B. des aggressiven Verhaltens der teilnehmenden Personen) auf die unabhängige Variable (die Gewaltrezeption). Um auszuschließen, dass sich die Vorher-Messung der abhängigen Variablen bereits (ungewollt) auf die Personen auswirkt (z. B. könnten sie durch eine Messung des aggressiven Verhaltens gleich zu Beginn der Untersuchung für aggressive Inhalte des nachfolgenden Films sensibilisiert werden), kann der (randomisierte) Kontrollgruppenplan einmal mit und einmal ohne Vorher-Messung durchgeführt werden. Dieses Vorgehen wird als Solomon-Viergruppenplan bezeichnet, der zwar eine Abschätzung des »reinen« Einflusses der unabhängigen Variablen ermöglicht, zugleich aber sehr aufwendig ist.

Hierarchische Versuchspläne

Wird die unabhängige Variable im Experiment nicht mit Hilfe von Materialien (z. B. das Zeigen von Filmausschnitten) sondern durch das Verhalten einer Person (i. d. R. eine Mitarbeiterin/ein Mitarbeiter der Versuchsleitung; wird auch als verbündete oder konföderierte Person bezeichnet) realisiert (z. B. wenn man die Wirkung von Erziehungs- oder Führungsstilen untersuchen möchte, die im Experiment von der konföderierten Person umgesetzt werden), entsteht durch die konföderierte Person eine weitere mögliche Konfundierungsquelle (z. B. wenn ein Führungsstil von der einen konföderierten Person besser umgesetzt wird als von der anderen). In diesem Falle empfiehlt es sich, einen hierarchischen Versuchsplan zu verwenden, bei dem in dem zuletzt genannten Beispiel alle untersuchten Führungsstile von jeder im Experiment eingesetzten Führungsperson eingesetzt werden. Ein Beispiel für einen solchen hierarchischen Versuchsplan, das sog. Lateinische Quadrat, wird in Box 9 näher beschrieben.

Box 9: Das Lateinische Quadrat als Beispiel eines hierarchischen Versuchsplans

In der klassischen Studie von Lewin, Lippitt & White (1939) wurden die Wirkungen der drei Erziehungs- oder Führungsstile »demokratisch« (oder kooperativ; die Geführten sind bei Entscheidungen beteiligt), »autoritär« (oder hierarchisch; die Entscheidungen werden ausschließlich von der Führungsperson getroffen) und »laissez-faire« (franz. für gewähren lassen; die Geführten treffen die Entscheidungen selbst) auf die Zufriedenheit und die Leistung der Geführten überprüft (s. a. Lück, 2001). Um sicher zu stellen, dass Veränderungen der abhängigen Variablen (Zufriedenheit und Leistung der Geführten) auf den jeweiligen Führungsstil (als unabhängige Variable) zurückgeführt werden können, und nicht etwa auf die Persönlichkeit der Führungsperson bzw. die spezifische Zusammensetzung der Geführtengruppen, werden im Lateinischen Quadrat von jeder Führungsperson alle drei Führungsstile realisiert bzw. bei jeder Gruppe alle drei Stile umgesetzt. Darüber hinaus kann durch diesen Versuchsplan geprüft werden, welcher der drei Führungsstile für die Zufriedenheit und Leistung der Geführten jeweils von größerer Bedeutung ist.

Führungsperson 1Führungsperson 2Führungsperson 3

Anmerkung: In den Zellen finden sich die jeweils umgesetzten Führungsstile, wobei die Reihenfolge der drei Stile sowohl über die Führungspersonen wie die Geführtengruppen vollständig variiert wurden (dieses Vorgehen wird auch als Ausbalancieren bezeichnet).

Follow-up

Katamnesen, d. h. Nacherhebungen der abhängigen Variablen mit einem gewissen Zeitabstand zur unabhängigen Variablen, eigenen sich besonders zur Prüfung der Nachhaltigkeit von Wirkungen, was für die Soziale Arbeit insbesondere bei Evaluationsstudien sozialpädagogischer Interventionen relevant erscheint (Stichwort »Hilfe zur Selbsthilfe«). Bei sehr großen Zeitabständen kann die Validität (Gültigkeit oder Qualität) des Experimentes indessen durch Zufallseinflüsse (wie z. B. Veränderungen in der Umwelt der teilnehmenden Personen, die nicht mit der unabhängigen Variablen in Zusammenhang stehen), durch Entwicklungsprozesse (d. h. die Personen verändern sich z. B. durch Reifung über die Zeit) und/oder durch systematische Ausfälle von UntersuchungsteilnehmerInnen gefährdet werden (d. h. Personen scheiden aus der Studie aus, beispielsweise durch Umzug, Motivationsverlust usw., wobei sich die Ausfälle häufig nicht in allen Versuchsbedingungen in gleichem Ausmaße ergeben; dies wird auch als experimentelle Mortalität bezeichnet).

Erwartungseffekte

Häufig bilden sich die Personen, die an Experimenten teilnehmen, Vorstellungen darüber, um was es in der Untersuchung geht und was von ihnen »erwartet« wird. Diese Erwartungen werden beispielsweise beeinflusst von den im Experiment vorgegebenen Instruktionen (»Mit dieser Studie wollen wir Entspannungsprozesse untersuchen«), dem experimentellen Setting (z. B. der Verwendung eines Entspannungssessels), den unabhängigen Variablen (z. B. dem Einsatz von Entspannungsinstruktionen wie »Ich bin jetzt ganz ruhig«), der Erfassung der abhängigen Variablen (z. B. der Messung der Pulsfrequenz) und dem Verhalten potentieller Konföderierter (die sich sichtbar entspannen). Solche Störeinflüsse werden auch als Aufforderungscharakteristiken (demand characteristics; vgl. Orne, 1962) bezeichnet. Eine spezielle Variante davon ist der sog. Hawthorne-Effekt (benannt nach den Hawthorne-Werken in den USA, wo der Effekt erstmals beobachtet wurde), der besagt, dass die TeilnehmerInnen einer Studie ihr Verhalten ändern, weil sie wissen, dass sie an einer Studie teilnehmen und unter Beobachtung stehen. Während einige Personen dazu tendieren, sich den vermuteten Hypothesen der Untersuchung anzupassen (die »angepasste« Versuchsperson), neigen andere dazu, genau das Gegenteil zu machen (die »reaktante« Versuchsperson).

Auch wenn die Versuchsleiterin bzw. der Versuchsleiter persönlich in Kontakt mit den teilnehmenden Personen tritt, besteht die Gefahr, dass sie ihr Wissen um die Ziele und Hypothesen der Studie durch ihr Verhalten an die Personen übermitteln, selbst wenn sie selbst dies nicht wahrnehmen. Solche Erwartungseffekte werden auch als Versuchsleitereffekte bezeichnet (Kebeck & Lohaus, 1985). Werden die Erwartungen der teilnehmeden Personen in einem Experiment »ausgeschaltet« oder minimiert, spricht man von »einfacher Versuchsblindheit«, da die Personen nichts über die (wahren) Ziele der Studie erfahren. Werden zusätzlich die Erwartungen der Person, die den Versuch leitet, eliminiert, indem dieser ebenfalls keine (wahren) Informationen über das Untersuchungsziel gegeben werden, liegt eine »doppelte Versuchsblindheit« vor.

Ethische Aspekte von Experimenten

Es kann in Experimenten schließlich vorkommen, dass Erwartungseffekte dadurch reduziert werden, dass man den teilnehmenden Personen ablenkende Informationen über das Ziel der Studie vermittelt. Dies liegt beispielsweise dann nahe, wenn sozial besonders erwünschte (wie z. B. prosoziales Verhalten) oder unerwünschte Verhaltensweisen (z. B. aggressives Verhalten) untersucht werden sollen. Dabei ist zu vermeiden, dass sich das Verhalten der Personen ausschließlich oder vorwiegend am Aspekt der sozialen Erwünschtheit orientiert (sonst reagieren sie in der Untersuchung bevorzugt prosozial bzw. vermeiden aggressives Verhalten). Ethische Richtlinien für die Durchführung von Experimenten und anderen Forschungsaktivitäten in Deutschland finden sich beispielsweise auf der Homepage der Deutschen Gesellschaft für Psychologie (www.dgps.de; insbesondere in Abschnitt C.III. Grundsätze für Forschung und Publikation). Eine knappe Zusammenfassung ethischer Grundsätze für empirische Untersuchungen geben Spaeth-Hilbert & Imhof (2013). Speziell für die Forschung in der Sozialen Arbeit gibt es auf den Internetseiten der Deutschen Gesellschaft für Soziale Arbeit (DGSA) seit 2020 den Forschungsethikkodex »Forschungsethische Prinzipien und wissenschaftliche Standards«.

Auswahl der Untersuchungsteilnehmer

Unter einer Grundgesamtheit (auch Population oder Kollektiv) versteht man alle Personen, die gemeinsam ein definierendes Merkmal aufweisen. Diese Merkmal (es können auch mehrere sein) wird in erster Linie durch die Fragestellung bestimmt: Eine Hypothese kann sich spezifisch auf eine Untergruppe von Menschen (sog. Merkmalsträger oder statistische Einheiten) beziehen, z. B. auf Personen mit Migrationshintergrund, alkoholkranke Menschen, Schulkinder, obdachlose Menschen, über 65jährige Personen, Menschen mit Behinderung usw. (z. B. »Über je mehr Geldmittel MigrantInnen verfügen, desto zufriedener sind sie«), die dann die jeweilige Population darstellen, oder auch auf alle Menschen, was bei Allaussagen der Fall ist (z. B. »Je ärmer Menschen sind, desto schlechter ist ihr Gesundheitszustand«). Merkmalsträger sind in sozialwissenschaftlichen Studien i. d. R. einzelne Personen oder auch soziologische Einheiten (wie Familien, Haushalte, Unternehmen etc.). Populationen lassen sich nach zeitlichen (z. B. »Personen, die am 1. Januar 2013 …«), sachlichen (»… mit ihrem Hauptwohnsitz …«) und/oder räumlichen (»… in der Stadt X gemeldet waren«) Gesichtspunkten charakterisieren. Der Begriff Untersuchungseinheit bezeichnet diejenigen MerkmalsträgerInnen, über die die Studie Aussagen treffen möchte (z. B. Familien oder Haushalte), während sich die Bezeichnung Erhebungseinheit auf diejenigen MerkmalsträgerInnen bezieht, an denen die Daten erhoben werden (z. B. die Haushaltsvorstände).

Am günstigsten für sozialwissenschaftliche Untersuchungen ist es, wenn die gesamte Population erfasst werden kann (sog. Voll- oder Totalerhebung). Dies ist eher möglich, wenn die entsprechende Population sehr klein ausfällt (z. B. Mädchen im Grundschulalter, deren Eltern nach 2005 aus Syrien nach Deutschland emigriert sind) bzw. wenn für die Personen Teilnahmepflicht besteht (z. B. alle Mitglieder einer Organisation). In diesem Fall muss nicht von einer Stichprobe auf die Population geschlossen werden, da die Befunde direkte Aussagen über die Grundgesamtheit zulassen. Allerdings können auch hier Einschränkungen auftreten, etwa wenn Personen nicht erreichbar sind (z. B. weil sie erkrankt sind) oder eine Teilnahme verweigern (sog. Nonresponder oder Dropouts). Die Anzahl der Personen einer Totalerhebung wird üblicherweise durch ein großes N gekennzeichnet. Bei Populationskennwerten (z. B. dem Mittelwert einer Variablen) spricht man von Parametern (engl. »population parameters«), die mittels griechischer Buchstaben abgekürzt werden (z. B. wird für den Mittelwert einer Population der Buchstabe μ verwendet; sprich »Mü«).

Sobald die Grundgesamtheit, auf die sich die Untersuchungshypothese bezieht, nicht vollständig rekrutierbar (erreichbar) ist (z. B. weil sie zu umfangreich ist, der dazu notwendige Aufwand nicht geleistet werden kann, die Personen schwer aufzufinden oder wenig motiviert sind usw.), ist es notwendig, eine Stichprobenziehung vorzunehmen (sog. Teilerhebung). Eine Stichprobe (engl. »sample«) bezeichnet eine Teilmenge von MerkmalsträgerInnen einer Grundgesamtheit. Anstelle einer kompletten Volkszählung kann beispielsweise auf den Mikrozensus zurückgegriffen werden, bei dem in Deutschland vierteljährlich 0.1 % bzw. jährlich 1 % aller Haushalte befragt werden (siehe Ostermann & Wolf-Ostermann, 2012). Die Anzahl der Personen einer Teilerhebung wird durch ein kleines n gekennzeichnet (es kommt allerdings gelegentlich vor, dass in einem Text die Gesamtstichprobe mit N und Untergruppen durch n gekennzeichnet werden, um Stichproben- und Gruppengröße voneinander abzuheben). Bei Stichprobenkennwerten (z. B. Mittelwerten) spricht man von Statistiken (engl. »sample statistics«), die üblicherweise durch lateinische Buchstaben abgekürzt werden (z. B. wird für den Mittelwert einer Stichprobe das Zeichen verwendet). In vielen Statistiklehrbüchern ist es zudem Konvention, lateinische Kennwerte (Stichprobenstatistiken) kursiv zu setzen, griechische (Populationsparameter) hingegen nicht. Im vorliegenden Buch sind allerdings alle Kennwerte kursiv dargestellt, um sie möglichst deutlich vom übrigen Text abzuheben.

Bei Teilerhebungen, die in den Sozialwissenschaften wesentlich häufiger anzutreffen sind als Vollerhebungen, ist von den Daten der Stichprobe auf die Population zu schließen, denn es gilt: n < N. Dies bedeutet, dass die Daten einer Stichprobenuntersuchung die Population nicht immer exakt abbilden. Diese unvermeidbaren Unterschiede zwischen Grundgesamtheit und Stichprobe werden als Stichprobenfehler (oder Standardfehler) bezeichnet. Der Stichprobenfehler gibt an, wie genau Parameter der Population durch die Statistiken der Stichprobe geschätzt werden können (die mathematische Berechnung des Standardfehlers wird in Kapitel 6 beschrieben). Stichproben kann man insbesondere hinsichtlich zweier Gesichtspunkte voneinander unterscheiden: die Art, wie sie ausgewählt werden, und ihre jeweilige Größe (der Stichprobenumfang).

Differenzierung von Stichprobenarten

Man kann zunächst zwischen nichtzufallsbasierten und zufallsbasierten Auswahlverfahren unterscheiden. Während die Ziehung bei der nichtzufallsbasierten Auswahl (sog. nichtprobabilistische Stichproben) auf einer gezielten (nicht beliebigen) Auswahlstrategie (z. B. über Bekanntschaft, Gelegenheit) basiert (wodurch einige Personen der Population eine größere Chance zur Auswahl aufweisen als andere), wird bei der zufallsbasierten Auswahl (sog. probabilistische Stichproben) dazu ein Zufallsverfahren (z. B. Los) verwendet (womit jede Person die gleiche Auswahlwahrscheinlichkeit aufweist). Nichtprobabilistische Stichproben sind eher bei explorativen Untersuchungen angemessen, während probabilistische Stichproben für deskriptive und explanative Studien notwendig erscheinen. Zum zweiten kann zwischen ungeschichteten und geschichteten Stichproben differenziert werden. Bei einer ungeschichteten Stichprobe wird bei der Auswahl ausschließlich das Populations-definierende Merkmal berücksichtigt (z. B. Studierende der Sozialen Arbeit), während bei einer geschichteten Stichprobe zusätzlich darauf geachtet wird, dass die Stichprobe (neben dem Populations-definierenden Merkmal) hinsichtlich weiterer Merkmale, die einen potentiellen Einfluss auf die abhängige Variable aufweisen könnten (wie z. B. Geschlecht, sozioökonomischer Status usw.), der Population (weitgehend) entspricht (z. B. 75 % weibliche und 25 % männliche Studierende der Sozialen Arbeit). Schichtungsverfahren dienen somit der Verbesserung der Repräsentativität einer Stichprobe. In Abbildung 3 ist ein Beispiel für hoch und niedrig repräsentative Stichproben gegeben: Befinden sich in der Grundgesamtheit 75 % Frauen und 25 % Männer (linke Seite), ist eine Stichprobe mit 3 Frauen und 1 Mann repräsentativ (oben), eine Stichprobe mit 2 Frauen und 2 Männern (unten) jedoch nicht. Bestünde die Population hingegen aus gleich vielen Frauen (50 %) wie Männern (50 %) (rechte Seite), dann wäre eine Strichprobe mit 2 Frauen und 2 Männern (oben) repräsentativ, eine mit 3 Frauen und 1 Mann (unten) aber nicht mehr. Repräsentativität bezeichnet also das Ausmaß, in der eine Stichprobe in ihrer Zusammensetzung der Population ähnelt. Eine Stichprobe ist spezifisch repräsentativ, »wenn ihre Zusammensetzung hinsichtlich einiger relevanter Merkmale der Populationszusammensetzung entspricht« (Bortz & Döring, 2006, S. 397), bzw. global repräsentativ, »wenn ihre Zusammensetzung in nahezu allen Merkmalen der Populationszusammensetzung entspricht« (ebd., S. 398).

Abb. 3: Hoch- und niedrigrepräsentative Stichproben

Aus diesen Überlegungen resultieren vier unterschiedliche Arten von Stichproben, die in Tabelle 2 aufgeführt sind. Bei einer Gelegenheitsstichprobe (oder anfallenden Stichprobe; engl. »convenience sample«) werden alle Personen, die sich z. B. freiwillig für eine Untersuchungsteilnahme bereit erklären, ohne weitere Selektion in die Studie aufgenommen (z. B. wenn für eine Pilotstudie zur Wirksamkeit eines neuen Trainingsprogrammes zur vorschulischen Förderung alle Kinder eines bestimmten Kindergartens X, deren Eltern eine Teilnahme bewilligt haben, verwendet werden). Ein solches Vorgehen erscheint in Hinblick auf die Generalisierbarkeit der Befunde problematisch, da bekannt ist, dass sich Personen, die sich für eine Untersuchung zur Verfügung stellen, von denen, die die Teilnahme verweigern, systematisch unterscheiden (z. B. bezüglich Schulnoten, sozialem Status, Geselligkeit usw.; Rosenthal & Rosnow, 1975). Das Vorgehen kann verbessert werden, indem die Kinder per Zufall auf die Versuchsbedingungen (»ohne Training« und »mit Training«) aufgeteilt und Replikationsuntersuchungen (Wiederholungsstudien) an weiteren Stichproben durchgeführt werden.

Tab. 2: Vier Arten von Stichproben (nach Huber, 2009)

Stichprobe ohne ZufallsauswahlStichprobe mit Zufallsauswahl

Eine zusätzliche Qualitätsverbesserung bei fehlender Zufallsauswahl kann dadurch erzielt werden, dass für bestimmte Merkmale (wie z. B. Geschlecht oder Alter), die man für untersuchungsrelevant hält, Quoten festgelegt und diese bei der Ziehung berücksichtigt werden (sog. Quotenstichprobe). »Bei der Quotenstichprobe wird versucht, die Zusammensetzung der Stichprobe hinsichtlich ausgewählter Merkmale den Populationsverhältnissen durch bewusste Auswahl ›passender‹ Objekte anzugleichen, also quasi ›Quoten‹ für bestimmte Merkmale zu erfüllen« (Bortz & Döring, 2006, S. 402). Dazu ist es allerdings notwendig, dass Informationen über diese Quoten in der Population bekannt sind (z. B. aus amtlichen Statistiken). Ein Beispiel wäre: Da der Kindergarten X (Stichprobe) aufgrund seiner Lage überproportional viele Kinder mit Migrationshintergrund im bundesweiten Vergleich (Population) aufweist, wird von diesen Kindern nur ein Teil in die Studie aufgenommen.

Als weiteres nichtprobabilistisches Auswahlverfahren sei noch auf die sog. theoretische Stichprobe hingewiesen. Diese spielt insbesondere in der qualitativen Sozialforschung eine große Rolle und bezeichnet ein Vorgehen, bei dem die Forschenden auf der Grundlage theoretischer Vorüberlegungen typische und/oder untypische Fälle gezielt auswählen. Aufbauend auf dem Konzept der »exemplarischen Verallgemeinerung« (Wahl, Honig & Gravenhorst, 1982, S. 206) dienen dabei »detaillierte Einzelfallbeschreibungen, die ›repräsentativ‹ sind, wenn sie als typische Vertreter einer Klasse ähnlicher Fälle gelten können« (Bortz & Döring, 2006, S. 335), als Ausgangspunkt. Dies bedeutet auch, dass noch während der Datenerhebung neue (ähnliche oder kontrastierende) Fälle mit aufgenommen (oder ggf. ausgeschlossen) werden können. Eine Schwierigkeit dabei ist jedoch, dass unklar bleibt, wie Forschende einen typischen Fall erkennen können, ohne bereits über eine »Theorie« zu verfügen. Eine nachfolgende quantitative Untersuchung zur Überprüfung der Befunde solcher Studien erscheint deshalb notwendig.

Für zufallsbasierte Stichproben differenziert Tabelle 2 zwei Arten von Auswahlverfahren. Bei Zufallsstichproben wählt der Forschende nach dem Zufallsprinzip einzelne Merkmalsträger aus der Grundgesamtheit aus (z. B. werden im Rahmen einer »kleineren« empirischen Studie, in der alle Kinder des Kindergartens X als Population dienen, einzelne Kinder nach Zufall ausgewählt). Dies ist in Abbildung 4 in dem ersten Beispiel (ganz oben) dargestellt. Die Personen sind dabei ausschließlich in Hinblick auf das Populations-definierende Merkmal gleich (Kinder des Kindergartens X), weshalb dieses Vorgehen auch als einstufiges Auswahlverfahren bezeichnet wird. Die Zufallsauswahl kann dabei entweder ohne eine Systematik erfolgen (z. B. per Los; sog. einfache Zufallsstichprobe), bei der alle möglichen Kombinationen an MerkmalsträgerInnen entstehen können (z. B. die Kinder 2, 3, 5, 14 etc.), oder mit einer Systematik (z. B. jedes zweite Kind wird ausgewählt; sog. systematische Zufallsstichprobe), bei der nicht alle Kombinationen an MerkmalsträgerInnen auftreten können (z. B. die Kinder 2, 4, 6, 8 usw.). Bei der geschichteten Zufallsstichprobe (vgl. dazu das zweite Beispiel in Abbildung 4) wird zunächst die Grundgesamtheit nach einer Schichtungsvariablen (z. B. Geschlecht) unterteilt, und anschließend proportional zur jeweiligen Schicht eine Anzahl an Personen zufällig ausgewählt. Ein solches Vorgehen wird als zweistufiges Verfahren bezeichnet (erste Stufe: Schichtung, zweite Stufe: Zufallsauswahl). Befinden sich im Kindergarten X beispielsweise mehr Mädchen (zwei Drittel) als Jungen (ein Drittel), dann wird entweder per Los (ohne Systematik) oder per Position (mit Systematik) eine Stichprobe gezogen, die ebenfalls zwei Drittel Mädchen und ein Drittel Jungen beinhaltet.

Abb. 4: Varianten zufallsbasierter (probabilistischer) Stichproben (nach Selg & Bauer, 1971)

Anstelle einer Schichtung können in einem zweistufigen Verfahren auch sog. Klumpen (oder Teilmengen) verwendet werden (vgl. drittes Beispiel in Abbildung 4). Im Unterschied zu Schichten (z. B. Geschlecht) stellen Klumpen »ein verkleinertes Abbild der Grundgesamtheit« (Ostermann & Wolf-Ostermann, 2012, S. 23) dar. Bezogen auf den Kindergarten X stellen beispielsweise die Bären-, die Krokodil- und die Hasengruppe drei Klumpen dar. Bei einer Klumpenstichprobe wird die Population zunächst in Teilmengen unterteilt (sog. Auswahleinheiten) und anschließend einige dieser Teilmengen nach dem Zufallsprinzip (ohne oder mit System) als ganze Gruppen zur Datenerhebung ausgewählt (z. B. die Bären- und die Hasengruppe; sog. Erhebungseinheiten). Eine gelungene Klumpenbildung setzt voraus, dass die MitgliederInnen eines Klumpens keine größere Ähnlichkeit zueinander aufweisen als die Merkmalsträger der Population. Wird diese Voraussetzung verletzt, führt dies zu einem vergrößerten Stichprobenfehler. Schließlich besteht noch die Möglichkeit, anstelle ganzer Klumpen eine Zufallsauswahl aus den jeweiligen Teilmengen zu ziehen. Dies stellt das letzte Beispiel zufallsbasierter (probabilistischer) Stichproben in Abbildung 4 dar (ganz unten) und wird als mehrstufige Stichprobe bezeichnet. Im Beispiel würde man dazu aus der Bären- und der Hasengruppe nach Zufall (ohne oder mit Systematik) einzelne Kinder für die Stichprobe auswählen.

Ein solches Vorgehen ist insbesondere dann ratsam, wenn die Grundgesamtheit über ein großes räumliches Gebiet verstreut ist. Dazu noch ein weiteres Beispiel: Es soll eine Befragung zu den Arbeitsbedingungen von Sozialpädagoginnen und Sozialpädagogen in kommunalen Beratungsstellen durchgeführt werden. Da es schwierig ist, alle SozialpädagogInnen in allen deutschen Beratungsstellen zu befragen, wird eine mehrstufige Stichprobe gebildet. Hierfür wird zunächst eine vollständige Liste mit allen Kommunen, die Beratungsstellen anbieten, erstellt. Danach wird eine zufällige Auswahl von den zu untersuchenden Kommunen getroffen. Im nächsten Schritt werden alle Arten von Beratungsstellen (z. B. für Ehe und Familie, Sucht, Senioren und Menschen mit Behinderungen, Schwangere usw.) der zu untersuchenden Kommunen aufgelistet und per Zufall jeweils eine davon ausgewählt. Im Anschluss wird eine zufällige Auswahl von SozialpädagogInnen aus den gezogenen Einrichtungen getroffen.

Abschließend sei noch auf Stichproben mit Messwiederholungen hingewiesen. So wird beispielsweise bei Längsschnittstudien dieselbe empirische Untersuchung (zumeist eine Befragung) zu mehreren Zeitpunkten durchgeführt und die Befunde der einzelnen Erhebungswellen miteinander verglichen. Während bei einer Panelstudie dieselben Personen mehrmals über einen Zeitraum erfasst werden (ein Beispiel ist das Sozio-oekonomische Panel, SOEP, bei dem jährlich über 12.000 Privathaushalte in Deutschland befragt werden), werden bei einer Trendstudie (auch: replikativer Survey) in jeder Erhebungswelle unterschiedliche Personen erfasst (ein Beispiel ist ALLBUS, die Allgemeine Bevölkerungsumfrage der Sozialwissenschaften, bei der i. d. R. alle zwei Jahre mehrere Tausend TeilnehmerInnen zu Einstellungen, Verhalten und Sozialstruktur interviewt werden) und in einer Kohortenstudie Personen bestimmter Altersklassen (Jahrgänge), wie zum Beispiel bei epidemiologischen und entwicklungspsychologischen Fragestellungen.

Stichprobenumfang

Die Stichprobengröße beeinflusst zusammen mit der Auswahlstrategie (zufallsbasiert versus nicht zufallsbasiert) und dem Forschungsdesign (explorativ, deskriptiv, explanativ) die Gültigkeit (Validität) einer sozialwissenschaftlichen Stichprobenuntersuchung. Die Bedeutung des Stichprobenumfangs hängt dabei jedoch von den beiden anderen Faktoren ab. Bei explorativen Studien kann die Anzahl der UntersuchungsteilnehmerInnen sehr klein ausfallen, wenn aus den Ergebnissen nicht auf eine Grundgesamtheit geschlossen werden soll. Das kann z. B. dann der Fall sein, wenn die explorative Studie lediglich dem Ziel dient, Hypothesen zu generieren, die dann anschließend an einer größeren Stichprobe empirisch überprüft werden. Oder, um ein anderes Beispiel zu nennen, wenn bei einer Voruntersuchung vor der Durchführung des (Haupt-)Experimentes die unabhängigen Variablen (das Vorgehen bei der Herstellung der Wenn-Bedingungen) und die abhängigen Variablen (das Vorgehen bei der Messung der Dann-Folgen) auf ihre Zuverlässigkeit exemplarisch überprüft werden sollen. Auch in diesem Falle ist die Zuverlässigkeit dieser Instrumente in der späteren Hauptuntersuchung zu bestätigen.

Für deskriptive (populationsbeschreibende) Untersuchungen besteht eine starke Abhängigkeit der Stichprobengröße von der Auswahlstrategie. Ein anwachsender Stichprobenumfang erhöht die Repräsentativität in solchen Studien nämlich nur dann, wenn die Auswahl »unverzerrt« erfolgt (siehe Koch, 1998): Liegt hingegen eine ungünstige Selektionsstrategie vor (z. B. ein nichtprobabilistisches Verfahren), dann wird die Stichprobe kaum dadurch verbessert, dass man sie vergrößert. Verwendet man in deskriptiven Studien jedoch ein zufallsbasiertes (probabilistisches) Auswahlverfahren, dann steigt die Repräsentativität mit dem Umfang der Stichprobe. Dies liegt darin begründet, dass mit zunehmendem Stichprobenumfang der Stichprobenfehler (Standardfehler), d. h. die Ungenauigkeit der Schätzung von Populationsparametern durch Stichprobenstatistiken, immer kleiner wird ( Kap. 6). Allerdings ist der Zusammenhang zwischen Stichprobengröße und Stichprobenfehler nicht »proportional« (in einem linearem Verhältnis zueinander), d. h. eine Erhöhung der Stichprobe von 100 auf 200 Personen bewirkt eine wesentlich stärkere Reduktion des Stichprobenfehlers (und eine Verbesserung der Repräsentativität) als eine Erhöhung von 1000 auf 1100 Personen. Bortz & Döring (2006, S. 420 ff.) bieten spezielle Tabellen, aus denen man die notwendige Stichprobengröße deskriptiver Studien bestimmen kann.

Bei explanativen Untersuchungen, d. h. bei Experimenten, hängt der Stichprobenumfang nicht nur von der Repräsentativität der teilnehmenden Personen ab, sondern von weiteren Aspekten wie z. B. der Anzahl der Versuchsbedingungen. Ist bei der Versuchsplanung beispielsweise nur eine unabhängige Variable mit drei Abstufungen (z. B. »keine Rezeption von Mediengewalt«, »1 Stunde Gewaltrezeption«, »2 Stunden Gewaltrezeption«) vorgesehen, liegen drei Versuchsgruppen vor, wird hingegen zusätzlich ein zweiter Faktor (unabhängige Variable) eingeführt, der z. B. aus zwei Abstufungen besteht (»realistische« versus »fiktive« Darstellung der Mediengewalt), dann resultieren bereits 3 ⋅ 2 = 6 Versuchszellen. Für experimentelle Studien sollte der Stichprobenumfang umso größer ausfallen, je mehr Versuchszellen vorliegen. Als grobe Orientierungshilfe kann ein Minimum von 20 Personen pro Zelle dienen. Für das Beispiel mit 6 Versuchsbedingungen wären also wenigstens 120 Teilnehmer zu rekrutieren und gleichmäßig auf die Versuchszellen zu verteilen.

Vollständige Repräsentativität ist ein Ideal, das wohl in den seltensten Fällen in sozialwissenschaftlichen Studien erreicht wird. Die Annäherung an dieses Ideal vollzieht sich in der Forschungspraxis i. d. R. dadurch, dass zumindest schwer wiegende Argumente, die für die Nicht-Repräsentativität einer Stichprobe sprechen könnten, durch die Wahl einer geeigneten Selektionsstrategie und Stichprobengröße ausgeräumt oder minimiert werden. Bezogen auf die Frage nach der Repräsentativität einer Stichprobe in Evaluationsstudien existieren spezielle Berechnungsmöglichkeiten, die in Kapitel 10 näher dargestellt werden.

3 Operationalisierung und Datenerhebung
3.1 Messtheoretische Grundlagen

Vor der Datenerhebung ist noch eine wichtige Frage zu klären: Wie können und sollen die Begriffe, auf die sich eine Theorie bzw. eine von ihr abgeleitete Hypothese bezieht, in der geplanten Untersuchung erfasst werden? Unter dem sog. Überbrückungsproblem (Steyer & Eid, 1993, S. 2) versteht man die Aufgabe, theoretische Begriffe wie z. B. Aggressivität, Wohlbefinden oder Ehrgeiz in konkrete, empirisch messbare Variablen zu überführen. Dahinter steht also die Frage, »wie die alltags- oder wissenschaftssprachlich gefassten Begriffe … in Beobachtungs- oder Messvorschriften umgesetzt werden können« (Bortz & Döring, 2006, S. 60). Dieser Prozess wird auch als Operationalisierung bezeichnet. Auf die einzelnen Schritte bei der Operationalisierung wird im Folgenden näher eingegangen.

Nehmen wir als Beispiel den theoretischen Begriff (oder das Konstrukt) der »Aggressivität«. Wir haben aus der wissenschaftlichen Literatur eine Theorie zum Thema Aggressivität ausgewählt, die sich auf die Frage »Durch welche Faktoren wird Aggressivität gefördert bzw. gehemmt?« bezieht. Um die Theorie empirisch zu überprüfen ist es notwendig, den Begriff der »Aggressivität« so zu definieren, dass er in der geplanten Untersuchung messbar wird (»An was erkennt man die Aggressivität einer Person?«). Mit anderen Worten: Das Merkmal »Aggressivität« ist mit konkreten beobachtbaren (und damit messbaren) Verhaltensweisen (oder Zuständen, Erlebensweisen, Urteilen usw.) der an der Untersuchung teilnehmenden Personen in Zusammenhang zu bringen.

Definition von Begriffen

Der erste Schritt bei der Operationalisierung besteht darin, die Begriffe, derer sich eine Theorie oder Hypothese bedient, auf ihren sprachlichen Bedeutungsinhalt hin zu analysieren. Hierbei geht es also zunächst um die Frage, wie theoretische Begriffe, die wissenschaftliche Sätze konstituieren, auf der sprachlichen Ebene definiert werden. Auch »Aggressivität« stellt ein Begriff dar, den wir häufig verwenden (»Die Person X ist sehr aggressiv«). Die von den Menschen dabei verwendeten Definitionen verweisen zumeist auf Beispiele, in denen der jeweilige Begriff sprachliche Anwendung findet. Diese Beispiele können sehr unterschiedlich ausfallen: »Eine Person ist aggressiv, … wenn sie schlecht über andere denkt«; »… wenn sie Böses im Schilde führt«; »… wenn sie aggressive Emotionen verspürt«; »… wenn sie nur an ihren eigenen Vorteil denkt«; »… wenn sie andere beleidigt«; »… wenn sie andere schlägt« usw. Solche Definitionen, die mit Hinweisen auf konkrete reale Sachverhalte (wie z. B. Gedanken, Absichten, Gefühle, Tätigkeiten) verknüpft sind, werden als Realdefinition en bezeichnet.

Es kann auch vorkommen, dass bei Begriffsdefinitionen der zu definierende Begriff (das Definiendum; z. B. »Motivation«) mit einem bereits bekannten Begriff (dem Definiens; »Anstrengungsbereitschaft«) gleichgesetzt wird: »Eine Person ist motiviert, wenn sie hohe Bereitschaft zeigt, sich anzustrengen«. Allerdings ist dann wiederum das Definiens, hier der Begriff der »Anstrengungsbereitschaft«, definitorisch festzulegen, was zu immer neuen Definitionen (einem sog. definitorischen Regress) führen kann. In diesem Falle spricht man von einer Nominaldefinition. Das Ziel von Real- und Nominaldefinitionen ist die Bereitstellung eines möglichst ökonomischen Wortschatzes für die Kommunikation.

Explikation von Begriffen

Dabei stellen solche Real- oder Nominaldefinitionen bloße soziale Konventionen (Übereinkünfte) dar, d. h. sie sind weder wahr noch falsch. Sie sind gelernt, können sich über die Zeit verändern (z. B. über Jahrhunderte hinweg) und zwischen Gruppen sehr unterschiedlich ausfallen (z. B. zwischen Personen unterschiedlicher Sprachgemeinschaften, zwischen Menschen unterschiedlicher Generationen usw.). Daraus resultiert häufig eine hohe Variabilität und Uneinigkeit in diesen Alltagsdefinitionen: Sie zeichnen ein oft recht unscharfes, teilweise auch widersprüchliches Begriffsbild, wie an den o. g. Beispielen zu ersehen ist (»Ist Aggressivität nun ein Gefühl oder eine Tätigkeit?«). Für den wissenschaftlichen Gebrauch von Begriffen folgt daraus, dass alltagssprachliche Definitionen näher eingegrenzt, d. h. exakter und eindeutiger festgelegt werden müssen. Eine solche Präzisierung von Alltagsbegriffen für wissenschaftliche Zwecke wird als Explikation bezeichnet.

Wissenschaftliche Definitionen sind in der Regel so aufgebaut, dass sie nicht nur reine Konvention darstellen, sondern Aussagen beinhalten, die empirisch überprüfbar sind. In Bezug auf »Aggressivität« hat z. B. Baron (1977) folgende Definition vorgelegt: Aggressivität stellt ein Verhalten dar, bei dem die Absicht besteht, einem anderen Schaden zuzufügen. Hierbei wird zum einen der Begriff der »Aggressivität« auf (motorisches) Verhalten eingegrenzt (und damit von Gedanken und Emotionen unterschieden) und zum anderen werden zwei prüfbare Bestimmungsstücke hervorgehoben: Aggressives Verhalten liegt dann vor, wenn (1) einem anderen Schaden zugefügt wird und (2) dieses Verhalten mit Absicht (intentional) erfolgt (s. a. Selg, Mees & Berg, 1997). Tatsächlich konnten z. B. Löschper, Mummendey, Linneweber & Bornewasser (1984) in einer experimentellen Untersuchung nachweisen, dass ein Verhalten bei hoher Schädigungsabsicht eher als aggressiv eingeschätzt wird als bei niedriger Schädigungsabsicht.

Solche wissenschaftlichen Definitionen, die empirisch überprüfbare Aussagen beinhalten, werden als analytische Definitionen bezeichnet. Wissenschaftliche Definitionen unterscheiden sich mitunter deutlich vom alltagssprachlichen Begriffsgebrauch (so würde man nach Baron z. B. das absichtliche Schädigungsverhalten von Soldaten und Soldatinnen als »Aggression« bezeichnen) und müssen in der Praxis immer wieder gegen das eher »schwammige Alltagsverständnis« (Bortz & Döring, 2006, S. 62) verteidigt werden. Auf der Grundlage »guter« analytischer Definitionen kann nun der letzte Schritt bei der Messbarmachung von Begriffen vollzogen werden: Die Festlegung von Handlungsweisen (sog. »Operationen«), durch die ein Begriff quantifiziert (in Zahlen ausgedrückt) werden kann. Bezogen auf das Beispiel »Aggressivität« könnte man nach Barons analytischer Definition aggressives Verhalten nun durch das Ausmaß quantifizieren, in dem Personen (z. B. im Rahmen einer Untersuchung) freiwillig (Absichtlichkeit) dazu bereit sind, anderen Menschen Schaden (z. B. durch Lärm) zuzufügen: Je länger die Dauer des Lärms bzw. je höher die gewählte Lärmstufe, desto aggressiver ist das Verhalten. Box 10 beschreibt ein Experiment von Bushman, Baumeister & Stack (1999), in dem ein solches Vorgehen zur Operationalisierung von aggressivem Verhalten gewählt wurde.

Box 10: Wie kann aggressives Verhalten erfasst werden?

Bushman, Baumeister & Stack (1999) überprüften in ihrem Experiment die sog. Katharsishypothese. Bereits Aristoteles ging davon aus, dass die Rezeption antiker Tragödien (mit Mord und Totschlag) zu einer »seelischen Reinigung« (von gr. kátharsis für Reinigung) beim Publikum führe. Auch Sigmund Freud und Konrad Lorenz vertraten die Auffassung, dass ein »Herauslassen« aggressiver »Energie« zu einer nachfolgenden Reduktion aggressiven Verhaltens führt.

Die teilnehmenden Personen (über 700 Studierende mit nahezu gleicher Geschlechtsverteilung) sollten einen kurzen Aufsatz über ein Thema ihrer Wahl verfassen, der anschließend von einer angeblich im benachbarten Raum befindlichen Person sehr negativ beurteilt wurde (»Das ist einer der schlechtesten Aufsätze, die ich je gelesen habe!«). Damit sollte Ärger bei den TeilnehmerInnen ausgelöst werden, was sich in begleitenden Befragungen auch bestätigte (Überprüfung oder »Check« der Ärgerinduktion). Anschließend sollte ein Teil der Personen 2 Minuten auf einen »Boxsack« (punshing bag) einschlagen, während die anderen 2 Minuten stillsaßen (unabhängige Variable).

Im nächsten Abschnitt der Studie sollten die TeilnehmerInnen auf ein Signal hin schnellstmöglich eine Reaktionstaste betätigen: Waren sie dabei schneller als die Person im Nebenzimmer (was so rückgemeldet wurde), konnten sie diese Person »bestrafen« (abhängige Variable). Sie konnten die Person einem unangenehmen Lärmreiz aussetzen, wobei sie die Lautstärke des Lärms und seine Dauer selbst festlegen konnten. Auch bestand die Möglichkeit, auf den Lärmreiz ganz zu verzichten. Die Befunde zeigten, dass die TeilnehmerInnen in der »Boxsack«-Bedingung länger andauernden und lauteren Lärm einsetzen als die TeilnehmerInnen in der Kontrollbedingung (still sitzen). Damit ergibt sich ein genau umgekehrtes Resultat als von der Katharsishypothese erwartet: Eine aggressionsnahe sportliche Betätigung erhöht (nicht: verringert) nachfolgendes aggressives Verhalten. Bushman fasst später (2002) die Ergebnisse dieser und weiterer Forschung folgendermaßen zusammen: »Die Wut herauszulassen, um den Ärger abzubauen, ist, als würde man Benzin ins Feuer schütten, um es zu löschen« (S. 729; übersetzt vom Verfasser).

Definitionen, bei denen ein Begriff durch die Angabe von Operationen, die zu seiner Erfassung notwendig sind, spezifiziert wird, werden als operationale Definitionen bezeichnet. Diese Bezeichnung geht auf Bridgman (1927) zurück und stammt ursprünglich aus dem Bereich der Physik (Ein »Meter« bezeichnet die Handlungen, mit denen ein Meter ermittelt wird), wurde jedoch nachfolgend auf die Sozialwissenschaften ausgeweitet. Messbare Ereignisse (Beobachtungen), die auf das Vorliegen eines Sachverhaltes (z. B. aggressives Verhalten) schließen lassen (z. B. die gewählte Lärmintensität), werden auch als Indikatoren (von lat. indicare für anzeigen) bezeichnet. Um diese Begriffe noch an einem anderen Beispiel zu verdeutlichen: Man könnte zur empirischen Prüfung der Hypothese »Je höher die Motivation der Studierenden, desto größer ist ihr Studienerfolg« die beiden theoretischen Begriffe »Motivation« und »Studienerfolg« durch die beiden Variablen »Unterrichtsteilnahme« und »attestierte Leistung« operationalisieren, und dabei die »Fehlstunden« und »Klausurnoten« als Indikatoren verwenden. Grundsätzlich kann u. a. zwischen folgenden Operationalisierungsvarianten unterschieden werden:

• Reaktionsstärke: Wie intensiv tritt ein Verhalten auf? In der Untersuchung von Bushman u. a. (1999; s. Box 10) ging es dabei um die Lautstärke des Lärmreizes.

• Reaktionsdauer: Wie lange hält ein Verhalten an? Die teilnehmende Person drückt z. B. 5 Sekunden auf die Lärmtaste.

• Reaktionshäufigkeit: Wie oft tritt ein Verhalten auf? Die Person löst z. B. zwei- oder dreimal einen Lärmreiz aus.

• Reaktionsrate: Wie oft tritt ein Verhalten in einem definierten Zeitabschnitt auf? Die teilnehmende Person betätigt z. B. zwei- oder dreimal pro Minute die Lärmtaste.

• Reaktionszeit: Wieviel Zeit vergeht, bis ein Verhalten auftritt? Die Person benötigt z. B. 1 oder 5 Sekunden, um den Lärmreiz auszulösen.

• Wahlreaktionen: Welche Entscheidung trifft eine Person angesichts mehrerer Wahlmöglichkeiten? Z. B. verzichtet der Proband auf den Einsatz der Lärmtaste.

Was ist Messen?

Durch den Prozess der Operationalisierung ordnet man also den Merkmalsausprägungen von Personen (z. B. dem Ausmaß ihres aggressiven Verhaltens) numerische Größen (d. h. Zahlen) zu. Bei diesem Zuordnungsvorgang ist zu beachten, dass die Verhältnisse (oder das Relativ), in denen die Merkmalsausprägungen der Personen zueinander stehen (das sog. empirisches Relativ; z. B. Person X ist aggressiver als Person Y), durch die Verhältnisse, in denen die zugeordneten Zahlen zueinander stehen (das sog. numerische Relativ), repräsentiert werden (z. B. Person X wird eine höhere Zahl zugeordnet als Person Y). Für einen Messvorgang muss also gelten, dass das numerische Relativ dem empirischen Relativ (zumindest weitgehend) entspricht (dies wird auch als Repräsentationsproblem bezeichnet). Mit anderen Worten: Die Abbildung eines empirischen Relativs in ein numerisches Relativ muss »strukturerhaltend« (oder homomorph) sein. Aus diesen Ausführungen ergibt sich die in Box 11 dargestellte Definition von »Messen«.

Box 11: Definition von »Messen«

Messen ist die Bestimmung der Ausprägung eines Merkmals (oder einer Eigenschaft) einer Person (oder allgemein eines Objektes). Messen erfolgt durch die Zuordnung von numerischen Größen (Zahlen) zu Personen (oder Objekten), die Träger des zu messenden Merkmals sind. Messen beruht auf einer homomorphen (strukturerhaltenden) Abbildung eines empirischen Relativs in ein numerisches Relativ. Die Existenz einer derartigen homomorphen Abbildung ist das Kriterium dafür, dass ein Merkmal messbar ist.

(nach Orth, 1974)

Ein numerisches Relativ, welches die Forderung nach einer homomorphen Abbildung erfüllt, wird auch als Skala (oder Messskala) bezeichnet (z. B. »Aggressivitätsskala«). Mit der Bildung einer Skala sind zwei grundsätzliche Fragen verbunden: (1) Was repräsentieren die Zahlen? Schnell zu reagieren, muss nicht unbedingt ein Indikator für aggressives Verhalten darstellen, sondern kann einfach für ein schnelles Reaktionsvermögen stehen. Diese erste Frage bezieht sich also auf die »Validität« (Gültigkeit) von Messskalen. Auf dieses Thema wird in Kapitel 9 näher eingegangen. (2) Welche Transformationen (Umformungen) sind mit der Skala erlaubt? Dabei geht es beispielsweise darum, ob eine bestehende Skala (z. B. die deutsche Notenskala von 1 bis 6) ohne Informationsverlust in eine andere Skala (z. B. »bestanden« versus »nicht bestanden«) überführt werden kann. Diese Frage hängt mit der Qualität (oder dem Niveau) der jeweiligen Skalen zusammen, auf die im nächsten Abschnitt eingegangen wird.

Die vier wichtigsten Skalenarten

Man kann Messskalen anhand ihres sog. Skalenniveaus voneinander unterscheiden. Die Qualität einer Skala hängt insbesondere von der Art des Merkmals ab, das durch sie repräsentiert wird. Bei qualitativen Merkmalen wie z. B. Geschlecht (weiblich, männlich, divers) oder Beruf (Sozialpädagoge/-pädagogin, LehrerIn, JuristIn, Psychologin/Psychologe usw.) können die Merkmalsausprägungen nur nach gleich/ungleich (oder Ja/Nein) geordnet werden, nicht jedoch z. B. nach besser/schlechter. So ist bei qualitativen Merkmalen die Aussage »Es gibt mehr weibliche als männliche Sozialpädagogen« zulässig, nicht jedoch die Aussage »Frauen sind im Beruf Soziale Arbeit besser als Männer«. Bei solchen Merkmalen spricht man von einer Nominalskala (oder von einem Nominalskalenniveau). Bei quantitativen Merkmalen hingegen gibt es drei unterschiedliche Möglichkeiten. Die erste besteht darin, dass die Skala die Personen nach Rangplätzen bezüglich eines Merkmals ordnet. Dies trifft z. B. auf Schulnoten zu: SchülerInnen mit »sehr gut« sind besser als SchülerInnen mit »gut«, solche mit »befriedigend« schlechter als die ersten beiden. Eine solche Messskala wird als Rang- oder Ordinalskala bezeichnet (man spricht auch von einem Ordinalskalenniveau). Allerdings sagt eine Rangskala nichts darüber aus, wieviel besser (oder schlechter) die einen SchülerInnen im Vergleich zu den andern sind: Die Aussage »SchülerInnen mit ›sehr gut‹ sind doppelt so gut wie SchülerInnen, die mit ›gut‹ beurteilt wurden« ist bei einem Ordinalskalenniveau nicht zulässig.

Schulleistungen werden im Rahmen internationaler Schulvergleiche (wie z. B. PISA, Programme for International Student Assessment) jedoch üblicherweise nicht durch Schulnoten erfasst, sondern beruhen auf speziellen Schulleistungstests. Diese Tests sind z. B. so aufgebaut, dass die Schwierigkeit der gestellten Aufgaben gleichmäßig ansteigt (nähere Ausführungen dazu finden sich in Kap. 9). Durch dieses Vorgehen ist gewährleistet, dass der Unterschied zwischen beispielsweise 10 und 20 Punkten in einem solchen Schulleistungstest (zumindest annähernd) dem Unterschied zwischen 50 und 60 Punkten entspricht. Eine solche Messskala wird als Intervallskala bezeichnet (es wird auch von einem Intervallskalenniveau gesprochen). Im Unterschied zu einer Ordinalskala sind bei einer Intervallskala also auch Aussagen über die Abstände zwischen den Werteausprägungen möglich. Eine Skala, die zusätzlich Aussagen über die Verhältnisse zwischen den Ausprägungen erlaubt, wird als Verhältnis- oder Ratioskala bezeichnet (man spricht auch von einem Ratioskalenniveau). Das Alter oder das Gewicht von Personen stellen Beispiele für Merkmale dar, die mit Hilfe einer Ratioskala erfasst werden können: Eine Person, die 40 Jahre alt ist und 100 kg wiegt, ist doppelt so alt und wiegt doppelt so viel wie eine Person mit 20 Jahren und 50 kg Gewicht. Darüber hinaus ist es charakteristisch für ratioskalierte Merkmale, dass sie einen sog. »natürlichen Nullpunkt« aufweisen, d. h. für Alter und Gewicht würde ein Wert von Null nicht eine bestimmte Ausprägung dieser beiden Größen veranschaulichen (in einem Schulleistungstest hingegen sehr wohl). Tabelle 3 fasst die Eigenschaften der vier Skalentypen im Überblick zusammen.

Tab. 3: Eigenschaften der vier Skalenarten

SkalenniveauBesteht eine Rangordnung?Sind die Abstände vergleichbar?Liegt ein natürlicher Nullpunkt vor?

Der Begriff »Skalenniveau« (oder Messniveau, Skalenqualität) geht auf Stevens (1946) zurück und bezeichnet die Ordnungshaftigkeit eines Merkmals (oder einer Variablen). Stevens unterscheidet zwischen Skalen mit einem sog. topologischen Skalenniveau, zu denen Nominal- und Ordinalskalen zählen, und solchen mit einem metrischen Skalenniveaus (oder Kardinalskalenniveau), die Intervall- und Ratioskalen umfassen (vgl. Jann, 2005). Wird ein Merkmal (wie z. B. die Studienleistung) nur durch eine einzelne Beobachtung (z. B. einer einzelnen Aufgabe in einer Klausur) erfasst, bezeichnet der Begriff »Skalenniveau« die Qualität dieser Einzelaufgabe (hier spricht man auch von einer manifesten Skala). Misst man ein Merkmal hingegen durch mehrere Beobachtungen (z. B. durch die Berücksichtigung aller Aufgaben einer Klausur), dann bezeichnet das »Skalenniveau« die Qualität des Gesamtwertes (z. B. die Summe) dieser Aufgaben (hier wird von einer latenten Skala gesprochen).

Können zwischen zwei Merkmalsausprägungen (wie z. B. beim Geschlecht, das man mit 1 = weiblich und 2 = männlich oder umgekehrt kodieren kann) keine weiteren Merkmalsausprägungen liegen (ein Wert von 1.5 ist für das Geschlecht nicht definiert), dann spricht man von diskreten Merkmalen (oder diskreten Variablen). Diskrete Variablen können entweder zwei Ausprägungen aufweisen (dann sind sie dichotom) oder mehrere Ausprägungen umfassen (wie z. B. beim Beruf; dann nennt man sie polytom). Können zwischen zwei Ausprägungen eines Merkmals jedoch weitere (potientiell unbegrenzt viele) Ausprägungsgrade liegen (wie z. B. beim Alter oder Gewicht von Personen), dann wird von einem stetigen (oder kontinuierlichen) Merkmal gesprochen: Zwischen zwei Personen mit 70 und 71 kg Gewicht kann z. B. eine Person mit 70,5 kg liegen. Während diskrete Merkmale auf einem »niedrigen« Skalenniveau (nominal) abgebildet werden, werden stetige Merkmale häufig auf einem »höheren« Skalenniveau (ordinal, intervall oder ratio) gemessen. Grundsätzlich gilt, dass ein auf einem höheren Niveau messbares Merkmal auch auf einem niedrigeren Niveau repräsentiert werden kann (allerdings gilt dies nicht umgekehrt!). So kann man das Alter von ProbandInnen nicht nur auf dem Rationiveau erfassen (»Bitte geben Sie Ihr Alter in Jahren an: __«), sondern auch auf dem Ordinalniveau (»Bitte kreuzen Sie Ihr Alter an: jünger als 40 Jahre, älter als 40 Jahre«) oder dem Nominalniveau (»Bitte kreuzen Sie Ihr Alter an: 18 Jahre, nicht 18 Jahre«). Die Abbildung auf einem niedrigeren Niveau ist jedoch stets mit einem Informationsverlust verbunden und sollte deshalb vermieden werden. Darüber hinaus ist zu beachten, dass sich das Skalenniveau von Variablen ganz erheblich darauf auswirkt, welche Transformationen und mathematischen Operationen mit ihren Werten vorgenommen werden dürfen. So darf für Nominaldaten z. B. kein Mittelwert berechnet werden (»Das Geschlecht der Teilnehmer liegt im Schnitt bei 1.5«). Dabei gilt die Regel: Je anspruchsvoller (voraussetzungsreicher) eine statistische Analyse ist, desto höher sollte das Skalenniveau sein ( Kap. 6). Für empirische Studien ist deshalb zu empfehlen, Merkmale immer auf ihrem höchst möglichen Niveau zu operationalisieren.

3.2 Datenerhebungsverfahren

Daten sind die Produkte eines systematischen Erhebungsprozesses und damit »Ausgangspunkt für alle statistischen Analysen« (Weinbach & Grinnell, 2000, S. 4). Daten sind protokollierte Fakten numerischer (Zahlen) und/oder qualitativer (Wörter) Art und beziehen sich auf beobachtbare Sachverhalte (Merkmale) von »Untersuchungseinheiten« (in der Sozialen Arbeit sind das meist Individuen oder Gruppen an Personen; grundsätzlich können sie sich jedoch auch auf Zeiträume, z. B. die Wochen eines Monats, beziehen; Bierhoff & Petermann, 2014). Daten bezeichnen also dasjenige, was in einem Forschungsprozess gesammelt wird, bevor die Analyse einsetzt. Informationen stellen hingegen die Interpretationen dar, die den erhobenen Fakten (Daten) zugeordnet werden, nachdem sie analysiert wurden (Dateninterpretation). Die Erhebung von Daten kann auf unterschiedlichen Wegen erfolgen. In der Sozialen Arbeit stellen die Beobachtung und die Befragung die wichtigsten Erhebungsverfahren dar. Darüber hinaus sind noch, mit geringerer Bedeutung, dokumentengestützte Verfahren zu nennen. Auf diese unterschiedlichen Erhebungsverfahren soll in diesem Kapitel näher eingegangen werden. Da eine Darstellung dieser Methoden aus Platzgründen nicht vollständig sein kann, wird Studierenden der Sozialen Arbeit empfohlen, sich beispielsweise in den Monographien von Greve & Wentura (1997), Mummendey & Grau (2008) und Mayring (2010) ausführlicher zu informieren.

Bei einer Beobachtung wird das Verhalten von Personen zum Zeitpunkt seines Geschehens erfasst, was einen besonderen Vorteil dieser Methode darstellt. Die Datenprotokolle entstehen also auf der Seite des Beobachtenden, nicht des Beobachteten. Auch die Situation, in der das Verhalten auftritt, kann erfasst (und ggf. beeinflusst) werden, was eine zusätzliche Informationsquelle darstellt. Schwieriger ist es jedoch, durch eine Beobachtung solche Prozesse zu erfassen, die nicht direkt sinnlich (insbesondere visuell und akustisch) wahrnehmbar sind. Für bestimmte Bereiche (z. B. für körperliche Funktionen wie die Reaktionszeit) können dazu Instrumente eingesetzt werden (z. B. ein Laptop mit Zeitmesser), was allerdings in der Sozialarbeitsforschung (bisher) so gut wie keine Rolle spielt.

Um schwer beobachtbare Prozesse des inneren Erlebens von Personen (wie z. B. Überzeugungen, Bewertungen, Urteilsprozesse usw.) dennoch erfassbar zu machen, werden in sozialwissenschaftlichen Untersuchungen üblicherweise Methoden der Befragung eingesetzt. Bei Befragungen werden die Personen einem Reiz ausgesetzt (der gestellten Frage; diese wird auch als »Item« bezeichnet), auf die eine Reaktion (die Antwort) erfolgt. Dies kann mündlich (z. B. in einem Interview) und/oder schriftlich (z. B. in einer Fragebogenstudie) geschehen (Konrad, 1999). Die dabei resultierenden Datenprotokolle entstehen also in diesem Falle beim Befragten, nicht beim Befragenden (obwohl auch dieser durch die Auswahl der Fragen Einfluss nimmt). Befragungen können so durchgeführt werden, dass die Befragungssituation miterhoben werden kann, z. B. wenn das Interview face-to-face (d. h. von Angesicht zu Angesicht) durchgeführt wird oder die Fragebogenerhebung in der Schulklasse stattfindet. Es sind jedoch auch Befragungsvarianten möglich, bei denen die Miterfassung der Befragungssituation eingeschränkt (z. B. bei einem Telefoninterview) oder ganz ausgeschlossen ist (z. B. bei Online-Befragungen). Ein weiterer Vorteil von Befragungen im Vergleich zur Beobachtung besteht darin, dass dabei auch Informationen über früheres Verhalten (Erfahrungen; retrospektives Vorgehen) oder zukünftiges Verhalten (Absichten; prospektives Vorgehen) sowie über Situationen, die über die aktuell gegebene hinausgehen (summarisches Vorgehen; »Bei Prüfungen fühle ich mich …«), thematisiert werden können. Befragungen stellen deshalb die wohl bedeutendste Methode der Datenerhebung in der Sozialen Arbeit dar.

Dokumentengestützte Verfahren schließlich fokussieren speziell auf den Aspekt der Vergangenheit, da hierbei bereits bestehende Produkte menschlicher Tätigkeit (z. B. in Form von Texten, Bildern oder Filmen) analysiert werden. Sie stellen die vergleichsweise »schwächste« Form der Datenerhebung dar, da die konkrete Entstehungssituation der Daten retrospektiv nicht immer geklärt oder sicher beurteilt werden kann und insbesondere nicht die Möglichkeit besteht, auf die Reaktionen der Datenquelle durch das Setzen gezielter Reize (Fragen) Einfluss zu nehmen.

Ein Experiment stellt hingegen kein eigenständiges Datenerhebungsverfahren dar. Der Begriff »Experiment« bezeichnet keine besondere Art der Datenerfassung, sondern eine bestimmte Versuchsanordnung ( Kap. 2.2). In Experimenten können sowohl Beobachtungen als auch (mündliche und schriftliche) Befragungen sowie instrumentengestützte Erhebungen (wie z. B. Puls- oder Reaktionszeit-Messungen) eingesetzt werden.

Werden die genannten Datenerhebungsverfahren zusammen in einer einzigen Studie eingesetzt, spricht man von einem multimethodalen Vorgehen. So kann z. B. das Konstrukt »Aggressivität« sowohl durch eine Verhaltensbeobachtung (in einer vorgegebenen Situation) als auch durch eine mündliche (z. B. ein problemzentriertes Interview) und/oder schriftliche Befragung (z. B. ein standardisierter Persönlichkeitstest wie das Freiburger Persönlichkeitsinventar, FPI) bei den teilnehmenden Personen erfasst werden. Synonym wird dafür auch die Bezeichnung »multipler Operationalismus« (Bierhoff & Petermann, 2014, S. 89) verwendet. Die Bezeichnung multimodales Vorgehen hingegen bezieht sich auf den Fall, dass die Daten nicht ausschließlich vom Handelnden selbst stammen. Zur »Aggressivität« einer Person können neben ihr persönlich auch z. B. die Eltern, der Freundeskreis oder Lehrkräfte befragt werden (siehe z. B. Salisch, Kristen & Oppl, 2007). Unter »Triangulation« wird schließlich eine Kombination unterschiedlicher Forschungsmethoden und -strategien dahingehend verstanden, dass (1) Daten aus unterschiedlichen Quellen verwendet werden (Datentriangulation), oder (2) mehr als ein Forschender an der Untersuchung beteiligt ist (Forschertriangulation), oder (3) das Vorgehen sowohl qualitative wie quantitative Designs (oder mehrere Strategien innerhalb einer dieser Vorgehensweisen) umfasst (Methodentriangulation), oder (4) verschiedene theoretische Perspektiven auf das gleiche Phänomen bzw. dieselben Daten angewendet werden (Theorientriangulation). Die genannten Typen von Triangulation, die auf Denzin (1970) zurückgehen, können auch miteinander kombiniert werden.