Kitabı oku: «Forschungsmethoden in der Fremdsprachendidaktik»

4.3 SamplingSampling

Urška Grum/Michael K. Legutke

4.3.1 Begriffsklärung und Einführung

Empirisch arbeitende Fremdsprachendidaktiker müssen im Forschungsprozess Auswahlentscheidungen treffen, die wesentlichen Einfluss auf die Datenerhebung, die Datenauswertung sowie die Präsentation der Ergebnisse haben und damit nicht zuletzt den Erfolg und die Aussagekraft der Studie bestimmen. Den Prozess der Auswahlentscheidungen, der im folgenden Kapitel skizziert werden soll, nennt man Sampling. So geht es u.a. um die Frage, von welchen Personen, Gruppen, Objekten oder Merkmalen (StichprobeStichprobe) in welcher Anzahl Daten erhoben werden sollen (StichprobenziehungStichprobenziehung). Entschieden werden muss ferner, welche der erhobenen Daten im Detail zu analysieren sind (DatensamplingDatensampling) und welche Ergebnisse der Analyse prominent diskutiert und dargestellt werden müssen (PräsentationssamplingPräsentationssampling).

Unter Sample versteht man eine Stichprobe, also eine Gruppe von Menschen oder Objekten, die einer GrundgesamtheitGrundgesamtheit (Population) entnommen wurde, um diese auf bestimmte Merkmale hin zu untersuchen, sprich um von dieser Daten zu erheben. In der qualitativen Studie von Steininger (2014), die die Modellierung literarischer Kompetenz für den Englischunterricht am Ende der Sekundarstufe I versucht, setzt sich die Stichprobe aus jeweils zwei 10. Gymnasialklassen, zwei 10. Realschul-, zwei 10. Gesamtschul- und schließlich zwei 9. Hauptschulklassen zusammen (Steininger 2014: 99). Sie besteht demnach aus acht Fällen bzw. Teilstichproben. Die Grundgesamtheit bildet hier die Gruppe aller Schülerinnen und Schüler mit Englischunterricht am Ende der Sekundarstufe in Hessen.

Da Forschungsvorhaben, die einem quantitativen Paradigma verpflichtet sind, sich in den grundlegenden Zielsetzungen von denen unterscheiden, die qualitativen Designs folgen, differieren auch die Auswahlentscheidungen und -prozesse. Aus diesem Grund wird nachfolgend Sampling in der quantitativen (Abschnitt 2) und der qualitativen Forschung (Abschnitt 3) getrennt erörtert. Trotz der Unterschiede zwischen quantitativen und qualitativen Forschungsarbeiten sind empirisch arbeitende Forschende in der Regel mit den Herausforderungen des Zugangs zum Forschungsfeld konfrontiert, den Schlüsselpersonen und Institutionen (gatekeepersgatekeepers) regulieren. Für Arbeiten im schulischen Bereich sind dies u.a. die Kultusministerien der Länder, die Schulleitungen, die Schulkonferenzen und die Lehrkräfte. Gatekeepers spielen häufig eine zentrale Rolle bei der Konkretisierung der Auswahlentscheidungen (Merkens 2012: 288). Forschende können oftmals gar nicht anders, als ein aus forschungsstrategischen Überlegungen als ideal eingestuftes Sampling zu modifizieren, weil die Anforderungen der gatekeepers Einschränkungen mit sich bringen (s. auch Kapitel 4.6). Auswahlentscheidungen sind deshalb häufig Ergebnisse von Kompromissen, ohne die das jeweilige Forschungsprojekt gefährdet wäre, wie unten an Beispielen noch verdeutlicht wird.

4.3.2 Sampling in der quantitativen Forschung

Quantitative Forschung strebt vom Grundsatz her RepräsentativitätRepräsentativität der Ergebnisse an. Diese wäre vollständig gegeben, würden alle für die Beantwortung der Forschungsfrage zu untersuchenden Personen, Merkmale oder Objekte untersucht. Da dies jedoch aus Praktikabilitätsgründen meistens nicht möglich ist, muss aus der Grundgesamtheit eine Stichprobe gezogen werden, die das zu untersuchende Phänomen möglichst genau abbildet, sprich repräsentiert. Mit anderen Worten: quantitative Forschung ist daran interessiert, Ergebnisse zu gewinnen, die nicht nur für die Stichprobe selbst, sondern für die gesamte Population gültig sind. Die zugrunde gelegte Population, die anhand einer Stichprobe genauer untersucht werden soll, kann dabei sehr groß (z.B. alle 15-jährigen Schülerinnen und Schüler weltweit) oder auch sehr klein sein (z.B. alle Schülerinnen und Schüler einer Klasse). Welche StichprobengrößeStichprobengröße in Relation zur Grundgesamtheit angemessen ist, wird in Abschnitt 2.3 erläutert. Zunächst soll jedoch diskutiert werden, welche Sampling-Strategien (Stichprobenziehungsverfahren) dafür zum Einsatz kommen können (Abschnitt 2.2) und welche a priori Entscheidungen getroffen werden müssen, um eine größtmögliche Repräsentativität der Stichprobe zu gewährleisten (Abschnitt 2.1). Zur Verdeutlichung möglicher Sampling-Strategien werden ausgewählte Forschungsarbeiten aus den Fremdsprachendidaktiken herangezogen.

1 Vorabentscheidungen

Um die mit Hilfe statistischer Verfahren gewonnenen Analyseergebnisse einer Stichprobe später auf die gesamte PopulationPopulation verallgemeinern zu können, müssen vorab genaue Überlegungen angestellt werden, wie die Repräsentativität der Stichprobe sichergestellt werden kann. Vollständige Repräsentativität ist gegeben, wenn alle Mitglieder der Grundgesamtheit untersucht werden, so dass Population und Stichprobe deckungsgleich sind. Diese Total-Totalerhebung oder VollerhebungVollerhebung stellt die einfachste Sampling-Strategie dar. In diesem Fall ist die gesamte Population erhebungsrelevant und kann mit den gegebenen Ressourcen in ihrem Umfang auch erfasst werden. Beispielsweise ließen sich über eine Vollerhebung alle Schülerinnen und Schüler einer Schule zu ihrer Zufriedenheit mit dem kulinarischen Angebot der Schulmensa befragen, wohingegen es ein hoffnungsloses Unterfangen wäre, mit dieser Sampling-Strategie die Lesekompetenz aller 15-jährigen Schülerinnen und Schüler weltweit messen zu wollen. Hier empfiehlt es sich, von einer Vollerhebung abzusehen und die erhebungsrelevante Grundgesamtheit in ihrer Anzahl (Umfang der Grundgesamtheit: N) im Rahmen einer Teilerhebung auf eine Stichprobe geringerer Zahl (Stichprobenumfang: n) zu reduzieren. Um jedoch die aus der Analyse der über die Stichprobe gewonnenen Befunde auf die Grundgesamtheit (alle 15-Jährigen weltweit) beziehen zu können, bedarf es einer Stichprobe, die die Grundgesamtheit repräsentiert. Eine repräsentative Stichprobe stellt ein unverzerrtes Miniaturabbild der Grundgesamtheit in Bezug auf die zu untersuchenden Personen, Objekte oder Merkmale dar. Ist die Miniatur nicht deckungsgleich mit dem Original, entsteht ein Zerrbild, was die Grundgesamtheit nicht zuverlässig darstellt. Repräsentativität ist

in der Forschungspraxis eher eine theoretische Zielvorgabe als ein Attribut konkreter Untersuchungen […] Die meisten Laien […] glauben, dass große Stichproben (z.B. 1000 Befragte) bereits die Kriterien für Repräsentativität erfüllen. […] Es ist ein weit verbreiteter Irrtum, dass mit wachsender Stichprobengröße die Repräsentativität der Stichprobe generell steigt. Dies trifft nur bei unverzerrter Auswahl zu. Bei einer verzerrten Auswahl hilft auch ein großer Stichprobenumfang nicht, den Fehler zu beheben, er wiederholt sich nur in großem Stil. (Bortz/Döring 2006: 398)

Repräsentativität ist eine Grundvoraussetzung für schließende bzw. inferenzstatistische Verfahren, die auf die Daten der Stichprobe angewendet werden. Ist die Stichprobe nicht repräsentativ für die Grundgesamtheit, lassen sich formal-statistisch die Studienergebnisse nicht auf die Grundgesamtheit verallgemeinern und die Aussagekraft der Studie reduziert sich auf die Stichprobe selbst. Es lassen sich zur Beschreibung der Stichprobe lediglich Verfahren der deskriptiven Statistik verwenden. RepräsentativeStichproberepräsentative und nicht-repräsentative Stichprobenicht-repräsentativeStichproberepräsentative Stichproben unterscheiden sich also in ihrer Aussagekraft und in der Art statistischer Verfahren, die auf sie angewendet werden können. Damit empfiehlt es sich, vorab festzulegen, welche Aussagekraft die Ergebnisse einer Studie haben sollen und Stichprobe und Sampling-Verfahren entsprechend zu wählen.

Es gibt verschiedene Sampling-Strategien, die eine größtmögliche Repräsentativität der Stichprobe anstreben. Sampling-Strategien geben einen Stichprobenplan vor, nach dem die Stichprobenziehung erfolgt. Dieser legt genau fest, welche Elemente in welcher Anzahl in die Stichprobe aufgenommen werden. Es gibt probabilistische wie nicht-probabilistische Sampling-Strategien. Erfolgt die Auswahl aus der Grundgesamtheit so, dass die ausgewählten Elemente die gleiche bzw. bekannte Auswahlwahrscheinlichkeit haben, entstehen probabilistische Stichproben; ist die Auswahlwahrscheinlichkeit unbekannt, ergeben sich nicht-probabilistische Stichproben (vgl. z.B. Bortz/Döring 2006: 402).

2 Sampling-Strategien

Probabilistischen Sampling-Sampling-StrategienprobabilistischeStrategien (ZufallsstichprobenauswahlZufallsstichprobenauswahl) liegt die Annahme zugrunde, dass sich Zufallsstichproben, die von einer Grundgesamtheit gezogen werden, zwar unterscheiden, aber alle Elemente der Grundgesamtheit qua Zufall eine ähnliche Wahrscheinlichkeit haben, genauso verteilt zu sein wie in der Grundgesamtheit. Statistisch betrachtet ist somit eine ausreichend große Wahrscheinlichkeit gegeben, dass eine einzelne Zufallsstichprobe dem Mittel der Grundgesamtheit ähnelt. Aus probabilistischen Stichproben gewonnene Ergebnisse erlauben daher populationsbeschreibende Rückschlüsse. Aus den gängigsten probabilistischen Sampling-Strategien resultieren u.a. folgende Stichprobentypen:

 ZufallsstichprobeZufallsstichprobe: Eignet sich für Untersuchungen, bei denen noch nichts über die untersuchungsrelevanten Merkmale bekannt ist. Per Zufallsauswahl werden die Probandinnen und Probanden (oder Objekte) direkt aus der GrundgesamtheitGrundgesamtheit gezogen. Dazu muss die Grundgesamtheit bekannt sein und die Auswahl nachweislich zufällig stattfinden (vgl. z.B. Bortz/Döring 2006: 480, Bortz/Schuster 2010: 80, Cohen/Manion/Morrison 2011: 153). Dies kann z.B. dadurch gewährleistest werden, dass jedes Mitglied der Grundgesamtheit eine Nummer erhält. Die Auswahl der zur Stichprobe gehörigen Nummern erfolgt dann über einen Zufallsgenerator. Hier wird statistisch unterschieden zwischen einfacher Zufallsstichprobe (die gezogenen Nummern werden zurückgelegt und können erneut ausgewählt werden) und Zufallsstichprobe (hier kann jedes Mitglied der Grundgesamtheit nur einmal in die Stichprobe gewählt werden).

 Geschichtete StichprobeStichprobegeschichtete: Um die Verteilung der zu untersuchenden Merkmalsausprägung in einer Stichprobe analog zu ihrer Verteilung auf verschiedene Schichten innerhalb der Grundgesamtheit replizieren zu können, muss diese Verteilung (z.B. aus Vorstudien) bekannt sein. Die Mitglieder aus den Schichten der Grundgesamtheit werden zufällig in die entsprechende Schicht der Stichprobe gewählt (vgl. z.B. Bortz/Döring 2006: 425, Bortz/Schuster 2010: 81, Cohen/Manion/Morrison 2011: 154). Ist beispielsweise bekannt, dass sich Leistungskurse in der Fremdsprache Französisch im Mittel aus 20 % männlichen und 80 % weiblichen Jugendlichen zusammensetzen, dann sollte sich diese Quote auch in der Stichprobe einer entsprechenden Studie wiederfinden. Gleiches gilt für alle Merkmale, die Einfluss auf die im Forschungsfokus stehende Eigenschaft haben könnten.

 KlumpenstichprobeKlumpenstichprobe: Als Klumpen werden natürliche Teilkollektive oder bereits bestehende Gruppen bezeichnet, wie etwa Schulklassen und Schulen. Analog zur Zufallsstichprobenziehung ist auch hier eine Liste aller studienrelevanten Klumpen notwendig, aus der per Zufall eine bestimmte Anzahl an Klumpen in ihrer Gesamtheit für die Stichprobe ausgewählt wird (vgl. z.B. Bortz/Döring 2006: 435–6, Bortz/Schuster 2010: 81, Cohen/Manion/Morrison 2011: 154). Es ist beispielsweise nicht möglich, im Rahmen einer Klumpenstichprobenziehung, für die ganze Schulklassen ausgewählt werden, nur einige Schüler aus einer gewählten Schulklasse in die Stichprobe aufzunehmen.

 Mehrstufige StichprobeStichprobemehrstufige: Klumpenstichproben können oftmals zu umfangreich werden, wenn die Klumpen selbst schon sehr groß sind. In diesen Fällen bieten sich zwei- oder mehrstufige Stichprobenziehungen an. Dabei wird in einem ersten Schritt eine Liste aller untersuchungsrelevanten Klumpen erstellt, aus der per Zufall eine bestimmte Anzahl an Klumpen ausgewählt wird (Klumpenstichprobe). In einem zweiten Ziehungsschritt wird wiederrum per Zufall eine bestimmte Anzahl an einzelnen Untersuchungsobjekten für die Stichprobe ausgewählt. Diese Schritte können mehrfach wiederholt werden (vgl. z.B. Bortz/Döring 2006: 440–1, Cohen/Manion/Morrison 2011: 155). Die Stichprobenziehungen der PISA-Studien folgen annäherungsweise einer zweistufigen Sampling-Strategie: Zuerst werden per Zufall aus einer vollständigen Liste infrage kommender Bildungseinrichtungen Schulen ausgewählt (Klumpenstichprobe), aus denen dann in einem zweiten Schritt zufällig die 15-jährigen Probandinnen und Probanden gezogen werden.

Um größtmögliche Repräsentativität der Stichprobe zu gewährleisten, muss in der Forschungspraxis oft auf mehrstufige Sampling-Verfahren zurückgegriffen werden. Dies lässt sich beispielhaft an der Studie von Grum (2012) darstellen: Untersucht wurde das Leistungsspektrum mündlicher englischer Sprachfähigkeit von Schülerinnen und Schüler der zehnten Jahrgangsstufe mit und ohne Bilingualem Sachfachunterricht in Berlin. Da es zum Erhebungszeitpunkt eine überschaubare Menge an Schulen mit bilingualem Sachfachunterricht gab (drei Gymnasien und drei Realschulen), wurden alle Schulen in die Studie aufgenommen. Anschließend wurden zu gleichen Anteilen aus den bilingualen wie regulären Klassen per Zufall, stratifiziert nach Geschlecht und Leistung, 84 Schülerinnen und Schülern gezogen, die an einem mündlichen Test teilnahmen. Der Stichprobenplan stellt somit eine Kombination aus Vollerhebung und geschichteter Stichprobe dar. Als weiteres Beispiel aus der Sprachlehr-Lernforschung sei hier die Studie von Özkul (2011) zur Berufs- und Studienfachwahl von Englischlehrenden genannt. Auch hier wurde auf eine Mischform der Stichprobenziehung zurückgegriffen. Die GrundgesamtheitGrundgesamtheit lässt sich folgendermaßen beschreiben: alle Lehramtsstudierende mit Anglistik/ Amerikanistik an deutschen Hochschulen im Wintersemester 2008, die an studieneinführenden Veranstaltungen teilnahmen. An 19 von 40 möglichen Hochschulen wurden Fragebögen verschickt, die von den Studierenden beantwortet wurden. Dieses Verfahren scheint zu einer Klumpenstichprobe in Kombination mit einer Zufallsstichprobe zu führen. Allerdings kann dieses Verfahren nicht als probabilistisch beschrieben werden, da sich Hochschulen und Studierende selbst für die Teilnahme an der Fragebogenergebung entschieden haben (SelbstauswahlSelbstauswahl) und nicht per Zufall ausgewählt wurden. Somit ist die Stichprobe nicht zufällig, sondern willkürlich entstanden und als nicht-probabilistisch einzustufen.

Bei nicht-probabilistischen Sampling-Strategien (QuotenauswahlstrategienQuotenauswahlstrategien) spielt der Zufall keine Rolle, sodass ein höheres Risiko besteht, Auswahlfehler zu begehen, die zu einem verzerrten Abbild der Grundgesamtheit führen. Aus nicht-probabilistischen Stichproben gewonnene Ergebnisse erlauben daher keine verallgemeinernden Aussagen über die Grundgesamtheit, gleichwohl lässt sich aber die Stichprobe beschreiben. Daher sind nicht-probabilistische Stichprobenverfahren dann sinnvoll, wenn beispielsweise die Grundgesamtheit unbekannt ist oder eine Studie zu rein deskriptiven oder explorativen Zwecken durchgeführt wird. Zu nicht-probabilistischen Sampling-Strategien gehören u.a. folgende Stichprobentypen:

 Ad-hoc-Ad-hoc-StichprobeStichprobe (BequemlichkeitsauswahlBequemlichkeitsauswahl oder GelegenheitsstichprobeGelegenheitsstichprobe): Eine bereits bestehende Personengruppe bildet die Stichprobe (z.B. eine Schulklasse oder Lerngruppe, Passanten). Es ist meist nicht zu rekonstruieren, welche Grundgesamtheit eine Ad-hoc-Stichprobe abbildet (vgl. z.B. Bortz/Döring 2006: 723, Bortz/Schuster 2010: 82, Cohen/Manion/Morrison 2011: 155–6).

 QuotenstichprobeQuotenstichprobe: Die Zusammensetzung der Stichprobe erfolgt nach Merkmalsquoten, die analog zur Zusammensetzung dieser in der Population erfolgt. Es werden gezielt vermeintlich passende Untersuchungsobjekte in die Stichprobe aufgenommen, um die Quote für bestimmte Merkmalskategorien zu erfüllen. Die Erfüllung der Quoten spielt dabei eine größere Rolle als die zufällige Auswahl der Stichprobe und erfolgt nicht per Zufall, sondern nach subjektiven Kriterien der Datenerhebenden (vgl. z.B. Bortz/Döring 2006: 483, Bortz/Schuster 2010: 82, Cohen/Manion/Morrison 2011: 156). Von einer Quotenauswahl kann beispielsweise dann gesprochen werden, wenn die Vorgabe ist, je vier Englischlehrerinnen und -lehrer zu befragen und der Interviewer sich in den Schulpausen im Lehrerzimmer solange passende Interviewpartner sucht, bis die Quote erfüllt ist.

 Theoretische StichprobeStichprobetheoretische: Nicht zufalls-, sondern theoriegeleitet werden für eine Forschungsfrage besonders typische oder untypische Fälle ausgewählt, mit dem Ziel, deren Verteilung in der Grundgesamtheit in der Stichprobe widerzuspiegeln (vgl. z.B. Bortz/Döring 2006: 742–3, Bortz/Schuster 2010: 82, Cohen/Manion/Morrison 2011: 156–7). Dieses Verfahren wird auch bei quantitativen Studien eingesetzt, findet aber primär in der qualitativen Forschung Anwendung (s. Kapitel 4.3).

3 StichprobengrößeStichprobengröße

Um eine möglichst hohe Repräsentativität für die Aussagekraft der Ergebnisse einer Studie zu erzielen, ist neben der Genauigkeit, mit der eine Stichprobe die Grundgesamtheit abbildet, und dem Grad an Zufälligkeit, mit der die Elemente der Grundgesamtheit in die Stichprobe gewählt werden, auch die Größe der Stichprobe von Bedeutung. Prinzipiell lassen sich statistische Kennzahlen mit jedem ‚irgendwie‘ erhobenen Datensatz jeglicher Größe berechnen – jedoch lassen sich weder die Qualität der Ergebnisse noch die Aussagekraft der Studie nachvollziehen. Wird ein quantitativ-empirisches Forschungsdesign mit auf die Grundgesamtheit schließenden inferenzstatistischen Verfahren angestrebt, lässt sich a priori der Umfang für die probabilistisch zu erhebende Stichprobe berechnen. Dabei wird ein möglichst optimaler Stichprobenumfang angestrebt, denn zu kleine Stichproben verringern die TeststärkeTeststärke und zu große Stichproben erhöhen den Erhebungsaufwand unnötig. „Stichprobenumfänge sind optimal, wenn sie einem Signifikanztest genügend Teststärke geben, um einen getesteten Effekt bei vorgegebener Effektgröße entdecken und auf einem vorgegebenen Signifikanzniveau absichern zu können“ (Bortz/Döring 2006: 736). Statistisch gesehen hängen Teststärke, EffektgrößeEffektgröße, α-Fehlerniveau und Stichprobenumfang voneinander ab. Dies bedeutet, dass sich die Stichprobengröße berechnen lässt, wenn man Teststärke, Effektgröße und α-Fehlerniveau festlegt. Diese Berechnung ist auch abhängig vom gewählten statistischen Verfahren, das auf die Daten angewendet werden soll. Das α-Fehlerniveau wird oftmals auf 5 % oder 1 % festgelegt und die Teststärke (1-β) auf .80. Die Effektgröße hingegen ist stark abhängig vom Forschungszusammenhang und wird oft in kleinere, mittlere und größere Effekte unterteilt. Der optimale Stichprobenumfang lässt sich für spezifische statistische Tests beispielsweise mit der Software G*Power berechnen oder in Tabellen nachschlagen (vgl. z.B. Cohen/Manion/Morrison 2011: 147–8, Bortz/Döring 2006: 627–8).

Zusammenfassend lässt sich für die Planung eines quantitativen Samplings folgender Ablaufplan erstellen: Zuerst wird entschieden, ob es nötig ist, eine Stichprobe zu ziehen oder ob eine Vollerhebung durchgeführt werden kann. Danach wird die Population in ihrer Größe und ihren erhebungsrelevanten Merkmalen definiert. Anschließend erfolgt die Festlegung auf eine für die Studie passende Sampling-Strategie. Zum Schluss wird überprüft, ob Zugang zur Stichprobe besteht (gatekeepersgatekeepers) oder ggf. die Sampling-Strategie geändert werden muss.

4.3.3 Sampling in der qualitativen Forschung

Da qualitative Forschungen nicht statistische Repräsentativität der Ergebnisse anstreben, spielt die Frage auch keine Rolle, ob die für die Datenerhebung gewählte Stichprobe für die Gesamtheit einer Population repräsentativ ist. Bei qualitativen Studien werden Auswahlentscheidungen deshalb nicht von probabilistischen, sondern eher von inhaltlichen Gesichtspunkten gesteuert; sie sind eng mit dem Forschungsprozess verbunden und stellen sich auf drei Ebenen, nämlich (1) der Ebene der Datenerhebung, (2) der Ebene der Datenauswertung und schließlich (3) der Präsentation der Ergebnisse (vgl. Flick 2011: 155). Damit das jeweilige Forschungsvorhaben intersubjektiv nachvollziehbar ist, muss das Sampling transparent und damit nachvollziehbar sein. Im Folgenden sollen solche Auswahlentscheidungen unter Berücksichtigung ausgewählter Forschungsarbeiten aus den Fremdsprachendidaktiken skizziert werden.

1 Vorabentscheidungen und Festlegung des Samples für die Datenerhebung

Die Festlegung der Stichprobe wird zunächst durch die Forschungsfrage und die theoretischen Vorüberlegungen des Forschers bestimmt; sie leiten eine von Kriterien bestimmte, gezielte Auswahl. Die Entscheidung ist demnach theorie- und kriteriengeleitet: purposive samplingpurposive sampling und criterion samplingcriterion sampling (Silverman 2000: 104–5). Als Beispiel für solche begründeten (Vorab-)Entscheidungen diene die Referenzarbeit von Ehrenreich (2004), in der die Forscherin die Bedeutung des Auslandsaufenthalts für die Fremdsprachenlehrerbildung unter besonderer Berücksichtigung des Assistant-Jahres mit Hilfe einer Interviewstudie untersucht. Theoretische Vorüberlegungen im Zusammenhang der Aufarbeitung der Fachliteratur bilden die Basis für eine Kriterienmatrix mit entsprechenden Parametern, die die Forscherin bei der tatsächlichen Informantenauswahl leiteten. Auswahlkriterien sind u.a.: Geschlecht, Herkunftsbundesland, Zielland und Ausbildungsphase zum Zeitpunkt der Interviews. Unter Berücksichtigung dieser Matrix konstituiert Ehrenreich im Schneeballverfahren (s. Kapitel 5.2.1) die Stichprobe ihrer Studie, eine Gruppe von 22 Informanten, die zum einen als typisch markierte Fälle gemäß der Kriterien enthält, zum anderen eine maximale Variation der Teilnehmenden innerhalb der Gesamtgruppe abbildet (Ehrenreich 2004: 158f).

Kimes-Link (2013) untersucht „welche Aufgaben und Methoden Lehrkräfte im englischen Literaturunterricht der gymnasialen Oberstufe bei der Lektüre von Ganzschriften einsetzen und inwiefern diese geeignet sind, die Interaktion zwischen den Lernenden und dem Text sowie die Interaktion innerhalb der Lerngruppe zu intensivieren, gemeinsame Bedeutungsaushandlungen zu initiieren und vertiefte Verstehensprozesse zu begünstigen“ (Kimes-Link 2013: 85). Sie konstituiert theoriegeleitet die Stichprobe ihrer Studie aus insgesamt sieben Kursgruppen gymnasialer Oberstufen, die zum einen unterschiedliche Schul- und Kurstypen repräsentieren, zum anderen ein Spektrum unterschiedlicher literarischer Genres zum Arbeitsgegenstand haben (Dramen, Jugendromane, Romane und Kurzgeschichten).

A priori vorgenommene, kriterien- und theoriegeleitete Konstruktionen einer Stichprobe werden, wenn es um die konkrete Realisierung des Projekts geht, von drei Aspekten beeinflusst, die letzten Endes den Forschungsprozess beeinflussen und häufig für das Sampling modifizierend wirken. Die Frage, wo und wie Forschende ihre Forschungspartner gewinnen, bringt die Herausforderung auf den Begriff. Da ist zum einen der Aspekt der räumlichen und institutionellen ZugänglichkeitZugänglichkeit. So kann es sein, dass ein räumlich naher und deshalb forschungspragmatisch günstiger Kontext, der für die Bearbeitung der Forschungsfrage zudem sehr vielversprechend wäre, nicht zugänglich ist, weil die gatekeepers unüberwindliche Hürden errichten. Andererseits kann ein räumlich ferner Kontext zugänglich sein, der den Forschenden jedoch einen größeren Zeitaufwand abnötigt und damit den Forschungsprozess erheblich belastet. Damit ist auch der zweite Aspekt angesprochen, nämlich die MachbarkeitMachbarkeit des Projekts. Gerade für Qualifikationsarbeiten, die in der Regel von Individuen und nicht von Forschergruppen geleistet werden und mit oft sehr begrenzten Zeitbudgets auskommen müssen, ist die Frage, was unter den konkreten Bedingungen leistbar ist, von Bedeutung. Machbarkeitsüberlegungen werden deshalb in das Sampling eingehen müssen. Die Kombination von Machbarkeits- und Zugänglichkeitsüberlegungen kann zu einer Ad-hoc-Stichprobe führen, die weniger kriterien- und zielgeleitet, als vielmehr pragmatisch bestimmt ist: Die Forschende wendet sich Personen und Kontexten zu, die zur Verfügung stehen, wie die Untersuchung von Roters (2012: 161–63) verdeutlicht. Roters befasst sich in ihrer explorativen Studie mit dem Konstrukt der Reflexion, das in Diskursen zur Entwicklung von Lehrerprofessionalität als Schlüsselkompetenz markiert wird. Untersuchungsgegenstand sind die Beschreibung und Analyse zweier Lehrerbildungsprogramme und -kontexte einer deutschen und einer US-amerikanischen Universität. Die Auswahl der Stichprobe erfolgte zunächst theoriegeleitet und über umfangreiche Dokumentenanalysen, dann aber nach Kriterien der Zugänglichkeit und Machbarkeit, wobei nicht zuletzt formale und institutionelle Anforderungen bestimmend wirkten.

Von Relevanz für die Bestimmung der Stichprobe ist schließlich die Bereitschaft der Forschungspartner, sich auf die Belastungen des Forschungsprozesses einzulassen: etwa auf narrative Interviews (Ehrenreich 2004) oder auf Videoaufnahmen im Klassenzimmer (Kimes-Link 2013): „… wie kann [der Forscher] erreichen, dass eine entsprechende Bereitschaft nicht nur geäußert wird, sondern zu konkreten Interviews und anderen Daten führt“ (Flick 2011: 143)?

2 Entscheidungen bei der Datenbearbeitung und Sampling-Strategien

Auch wenn zunächst entschieden ist, von welchen Personen und Gruppen Daten erhoben werde sollen, ist damit für qualitativ Forschende in der Regel das Sampling nicht abgeschlossen. Nicht nur Forschungsanfänger stehen vor der Herausforderung, die große Datenfülle, die in qualitativen Studien anfallen kann, zu meistern. Dabei stellen sich zwei Fragen. Welche Daten sind für die Beantwortung der Forschungsfrage zielführend, „the real challenge is not to generate enough data, but to generate useful data“ (Dörnyei 2007: 125 [Hervorh. im Original]) und welche Daten sollen in welcher Breite und Tiefe etwa mit Hilfe von Datentriangulation (s. Kapitel 4.4) bearbeitet werden. Entscheidungen sind dann häufig an den Prozess der Datenbearbeitung gebunden, aus dem sich oftmals auch eine weitere Differenzierung der Forschungsfrage(n) ergibt. Die Fälle werden damit schrittweise ausgewählt, Entscheidungskriterium ist ihre Relevanz für die Forschungsfrage und nicht ihre Repräsentativität (Flick 2011: 163). Forschenden stehen eine Reihe von Sampling-Strategien zur Verfügung, zu denen u.a. folgende gehören:1

 Sampling typischer FälleSampling typischer Fälle: Der Forscher, der sich z.B. mit dem beruflichen Selbstverständnis von Englischlehrkräften in der Grundschule befasst, konzentriert sich auf Personen in den Daten, die in Hinblick auf die Forschungsfrage über typische Eigenschaften, Merkmale und/oder Erfahrungen verfügen (weibliche Lehrkräfte mit mehr als drei Jahren Berufserfahrung, die Englisch nicht als Muttersprache mitbringen), auf Personen also, die typisch für die Mehrzahl der untersuchten Fälle sind.

 Sampling maximaler VariationSampling maximaler Variation: Der Forscher interessiert sich besonders für Fälle, die signifikante Unterschiede aufweisen, um die Bandbreite und Variabilität von Erfahrungen der untersuchten Gruppe zu erfassen und dabei mögliche Gemeinsamkeiten herauszuarbeiten.

 Sampling extremerSampling extremer Fälle oder abweichender FälleSampling abweichender Fälle: Die Strategie ähnelt der vorangegangenen. Der Forscher fokussiert auf die Extremfälle, z.B. auf Lehrkräfte, die ihr berufliches Selbstverständnis besonders stark mit der Einschätzung ihrer L2-Kompetenz verknüpfen und sich Muttersprachlern besonders unterlegen fühlen. Auch hier könnte von Interesse sein, ob selbst solche Extremfälle Gemeinsamkeiten aufweisen.

 Event-SamplingEvent-Sampling: Diese Sampling-Strategie ist vorwiegend in der Videoforschung vertreten und filtert bestimmte niedrig- oder hochinferente Phänomene (wie Partnerarbeit oder mündliche Fehlerkorrekturen) aus dem Videomaterial heraus. Event-Sampling wird vom Time-Sampling abgegrenzt. Beim Time-Sampling werden Kodierungen in bestimmten Zeitabständen vorgenommen (z.B. alle 2 Minuten) (vgl. Appel/Rauin 2015).

 Sampling kritischer FälleSampling kritischer Fälle: Diese Strategie ist dem Event-Sampling ähnlich. Sie zielt auf Fälle in den Daten, die als zentral für die untersuchten Zusammenhänge gelten können. Schwab (2006), der mit Hilfe einer konversationsanalytischen Longitudinalstudie die Interaktionsstrukturen im Englischunterricht einer Hauptschulklasse untersucht, konkretisiert nach der ersten Durchsicht einer Grobtranskription der Daten die Gesprächspraktik „Schülerinitiative“ als ein kritisches Phänomen und zentrales Element von Schülerpartizipation. 81 dieser kritischen Fälle werden dann im Detail transkribiert und einer differenzierten Analyse unterzogen (Schwab 2006). Die Referenzarbeit von Schwab verdeutlicht, dass Sampling-Prozesse in qualitativen Studien in der Regel offen und iterativ sind, denn die zu untersuchenden Fälle gewinnen oftmals erst im Prozess der Datenbearbeitung an Gestalt: die Grundgesamtheit kann nicht von vorneherein genau bestimmt werden, sondern konstituiert sich durch einen Prozess der sukzessiven Differenzierung bereits gewonnener Erkenntnisse und die daraus folgende, erneute Interpretation der Daten, die u.U. sogar eine weitere Phase der Datengewinnung im Sinne der Forschungsfrage nahe legt. Die Auswahlentscheidungen werden durchgängig von Relevanzkriterien für die Forschungsfrage und durch die bereits formulierten Einsichten und Vermutungen und, nicht zuletzt, durch vorhandene Wissensbestände (Vorwissen, Fachwissen) geleitet.

Dieses zyklisch voranschreitende Auswahlverfahren wird als Theoretical-Samplingtheoretical sampling bezeichnet und wurde erstmals von Vertretern der empirischer Sozialforschung im Zusammenhang der Grounded TheoryGrounded Theory beschrieben (s. Kapitel 5.3.3). Obwohl der Begriff ursprünglich in der Grounded Theory-Methodologie verortet ist und dort den Prozess der datengeleiteten Theoriegenerierung bezeichnet, wird das Verfahren des Theoretical-Sampling auch mit anderen Methoden qualitativer Forschung verbunden (s. Kapitel 5.3.4). Alle oben genannten Sampling-Strategien können im Verfahren des Theoretical-Sampling zur Anwendung kommen.2

3 Entscheidungen für die Präsentation der Ergebnisse

Da es für qualitative Studien nicht per se die richtige Entscheidung oder Strategie gibt, sondern diese sowohl von der Fragestellung, dem Gang der Analyse und vorhandenen Wissensbeständen abhängt, zu der das jeweilige Forschungsprojekt in Beziehung steht, müssen die Entscheidungen auch im Kontext dieses Gesamtzusammenhangs gefällt und entsprechend begründet werden: „Samplingentscheidungen lassen sich nicht isoliert treffen“ (Flick 2011: 169). Das gilt natürlich auch für Entscheidungen, welche Befunde wie zu präsentieren sind. Als Beispiel diene die Referenzarbeit von Arras (2007), die Prozesse der Beurteilungsarbeit mit Hilfe eines Mehrmethodendesigns erforschte. Arras erhob qualitativ introspektive Daten (Laut-Denk-Protokolle) von vier Beurteilerinnen, die danach durch Daten aus retrospektiven Interviews ergänzt und vertieft wurden. Die Datenanalyse erbrachte eine solche Fülle von Einzelhandlungen und Strategien der Beurteilerinnen, dass für die Darstellung der Befunde eine Auswahl getroffen werden musste. Arras begründet ihre Entscheidung mit zwei Auswahlkriterien: Sie konzentriert sich einerseits gemäß ihrer zentralen Fragestellung auf jene Befunde, die „den Umgang mit dem Beurteilungsverfahren und … die Rolle … der Deskriptoren beleuchten. Zum anderen werden jene Beobachtungen referiert …, die über das Test-DaF-Beurteilungsinstrumentarium hinausweisen“ (Arras 2007: 217). Von besonderem Interesse sind nämlich „Strategien, die vermutlich auf zugrunde liegenden subjektiven Annahmen und persönlichen Erfahrungen gründen“. Befunde dieser beiden Großgruppen werden dann im Detail präsentiert.1

4.3.4 Fazit

Auch wenn es sinnvoll ist, Sampling-Verfahren nach qualitativ und quantitativ zu unterscheiden, lassen sich Forschungsvorhaben nicht immer strikt in quantitative oder qualitative Erhebungs- und Analyseverfahren unterteilen, so dass es auch Sampling-Strategien gibt, bei denen quantitative und qualitative Verfahren kombiniert werden (Mixed-Methods-SamplingMixed-Methods-Sampling). Hierzu gehören z.B. parallele, sequenzielle oder multi-level Auswahlverfahren (vgl. z.B. Kuckartz 2014, Cohen/Manion/Morrison 2011: 162–3, Teddlie/Yu 2007, s. auch Kapitel 3.3 und 6.4).

Prinzipiell sollte die Sampling-Strategie immer auf Basis der Forschungsfrage gewählt werden und dem Forschungszweck dienen. Die gewählte Strategie muss transparent sein, mögliche Einschränkungen berücksichtigen und zum gewählten Design passen. Alle diese Aspekte bestimmen letztendlich auch den Grad an GeneralisierbarkeitGeneralisierbarkeit, der für die gewonnenen Ergebnisse erreicht werden kann bzw. die angestrebte Aussagekraft der Studie.

› Literatur

Forschungsarbeiten, in denen hier erläuterte Sampling-Strategien angewendet werden, sind mit einem Sternchen markiert.

Appel, Johannes/Rauin, Udo (2015). Methoden videogestützter Beobachtungsverfahren in der Lehr- und Lernforschung. In: Elsner, Daniela/Viebrock, Britta (Hg.). Triangulation in der Fremdsprachenforschung. Frankfurt/Main: Peter Lang, 59–79.

*Arras, Ulrike (2007). Wie beurteilen wir Leistung in der Fremdsprache? Strategien und Prozesse bei der Beurteilung schriftlicher Leistungen in der Fremdsprache am Beispiel der Prüfung Test Deutsch als Fremdsprache (TestDAF). Tübingen: Narr. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

*Biebricher, Christiane (2008). Lesen in der Fremdsprache. Eine Studie zu Effekten extensiven Lesens. Tübingen: Narr. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

*Benitt, Nora (2015). Becoming a (Better) Language Teacher. Classroom Action Research and Teacher Learning. Tübingen: Narr.

Bortz, Jürgen/Döring, Nicola (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4. Auflage. Berlin: Springer.

Bortz, Jürgen/Schuster, Christof (2010). Statistik für Human- und Sozialwissenschaftler. 7. Auflage. Berlin: Springer.

Cohen, Louis/Manion, Lawrence/Morrison, Keith (2011). Research Methods in Education. 7. Auflage. London: Routledge.

Dörnyei, Zoltan (2007). Research Methods in Applied Linguistics. Oxford: Oxford University Press.

*Ehrenreich, Susanne (2004). Auslandsaufenthalt und Fremdsprachenlehrerbildung. Das assistant-Jahr als ausbildungsbiographische Phase. München: Langenscheidt. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

Flick, Uwe (2011). Qualitative Forschung. Eine Einführung. 4. vollständig überarbeitete Auflage. Reinbek: Rowohlt.

G*Power [http://www.gpower.hhu.de] (25.09.2015)

*Grum, Urška (2012). Mündliche Sprachkompetenzen deutschsprachiger Lerner des Englischen. Entwicklung eines Kompetenzmodells zur Leistungsheterogenität. Frankfurt/Main: Peter Lang.

*Kimes-Link, Ann (2013). Aufgaben, Methoden und Verstehensprozesse im englischen Literaturunterricht der gymnasialen Oberstufe. Eine qualitativ-empirische Studie. Tübingen: Narr.

Kuckhartz, Udo (2014). Mixed Methods. Methodologie, Forschungsdesigns und Analyseverfahren. Wiesbaden: Springer.

Merkens, Hans (2012). Auswahlverfahren, Sampling, Fallkonstruktion. In: Flick, Uwe/von Kardorff, Ernst/Steinke, Ines (Hg.). Qualitative Forschung. Ein Handbuch. 9. Auflage. Reinbek: Rowohlt, 286–299.

Özkul, Senem (2011). Berufsziel Englischlehrer/in. Berufswahlmotive der Lehramtsstudierenden in Anglistik/Amerikanistik. Berlin: Langenscheidt. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

*Roters, Bianca (2012). Professionalisierung durch Reflexion in der Lehrerbildung. Eine empirische Studie an einer deutschen und einer US-amerikanischen Universität. Münster: Waxmann.

*Schart, Michael (2003). Projektunterricht – subjektiv betrachtet. Eine qualitative Studie mit Lehrenden für Deutsch als Fremdsprache. Hohengehren: Schneider. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

*Schwab, Götz (2009). Gesprächsanalyse und Fremdsprachenunterricht. Landau: Verlag Empirische Pädagogik. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

Silverman, David (2000). Doing Qualitative Research. A Practical Handbook. London: Sage.

*Steininger, Ivo (2014). Modellierung literarischer Kompetenz. Eine qualitative Studie im Fremdsprachenunterricht der Sekundarstufe I. Tübingen: Narr.

Teddlie, Charles/Yu, Fen (2007). Mixed Methods Sampling. A Typology with Examples. Journal of Mixed Methods Research 1/1, 77–100.

*Zibelius, Marja (2015). Cooperative Learning in Virtual Space. A Critical Look at New Ways of Teacher Education. Tübingen: Narr.

» Zur Vertiefung empfohlen

Cohen, Louis/Manion, Lawrence/Morrison, Keith (2011). Research Methods in Education [Chapter 5. The ethics of educational and social research]. Hoboken: Taylor and Francis, 143–164.

Das Kapitel „Sampling“ gibt einen sehr umfassenden Überblick über Samplingprozesse in quantitativer, qualitativer und Mixed-Method-Forschung.

Dörnyei, Zoltan (2007). Research Methods in Applied Linguistics. Oxford: Oxford University Press, 95–100 (Sampling in quantitative research); 125–29 (Sampling in qualitative research).

Beide Teilkapitel bieten eine knappe Einführung in Sampling-Fragen und -Prozesse für die Fremd- und Zweitsprachenforschung.

4.4 Triangulation

Petra Knorr/Karen Schramm

4.4.1 Begriffsklärung

Mit TriangulationTriangulation wird eine methodologische Strategie bezeichnet, bei der ein Forschungsgegenstand aus zwei oder mehreren Perspektiven betrachtet wird und es zu einer Kombination verschiedener Methoden, Datenquellen, theoretischer Zugänge oder Einflüsse durch mehrere Forschende kommt. Der Begriff ist der Landvermessung entlehnt und wird dort für die exakte Lokalisierung eines Objektes durch die Verwendung bereits bekannter Fixpunkte verwendet. Der Grundgedanke, durch den Einsatz mehrerer Bezugspunkte möglichst genaue Ergebnisse zu erzielen, führte einst auch zur Verwendung des Begriffs als Metapher in der sozialwissenschaftlichen Forschung (Campbell/Fiske 1959, Webb et al. 1966).

Triangulation stand zunächst dafür, die ValiditätValidität von Forschungsergebnissen zu erhöhen, indem vor allem im Rahmen quantitativer Studien der Reaktivität von Methoden durch die Verwendung mehrerer Messinstrumente entgegengewirkt werden sollte. Die Schwächen einer Methode sollten durch komplementäre Testverfahren ausgeglichen, Messartefakte sollten ausgeschlossen werden. Denzin (1970) sprach sich für eine Verbindung qualitativer und quantitativer Methoden aus und brachte die Triangulation als Validierungsstrategie in die qualitative Methodendiskussion ein.

Das Verständnis über die Zielsetzung von Triangulation hat sich seither weiter ausdifferenziert und umfasst gegenwärtig weniger die ValidierungValidierung von Forschungsergebnissen als vielmehr die Vertiefung und Erweiterung von Erkenntnissen (Denzin 1989 revidierte Position, Fielding/Fielding 1986). Vor allem vor dem Hintergrund konstruktivistischer Positionen wurde problematisiert, dass ein methodischer Zugang nicht durch einen anderen korrigiert oder validiert werden kann, denn jede Methode, jede Forschungsperson oder jede Theorie wirkt sich auf das aus, was als Ergebnis ermittelt wird. Der Forschungsgegenstand wird durch die verwendete Methode konstituiert. Gerade weil aber jedes Verfahren einen bestimmten Aspekt bzw. eine andere Facette des zu untersuchenden Phänomens offenlegt, kann ein triangulierendes Vorgehen den jeweiligen Gegenstandsbereich umfassender und weitreichender beschreiben und erklären. Daher eignet sich die Triangulation insbesondere in Settings, die durch eine hohe FaktorenkomplexionFaktorenkomplexion gekennzeichnet sind (wie z.B. fremdsprachliche Lehr- und Lernkontexte). Es besteht nicht der Anspruch, kongruente Ergebnisse zu erzielen; vielmehr werden durchaus Befunde erwartet, die divergieren, sich aber komplementär und multiperspektivisch ergänzen.

Die Betrachtung verschiedener Perspektiven kann sich durch verschiedene Formen der Triangulation realisieren. Diese wurden von Denzin (1970) klassifiziert und vier Typen zugeordnet, auf die seither rekurriert wird: Daten-, Methoden-, ForscherInnen- und Theorientriangulation.

4.4.2 Datentriangulation

Von DatentriangulationDatentriangulation wird gesprochen, wenn Datensätze kombiniert werden, die verschiedenen Quellen entstammen (Denzin 1970). Allein nach dieser Definition könnte jedoch jede Art der Methodentriangulation auch als Datentriangulation bezeichnet werden, denn der Einsatz verschiedener Methoden führt immer auch zu unterschiedlichen Datensätzen (Aguado 2015: 207, Settinieri 2015: 23). Denzin spricht daher nur dann von Datentriangulation, wenn dieselbe Methode verwendet und das gleiche Phänomen untersucht wurde (Denzin 1970: 301).

In Anlehnung an Denzin können drei Subtypen von Datentriangulation entsprechend der Triangulation verschiedener Zeitpunkte, Personen und/oder Orte unterschieden werden. So kann, wie z.B. in der Studie von Schwab (2009), die Datenerhebung zu mehreren Zeitpunkten stattfinden. Obwohl es nicht um das Nachzeichnen einer Entwicklung ging, erstreckten sich die Videomitschnitte von Unterrichtssequenzen in dieser Untersuchung über zwei Schuljahre. Die Erhebung von Daten mit einer spezifischen Methode kann auch mit einer weiteren Person oder Personengruppe durchgeführt werden, was geradezu den Regelfall darstellt und mit Blick auf SamplingSampling-Prozeduren zu reflektieren ist (vgl. Kapitel 4.3). Der dritte Triangulationstyp beschreibt die Kombination von Datensätzen, die an mehreren verschiedenen Orten erhoben wurden. In allen drei Fällen geht es nicht darum, auf diese Weise unterschiedliche Variablen (verschiedene Zeitpunkte, Personen oder Orte) zu erfassen und bei der Analyse zu berücksichtigen, sondern Datentriangulation dient grundsätzlich dazu, die Robustheit der Studie zu erhöhen.

Die Beispiele machen deutlich, dass meist mehrere Triangulationsstrategien gleichzeitig verwendet werden und Denzins Klassifizierungen nicht immer trennscharf sind. So ist die lokale Datentriangulation auch zwingend immer eine Kombination verschiedener Personen(gruppen). In Bezug auf die zeitliche Triangulation wird mehrfach angemerkt, dass demnach auch Longitudinalstudien triangulierende Untersuchungen wären, da hier die Datensätze mehrerer Zeitpunkte in Beziehung zueinander gesetzt werden. Dieses Vorgehen dient jedoch weder der Validierung noch der Vertiefung von Erkenntnissen, sondern der Erforschung von Prozessen (s. auch Aguado 2015: 207–8).

Im Unterschied zu Denzins Verwendung des Begriffs Datentriangulation als Oberbegriff gehen andere Klassifizierungen von Datentriangulation (bezogen auf Personen als verschiedene Informationsquellen), von zeitlicher und örtlicher Triangulation als nebeneinander stehende Triangulationstypen aus (Brown/Rodgers 2002, Cohen/Manion/Morrison 2011).

Denzin plädiert in Anlehnung an das theoretical samplingtheoretical sampling der Grounded Theory dafür, innerhalb einer Studie nach möglichst vielen auf den Forschungsgegenstand bezogenen Datenquellen zu suchen, um durch Vergleiche möglichst kontrastiver Settings entsprechende theoretische Konzepte sukzessive herausarbeiten zu können (Denzin 1970: 301). Dem Prinzip von Replikationsstudien (s. Kapitel 4.5) liegt ein ähnlicher Gedanke zugrunde, doch spricht man von Triangulation nur in den Fällen, in denen Daten bei der Analyse direkt zueinander in Beziehung gesetzt werden; dies ist in der Regel nur im Rahmen jeweils einer Studie der Fall, da Replikationsstudien zwar die Befunde, in der Regel aber nicht die Daten von Vorgängerstudien mit den eigenen Daten in Beziehung setzen (s. auch Kapitel 4.5 zu Metaanalysen).

4.4.3 MethodentriangulationMethodentriangulation

Die Kombinationen mehrerer Methoden zur Erforschung eines Gegenstands ist die wohl am häufigsten durchgeführte Art der Triangulation. Denzin (1970: 308–9) unterscheidet hier zwei Formen: zum einen die Triangulation innerhalb einer Methode (within-methodwithin-method) und zum anderen die Verwendung verschiedener Methoden zur Beantwortung einer Forschungsfrage (between-methodbetween-method). Wenn z.B. in der Studie von Schart (2003) innerhalb eines Fragebogens offene und geschlossene Fragen gestellt werden, kann hier von methodeninterner TriangulationTriangulationmethodeninterne gesprochen werden. Schwab (2009) arbeitete in seiner Untersuchung methodenübergreifendmethodenübergreifend und triangulierte das Verfahren der videografischen Unterrichtsbeobachtung mit anschließenden retrospektiven Interviews mit den an der Studie teilnehmenden Lehrenden; außerdem wurden die Schülerinnen und Schüler leitfadengestützt interviewt (between method triangulation). Diese Referenzarbeit illustriert somit das Potential einer Kombination von Beobachtungen zur Erfassung der sozialen Dimension mit Befragungen zur Erfassung der mentalen Dimension. Doch auch innerhalb einer Perspektive lassen sich Methoden triangulieren; beispielsweise kombinierte Arras (2007) die Methode des Lauten Denkens mit der Durchführung retrospektiver Interviews. Vergleichsweise selten findet der methodentriangulatorische Fall Erwähnung, dass derselbe Datensatz mit unterschiedlichen Auswertungsverfahren bearbeitet wird wie beispielsweise von Knorr (2015), die Planungsgespräche von angehenden Lehrpersonen sowohl inhaltsanalytisch als auch gesprächsanalytisch auswertete. Werden jedoch unterschiedliche Variablen mit unterschiedlichen Methoden erhoben, wie dies u.a. die Referenzarbeit von Biebricher (2008) illustriert, so handelt es sich nicht um ein triangulatorisches, sondern um ein mehrmethodisches Vorgehen.

Eine spezielle Form der methodologischen Triangulation stellt die Verbindung quantitativer und qualitativer Forschungsmethoden dar, die auch als mixed methodsmixed methods oder mixed methodologiesmixed methodologies bezeichnet wird (s. Kapitel 3.3). Diese Mischung von Methoden, die ehemals nahezu unvereinbare Paradigmen verknüpft, wird gegenwärtig nicht mehr in Frage gestellt; es werden jedoch Diskussionen nach dem Verhältnis beider Positionen innerhalb eines Forschungsdesigns, nach der Gewichtung der Ergebnisse, der Abfolge des Einsatzes der jeweiligen Methode und nach dem Umgang mit Divergenzen geführt (z.B. Flick 2011: 75–96, Kelle/Erzberger 2004, Kuckartz 2014, Lamnek 2010: 245–265, Mayring 2001, Schründer-Lenzen 2010). Gerade divergierende Ergebnisse werden eher als Chance betrachtet, da die Suche nach alternativen Erklärungen zur Modifikation von Theorien führen kann (Lamnek 2010: 259).

4.4.4 ForscherInnentriangulation

Als ForscherInnentriangulationForscherInnentriangulation wird der Fall bezeichnet, bei dem „das gleiche Phänomen von unterschiedlichen Forschern (Beobachtern) untersucht und interpretiert [wird]; die Ergebnisse werden trianguliert, man erhofft sich so, den Einfluss von Forschern auf den Forschungsgegenstand ermitteln zu können“ (Kuckartz 2014: 46). Es ist damit also kein arbeitsteiliges Vorgehen, sondern der Prozess der Zusammenführung von gemeinsam oder unabhängig voneinander durchgeführten Erhebungs-, Aufbereitungs- und/oder Auswertungsschritten gemeint. Dieser Prozess dient zumeist der Erhöhung der ReliabilitätReliabilität, in einigen Fällen auch der Komplementarität von individuell bedingten Herangehensweisen.

Die Erhebung von Messwerten und deren statistische Auswertung im Rahmen des quantitativen Forschungsparadigmas erfordern in der Regel keine ForscherInnentriangulation, doch bei der Quantifizierung qualitativer Daten (also beispielsweise bei der Überführung von Video- und Videotranskriptdaten in Zahlenwerte) empfiehlt es sich in einigen Fällen, die Inter-Coder- bzw. die Inter-Rater-ReliabilitätInter-Coder- bzw. Inter-Rater-Reliabilität zu überprüfen (vgl. Hugener et al. 2006). Bei niedrig-inferentenniedrig-inferent Kodier- und Beurteilungsvorgängen (z.B. Welches Objekt hat die im Morgenkreis erzählende Person in der Hand? Wie ruhig verhalten sich die Zuhörenden im Erzählkreis?) ist dies möglicherweise unnötig, während es bei hoch-inferentenhoch-inferent Kodier- und Beurteilungsprozessen (z.B. Welche Art von Geschichte erzählt die Person? Wirkt sie motiviert?) jedoch sehr relevant erscheint.

Im Rahmen des qualitativen Forschungsparadigmas handelt es sich fast durchgängig um hoch-inferente interpretative Analyseprozesse, die den Gütekriterien der Transparenz und der intersubjektiven Nachvollziehbarkeit gerecht werden sollen (s. Kapitel 2). Dementsprechende Beispiele für ForscherInnentriangulation reichen von der Präsentation und Diskussion eigener interpretativer Analysen in einer Forschergruppe über interaktionsanalytische Datensitzungen bis zur Gegenkodierung von Teil- oder Gesamtdatenkorpora wie beispielsweise in der Referenzarbeit von Hochstetter (2011), in der das gesamte Material von zwei Kodiererinnen getrennt voneinander bearbeitet wurde. Aufgrund begrenzter Ressourcen ist eine wünschenswerte ForscherInnentriangulation jedoch häufig unmöglich; in solchen Fällen erscheint die Überprüfung der Intra-Intra-Coder-Reliabiltät (im Gegensatz zur Inter-) Coder- bzw. der Intra-RaterIntra-Rater-Reliabiltät-ReliabiltätInter-Coder-Reliabiltät als mögliche Lösung. So wurde in der Referenzarbeit von Arras (2007) zur Erhöhung der ReliabilitätReliabilität beispielsweise eine Zweitkodierung im zeitlichen Abstand von drei Monaten von derselben Forscherin durchgeführt.

ForscherInnentriangulation spielt im Rahmen qualitativer Forschung jedoch nicht nur bei der interpretativen Auswertung eine wichtige Rolle: Auch der Einfluss der forschenden Person(en) in der Erhebungsphase ist bei nicht-standardisierten Verfahren, beispielsweise bei Interviews oder bei teilnehmender Beobachtung, von großem Interesse (vgl. auch Schründer-Lenzen 2010 zur epistemologischen Funktion von Triangulation in der Ethnographie). Darüber hinaus ist es bei der Aufbereitung von Audio- und Videodaten im Rahmen interaktionsanalytischer Forschung üblich, die dabei entstehenden detailreichen Transkripte von einer zweiten Person korrigieren zu lassen und das entsprechende Transkriptions- und Korrekturverhältnis zu erfassen, um die Reliabilität der Analysegrundlage zu erhöhen bzw. für die Leserschaft einschätzbar zu machen.

4.4.5 Theorientriangulation

Unter TheorientriangulationTheorientriangulation versteht man in Anlehnung an Denzin (1970: 303) in der Regel die Annäherung an Daten aus verschiedenen theoretischen Perspektiven und mit unterschiedlichen Hypothesen, um auf diese Weise ggf. Hypothesen zu widerlegen und die Nützlichkeit und Stärke verschiedener Theorien zu überprüfen. Laut Flick (2011: 14) „sollen hier aber auch die Erkenntnismöglichkeiten fundiert und verbreitert werden“.

Aguado (2014: 50) stellt fest, dass Theorientriangulation „in der Forschungsrealität kaum vor[kommt]“, und vertritt die Auffassung, dass es „weder sonderlich zielführend noch sehr ökonomisch [ist], mehrere theoretische Ansätze gleichzeitig in Anwendung zu bringen.“ Konzept und Potential der Theorientriangulation lassen sich jedoch an der zweitsprachendidaktischen Dissertation von Gadow (2016) illustrieren, die mit Blick auf das bildungssprachliche Handeln von ViertklässlerInnen bei Berichten über Experimente zum Sinken und Schwimmen systematisch Theorien aus der Naturwissenschaftsdidaktik und aus der Linguistik zusammenführt. Sie arbeitet u.a. heraus, dass das auf das inhaltlich-konzeptionelle Lernen ausgerichtete naturwissenschaftsdidaktische Konstrukt des evidenzbasierten Begründens gewinnbringend mit den unter funktional-pragmatischer Perspektive entwickelten Konstrukten des (einfachen und funktionalen) Beschreibens und des (einfachen und funktionalen) Erklärens in Verbindung gebracht werden kann. Ihre empirische Untersuchung zeigt, dass sich eine Theorientriangulation in Form einer „bedeutsame[n] Integration“ (Aguado 2015: 208) im Gegensatz zur „bloße[n] Akkumulation“ (ebd.) insbesondere als Grundlage von interdisziplinärinterdisziplinär angelegten Forschungsarbeiten als sehr gewinnbringend erweisen kann. Dieser Aspekt ist für kooperative Projekte von besonderer Relevanz.

4.4.6 Fazit

Allen Triangulationsarten liegt der Gedanke einer Integration im Gegensatz zu einer reinen Akkumulation zugrunde. Daten- und Methodentriangulation spielen in der Fremd- und Zweitsprachenforschung zweifellos eine prominentere Rolle als ForscherInnen- und Theorientriangulation. Der Einsatz mehrerer Methoden ist inzwischen fast zu einem Gütekriterium qualitativer Forschung geworden, was vielfach kritisch hinterfragt wird (z.B. Aguado 2015, Lamnek 2010, Settinieri 2015). Aguados Meinung nach sollte nicht der Eindruck entstehen, „dass ein mehrmethodisches Vorgehen für eine hochwertige, aktuellen forschungsmethodologischen Entwicklungen verpflichtende qualitative Forschung zwingend erforderlich sei“ (2015: 204). Als notwendige Voraussetzung für die Durchführung einer triangulierenden Studie wird immer wieder die angemessene Auswahl an Methoden und deren sinnvolle Kombination gefordert, um ein eklektisches Nebeneinander diverser Verfahren ohne direkten Mehrwert zu vermeiden. Vor allem bei einer mixed-methods-Triangulation, aber auch bei Triangulation innerhalb des qualitativen Paradigmas ist zu beachten, dass nicht alle Methoden per se miteinander kombinierbar sind. Es muss daher sorgfältig abgewägt werden, ob Untersuchungsgegenstand, Forschungsfrage(n) und Erhebungs- sowie Auswertungsmethode optimal zueinander passen. Neben einem erhöhten Aufwand bei der Durchführung mehrmethodischer Forschung ist ein höheres Maß an Methodenkompetenz und professioneller Reflektiertheit nötig, um die Potentiale der Methodentriangulation voll ausschöpfen zu können.

Grundsätzlich erscheint eine Annäherung an den Forschungsgegenstand notwendig, die sich zunächst der Vielfalt theoretischer Perspektiven bewusst wird, um daran anschließend Entscheidungen bezüglich der Verwendung verschiedener Methoden, Datensätze, ForscherInnen oder Theorien gegenstandsangemessen und theoretisch begründet zu treffen.

› Literatur

Forschungsarbeiten, in denen die hier erläuterten Verfahren angewendet werden, sind mit einem Sternchen markiert.

Aguado, Karin (2014). Triangulation. In: Settinieri, Julia/Demirkaya, Sevilen/Feldmeier, Alexis/Gültekin-Karakoç, Nazan/Riemer, Claudia (Hg.). Empirische Forschungsmethoden für Deutsch als Fremd- und Zweitsprache. Paderborn: Schöningh, 47–56.

Aguado, Karin (2015). Triangulation: Möglichkeiten, Grenzen, Desiderate. In: Elsner, Daniela/Viebrock, Britta (Hg.). Triangulation in der Fremdsprachenforschung. Frankfurt/Main: Lang, 203–219.

*Arras, Ulrike (2007). Wie beurteilen wir Leistung in der Fremdsprache? Strategien und Prozesse bei der Beurteilung schriftlicher Leistungen in der Fremdsprache am Beispiel der Prüfung „Test Deutsch als Fremdsprache“ (TestDaF). Tübingen: Narr. [Referenzarbeit]

Biebricher, Christine (2008). Lesen in der Fremdsprache. Eine Studie zu Effekten extensiven Lesens. Tübingen: Narr.

Brown, James D./Rodgers, Theodore S. (2002). Doing Second Language Research. Oxford: Oxford University Press.

Campbell, Donald T./Fiske, Donald W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. In: Psychological Bulletin 56, 81–105.

Cohen, Louis/Manion, Lawrence/Morrison, Keith (2011). Research Methods in Education. New York: Routledge.

Denzin, Norman K. (1970). The Research Act. Chicago: Aldine.

Denzin, Norman K. (1989). The Research Act. 3. Auflage. Englewood Cliffs, NJ: Prentice Hall.

*Ehrenreich, Susanne (2004). Auslandsaufenthalt und Fremdsprachenlehrerbildung. Eine qualitative Interviewstudie zum ausbildungsbiographischen Ertrag des assistant-Jahres. München: Langenscheidt. [Referenzarbeit]

Fielding, Nigel G./Fielding, Jane L. (1986). Linking data. Beverly Hills, CA: Sage.

Flick, Uwe (2011). Triangulation. Eine Einführung. 3. aktualisierte Auflage. Wiesbaden: Verlag für Sozialwissenschaften.

*Gadow, Anne (2016). Bildungssprache im naturwissenschaftlichen Sachunterricht. Beschreiben und Erklären von Kindern mit deutscher und anderer Familiensprache. Berlin: ESV.

*Hochstetter, Johanna (2011). Diagnostische Kompetenz im Englischunterricht der Grundschule: Eine empirische Studie zum Einsatz von Beobachtungsbögen. Tübingen: Narr. [Referenzarbeit]

Hugener, Isabelle/Rakoczy, Katrin/Pauli, Christine/Reusser, Kurt (2006). Videobasierte Unterrichtsforschung. Integration verschiedener Methoden der Videoanalyse für eine differenzierte Sicht auf Lehr-Lernprozesse. In: Rahm, Sybille/Mammes, Ingelore/Schratz, Michael (Hg.). Schulpädagogische Forschung. Bd. 1: Unterrichtsforschung. Perspektiven innovativer Ansätze. Innsbruck: Studienverlag, 41–53.

Kelle, Udo/Erzberger, Christian (2004). Qualitative und quantitative Methoden: kein Gegensatz. In: Flick, Uwe/Kardorff, Ernst von/Steinke, Ines (Hg.). Qualitative Forschung: Ein Handbuch. Reinbek: Rowohlt, 299–309.

*Knorr, Petra (2015). Kooperative Unterrichtsvorbereitung: Unterrichtsplanungsgespräche in der Ausbildung angehender Englischlehrender. Tübingen: Narr.

Kuckartz, Udo (2014). Mixed Methods. Methodologie, Forschungsdesigns und Analyseverfahren. Wiesbaden: Springer Fachmedien.

Lamnek, Siegfried (2010). Qualitative Sozialforschung. Lehrbuch. 5. überarbeitete Auflage. Weinheim: Beltz.

Mayring, Philipp (2001). Kombination und Integration qualitativer und quantitativer Analyse. In: Forum Qualitative Sozialforschung/Forum Qualitative Social Research 2(1), Art. 6. [Online: http://nbn-resolving.de/urn:nbn:de:0114-fqs010162] (11.8.2015).

*Schart, Michael (2003). Projektunterricht – subjektiv betrachtet. Eine qualitative Studie mit Lehrenden für Deutsch als Fremdsprache. Baltmannsweiler: Schneider Verlag Hohengehren. [Referenzarbeit]

Schründer-Lenzen, Agi (2010). Triangulation – ein Konzept zur Qualitätssicherung von Forschung. In: Friebertshäuser, Barbara/Langer, Antje/Prengel, Annedore (Hg.). Handbuch Qualitative Forschungsmethoden in der Erziehungswissenschaft. 3. vollständig überarbeitete Auflage. Weinheim: Juventa, 149–158.

*Schwab, Götz (2009). Gesprächsanalyse und Fremdsprachenunterricht. Landau: Verlag Empirische Pädagogik. [Referenzarbeit]

Settinieri, Julia (2015). Forschst Du noch, oder triangulierst Du schon? In: Elsner, Daniela/Viebrock, Britta (Hg.). Triangulation in der Fremdsprachenforschung. Frankfurt/Main: Lang, 17–35.

Webb, Eugene J./Campbell, Donald T./Schwartz, Richard D./Sechrest, Lee (1966). Unobtrusive Measure: Nonreactive Research in the Social Sciences. Chicago: Rand McNally.

» Zur Vertiefung empfohlen

Flick, Uwe (2011). Triangulation. Eine Einführung. 3. aktualisierte Auflage. Wiesbaden: Verlag für Sozialwissenschaften.

Bei der Monografie von Flick handelt es sich um einen gut lesbaren und komprimierten Überblick über die Thematik der Triangulation. Flick gibt einen Abriss über Ursprung und Geschichte des Konzepts und zeichnet kritische Diskussionen nach. Er arbeitet mit zahlreichen Verweisen auf Norman Denzin als den Begründer der Triangulation im Bereich qualitativer Forschung sowie mit vielen beispielhaften Veranschaulichungen aus der Forschungspraxis. Neben einem Fokus auf Methodentriangulation in der qualitativen Forschung, insbesondere in der Ethnographie, richtet Flick sein Augenmerk auf die Kombination qualitativer und quantitativer Forschung und zeigt abschließend praktische Durchführungsprobleme von Triangulationsstudien auf.

Settinieri, Julia (2015). Forschst Du noch, oder triangulierst Du schon? In: Elsner, Daniela/Viebrock, Britta (Hg.). Triangulation in der Fremdsprachenforschung. Frankfurt/Main: Peter Lang, 17–35.

Dieser einführende und sehr verständlich geschriebene Beitrag leistet eine präzise Klärung des Triangulationsbegriffs. Dazu wird erstens der Forschungsdiskurs zu den beiden Funktionen Validierung und Erkenntniserweiterung seit den 1950er Jahren nachgezeichnet und zweitens ein informativer Überblick über Daten-, Methoden-, Theorien- und ForscherInnentriangulation gegeben. Der Begriff der Triangulation wird drittens in ebenso erhellender Weise auch auf die Diskussion von mixed methods bezogen und viertens in der überraschenden Wendung der Titelfrage zu „Triangulierst Du noch, oder forschst Du schon?“ auch als aktuelle Modeerscheinung kritisch hinterfragt.

4.5 Der zweite Blick: Meta-Analysen1 und ReplikationReplikationenMeta-Analysen

Claudia Harsch

4.5.1 Einführung

Mit steigender Zahl an Studien und der Kumulierung von Forschungsergebnissen zu einem bestimmten Bereich steigt auch der Bedarf an einer SyntheseSynthese dieser Ergebnisse, ebenso wie das Interesse an einer ReplikationReplikation bestimmter Studien, um zu generalisierbarengeneralisierbar Aussagen über verschiedene Zielgruppen und Kontexte hinweg zu gelangen (z.B. Plonsky 2012a). Zur Synthese empirischer Daten eignen sich Meta-AnalysenMeta-Analysen: Ausgehend von einer umfassenden Literaturrecherche werden systematisch empirische Daten gesammelt und analysiert, um zu empiriegestützten Aussagen über eine Vielzahl von Studien hinweg zu gelangen; darüber hinaus erlauben Meta-Analysen die Analyse etwaiger Moderatorvariablen zur Bestimmung des Einflusses, die diese auf die zu untersuchenden Variablen ausüben (Plonsky/Oswald 2012a). ReplikationsstudienReplikationsstudien hingegen haben das Ziel, ausgewählte Studien zu replizieren, um Ergebnisse zu validierenvalidieren oder die Übertragbarkeit von Ergebnissen auf andere Kontexte oder Zielgruppen zu überprüfen. Die Ergebnisse solcher Replikationsstudien können ebenfalls in Meta-Analysen einfließen, um zu evidenzbasierten und möglichst generalisierbaren Synthesen zu kommen. Solche Synthesen können zum einen eine gegebene Studie im Kontext des derzeitigen Wissensstands platzieren, sie stellen aber auch die Basis für weitere Forschung dar, da sie den derzeitigen Erkenntnissstand zusammenfassen und somit aufzeigen helfen, wo es Forschungsbedarf gibt. Des Weiteren leisten sie einen Beitrag zur evidenzbasierten Entscheidungsfindung, indem sie die Forschungserträge auf einem bestimmten Gebiet kumulativ zusammenstellen (z.B. Rousseau/McCarthy 2007). Meta-Analysen und Replikationen sind jedoch zu unterscheiden von vergleichenden Überblicksforschungen, wie sie etwa Schmenk (2008) darstellt. Solch ein zweiter theoretischer Blick fasst existente Forschung zusammen, doch werden keine neuen Analysen mit bestehenden Daten und keine neuen Datenerhebungen durchgeführt.

Eine gute Übersicht zu mehr als 140 Meta-AnalysenMeta-Analysen und Forschungssynthesen im Bereich der Zweit- und Fremdsprachenforschung bietet die Internetseite von Luke Plonsky (http://oak.ucc.nau.edu/ldp3/bib_metaanalysis.html). Die Universität Murcia bietet unter http://www.um.es/metaanalysis eine Übersicht über Bücher zum Thema und eine Datenbank zu Publikationen von Meta-Analysen.

4.5.2 Durchführung von Meta-Analysen

Meta-Analysen werden wegen ihres Umfangs meist von einem Team von Forschenden durchgeführt; sie bestehen aus einer Abfolge von Schritten, welche im Folgenden kurz beschrieben werden:

 Problemstellung;

 LiteraturrechercheLiteraturrecherche;

 Evaluation und Kodierung der ausgewählten Kodierungvon ausgewählten StudienStudienEvaluation von ausgewählten Studien;

 DatenanalyseDatenanalyse, Untersuchung der ErgebnisseErgebnisseUntersuchung der, InterpretationInterpretation;

 Berichterstattung, PublikationPublikation.

Die Formulierung der Problemstellung, der zu untersuchenden Fragestellung ist von zentraler Bedeutung. Sie kann sowohl theoriegeleitet als auch empirisch begründet sein. Eng geführte Fragen eignen sich, um bekannte Hypothesen und Effekte zu prüfen, Forschungen zu dieser Themestellung zusammenzufassen oder bestimmte Populationen und Kontexte zu vergleichen. Offenere Problemstellungen eignen sich, um neue Erkenntnisse aus der Synthese zu gewinnen. Die Fragestellung bestimmt somit, welche Studien in die Meta-Analyse einfließen sollen; beispielsweise hängen die Auswahl und der Fokus auf konzeptionelle Fragen, Methoden, Probanden, Messmodelle und berichtete empirische IndizesIndizesempirische (outcome measuresoutcome measures) von der Fragestellung ab.

Die LiteraturrechercheLiteraturrecherche ist direkt von der Problemstellung geleitet. Hier gilt es, so umfassend und systematisch wie möglich vorzugehen, um möglichst viele Studien und Replikationen in der zu untersuchenden Problemstellung zu erfassen. Dabei sollten neben den einschlägigen Zeitschriften, Buch- und Kongresspublikationen und Internetrecherchen (z.B. google scholar) auch DatenbankenDatenbanken abgefragt werden (In’nami/Koizumi 2011). Bei der Recherche stellt sich das Problem des so genannten publication biaspublication bias, da in der Regel nur Studien mit signifikanten Effekten publiziert werden; dadurch gehen für die Synthese wertvolle Informationen verloren, welche zumindest teilweise durch statistische Verfahrenstatistische Verfahren abgefangen werden können (Hunter/Schmidt 2004; s. unten die Ausführungen zu Datenanalyse und Untersuchung der Ergebnisse). Darüber hinaus gibt es Datenbanken zu unveröffentlichten Studien, die herangezogen werden können. Auch auf den so genannten English language biasEnglish language bias darf verwiesen werden: Publikationen in internationalen englischsprachigen Journals berichten oft stärkere Effekte als Publikationen in anderen Sprachen; hier hilft es, auch anderssprachige Publikationen zu beachten. Es gilt, transparente Kriterien zum Einschluss (und ggf. Ausschluss) von Studien zu entwickeln; der Kriterienkatalog kann in einem iterativen Prozess während der Auseinandersetzung mit der Literatur verfeinert werden. Hierbei sollten Forschungsstandards angelegt werden, wie sie beispielsweise Porte (2010) beschreibt. Wichtig ist es, eine gesunde Balance zwischen Ein- und Ausschlusskriterien zu finden, um nicht die GeneralisierbarkeitGeneralisierbarkeit durch den Ausschluss zu vieler Studien zu gefährden, andererseits aber nicht die Qualität und ValiditätValidität der Ergebnisse der Meta-Analyse durch den Einschluss methodisch mangelhafter Studien zu riskieren. Alle Schritte der Literaturrecherche und der eingesetzten Strategien und Kriterien zur Suche und Auswahl sollten transparent dokumentiert werden.

Sind die Studien ausgewählt, müssen sie hinsichtlich ihrer Charakteristika und der berichteten EffektstärkenEffektstärke evaluiert und kodiert werden. Hier helfen ein KodierplanKodierplan und ein KodierbuchKodierbuch, um die relevanten Charakteristika und das KodierschemaKodierschema zu definieren. Idealerweise wird das KodierschemaKodierschema pilotiert und alle Studien werden von mindestens zwei Forschenden kodiert, um zu reliablen und validen KodierungenKodierung zu kommen. In’nami1 schlägt vor, mindestens die folgenden Charakteristika zu den Studien und den empirischen Daten zu kodieren:

Studie	Empirische Datenlage
ID, bibliographische Angaben, Abstract; Moderatorvariablen: Population, Kontext; Kriterien zur Qualität der Studie; Informationen zu etwaigen Artefakten (Hunter/Schmidt 2004); Forschungsdesign: Probanden, experimentelles (oder anderes) Design, Manipulationen.	Effektstärke (s. Ausführungen unten):Datenbasis, Methode der Bestimmung, etwaige Gewichtung; Stichprobengröße; Gemessene(s) Konstrukt(e), Instrumente; Zeitpunkte, zu denen die verschiedenen Variablen gemessen wurden; Reliabilität der Messungen; statistische Tests, die zum Einsatz kamen; Moderatorvariablen.

Abbildung 1:

Kodiervorschläge nach In’nami (s. Fußnote 7)

Spätestens bei der KodierungKodierung der Studien kann es sein, dass fehlende Daten zu Tage treten. Hier kann es helfen, die Autoren direkt anzuschreiben, um gezielt nach fehlenden Informationen zu fragen. Im Zweifelsfall müssen Studien, zu denen keine hinreichenden Daten vorliegen, ausgeschlossen oder die fehlenden Werte mittels statistischer Verfahren imputiert werden. Auch dies sollte dokumentiert werden.

Das Konzept der EffektstärkenEffektstärke sei hier kurz skizziert (s. auch Kapitel 5.3.10), da sie die zentrale Analyseeinheit von Meta-Analysen darstellen (s. Borenstein et al. 2011, insbesondere Kapitel 3–9, Plonsky 2012b). Die Ergebnisse empirischer Studien werden in der Regel mittels zweier Statistiken berichtet: Zum einen interessiert die Größe oder die Stärke eines untersuchten Effekts (die so genannte Effektstärke), zum anderen ist die Signifikanz der EffekteEffekteSignifikanz der wichtig – man bedenke, dass nicht-signifikante Ergebnisse ebenso bedeutsam sind wie signifikante Effekte, doch werden sie meist nicht publiziert (s. oben, publication bias). Effektstärken sind statistische Indizes, welche grundsätzlich auf zwei Wegen bestimmt werden können: mittels KorrelationenKorrelation (die Gruppe der sogenannten r Indizesr Indizes) oder mittels (standardisierter) Unterschiede in Mittelwerten oder Standardabweichungen (die Gruppe der d Indizesd Indizes). Die in den für eine Meta-Analyse ausgewählten Studien berichteten Statistiken lassen sich problemlos in die Effektstärken r oder d überführen2, je nachdem, welche Herangehensweise für die Meta-Analyse verwendet werden soll. Johnson/Eagly (2000) empfehlen r für Studien, die vorwiegend Korrelationen berichten, und d für Studien, welche ANOVA und t-tests einsetzen.

Zur eigentlichen DatenanalyseDatenanalyse und zur Untersuchung der Ergebnisse gibt es eigens für Meta-Analysen entwickelte Computerprogramme, beispielsweise das Programm Comprehensive Meta-Analysis3. Eine Evaluation verschiedener Programme ist unter http://www.um.es/metaanalysis/software.php zu finden. Es empfiehlt sich, Einführungen und Workshops zur Nutzung eines bestimmten Programms zu besuchen, um sich mit den Spezifika, Modellen, Annahmen und Anforderungen vertraut zu machen. Generell besteht die zentrale Datenanalyse einer Meta-Analyse aus der Berechnung des Mittelwerts und der Varianz der in den ausgewählten Studien berichteten EffektstärkenEffektstärke (Plonsky/Oswald 2012b: 275). Dazu gibt es verschiedene Modelle (die so genannten fixed-, random- oder mixed-effect Modelle, s. Borenstein et al. 2011, insb. Kapitel 10–14 und 19), von denen das angemessenste gewählt werden muss. Ebenso müssen Entscheidungen getroffen werden hinsichtlich der zu nutzenden EffektstärkeindizesEffektstärkeindizes (s. oben) und der Gewichtung bestimmter Studien. Zur Interpretation der Ergebnisse ist es nötig, sich die Effektstärken, Konfidenzintervalle und die Richtung der Effekte der einzelnen Studien sowie Mittelwert und Varianz der Effekte über die Studien hinweg zu betrachten, um die Homogenität der gefundenen Effektstärken beurteilen zu können. Zur Interpretation helfen neben den statistischen Indizes so genannte forest plots, graphische Darstellungen, welche von den Programmen erstellt werden. Es kann nötig sein, den erwähnten publication biaspublication bias statistisch zu korrigieren; hierzu gibt es verschiedene Möglichkeiten (s. z.B. Banks/Kepes/Banks 2012, Borenstein et al. 2011, Kapitel 30), von denen die graphische Methode des funnel plottings in der Fremdsprachenforschung die verbreiteste ist (z.B. Norris/Ortega 2000). Es empfehlen sich weiterführende Moderator-Analysen, um den Effekt bestimmter Moderatorvariablen auf die zu untersuchende Variable festzustellen; beispielsweise haben Jeon/Yamashita (2014) Befunde zum Leseverstehen in der Fremdsprache in einer groß angelegten Meta-Analyse zusammengestellt und dabei u.a. die Moderatoren Alter und Vokabelwissen untersucht. Abschließend darf auf so genante Power AnalysenPower-Analyse verwiesen werden (z.B. Cohen 1988, Plonsky 2013), um die Wahrscheinlichkeit zu bestimmen, dass ein bestimmter statistischer Test einen gegebenen Effekt auch erfassen kann. Dazu werden die notwendige minimale Stichprobengöße oder die minimal zu erwartende EffektgrößeEffektgröße bei einer gegebenen Stichprobengröße bestimmt. Power Analysen können für die Einzelstudien, die in eine Meta-Analyse einfließen, ebenso wie retrospektiv für eine gegebene Meta-Analyse durchgeführt werden.

Sind die Effektgrößen bestimmt und die Ergebnisse interpretiert, so schließt sich die Phase der Berichterstattung und PublikationPublikation an. Hier darf auf die APA Meta-Analysis Reporting Standards (APA 2008, American Psychological Association 2010) verwiesen werden, ebenso wie auf die Hinweise in Plonsky (2012b); letztere eignen sich auch gut zur Evaluation publizierter Meta-Analysen. Folgende Elemente sollte die Publikation minimal abdecken:

Eingeschlossene Studien	Resultate
Auswahlkriterien, Publikationsstatus, Referenzen, Datenbanken; Forschungskontext; Teilnehmende: demographische Angaben, Stichprobengrößen; Forschungsdesign: experimentelles (oder anderes), Pre-/ Post, Längs-/ Querschnitt; eingesetzte Instrumente.	Effekgrößen: Datenbasis, Methode der Bestimmung, Gewichtung; Konfidenzintervalle, obere und untere Grenzen, Mittelwert, Varianz, forest plots; weiterführende Analysen (Moderatoren, publication bias); Interpretation, Kontextualisierung der Ergebnisse; Implikationen.

Abbildung 2:

Minimale Publikationselemente von Meta-Analysen

4.5.3 Replikationsstudien

ReplikationsstudienReplikationsstudien dienen der Wiederholung bestimmter Experimente, Interventionen oder Studiendesigns, einerseits zum Zweck der Überprüfung der Generalisierbarkeit der Ergebnisse der Originalstudie für andere Zielgruppen oder Kontexte, andererseits zur ValidierungValidierung der berichteten Ergebnisse (Abbuhl 2012, Porte 2010). In empirischen Untersuchungen kommt der Replizierbarkeit einer Studie und deren Ergebnissen besondere Bedeutung zu, können doch auf diese Weise die Fehlertypen I und II (fälschliches Verwerfen bzw. Akzeptieren der Nullhypothese) kontrolliert werden (Schmidt 2009).

Abbuhl (2012) unterscheidet verschiedene Typen von Replikationsstudien, die sie auf einem Kontinuum von exakter Replikation (eher selten in den Sozialwissenschaften zu finden) über systematische oder approximative ReplikationapproximativeReplikationReplikationsystematische bis hin zur konzeptuellen oder konstruktiven ReplikationkonstruktiveReplikationReplikationkonzeptuelle anordnet. Bei der approximativen Replikation wird die Originalstudie so getreu wie möglich repliziert, doch eine der SchlüsselvariablenSchlüsselvariablen wird variiert, um etwa eine andere Zelgruppe oder einen anderen Kontext zu untersuchen. Die konzeptuelle Replikation bleibt dem Untersuchunggegenstand treu, doch verwendet sie zusätzlich zu den qualitativen der Originalstudie andere Zugänge, wie etwa andere Instrumente oder quantitative Methoden.

Replikationsstudien beginnen mit der Forschungsfragestellung und der Evaluation und Auswahl einer geeigneten Studie, welche die Forschungsfrage in relevanter Weise operationalisiert und untersucht. Es schließt sich die Entscheidung an, welche Art der Replikation für die zu untersuchende Fragestellung angemessen ist. Hierbei muss die Vergleichbarkeit und Anschlussfähigkeit zwischen Replikation und Originalstudie bedacht werden mit Hinblick auf Zielpopulationen und Stichproben, Untersuchungsgegenstand, Design, eingesetzte Instrumente und Analysemethoden. Etwaige Abweichungen sollten wohlbegründet sein (Gass/Mackey 2005). Nach der Durchführung und Analyse der Replikationsstudie erfolgt die Interpetation der Ergebnisse, immer auch in Bezug auf die Resultate der Originalstudie. Unterstützen die Replikationsbefunde die Ergebnisse der Originalstudie, so kann dies als ein weiterer Hinweis auf die Validität der ursprünglichen Befunde gedeutet werden. Widersprechen die Replikationsergebnisse denen der Originalstudie, kann dies als Anlass genommen werden, die GeneralisierbarkeitGeneralisierbarkeit bestimmter Ergebnisse kritisch zu diskutieren, oder die Parameter, die in die Studien einflossen, zu hinterfragen und gezielt in weiteren Untersuchungen zu erforschen (z.B. Eden 2002). Abschließend steht der Schritt der Publikation an, in welcher der Anlass der Replikationsstudie und etwaige Abweichungen von der Originalstudie begründet werden, die Vorgehensweise transparent dargestellt und die Ergebnisse im Vergleich zur Originalstudie diskutiert und kommentiert werden sollten.

4.5.4 Anwendung in Studien

Während es, wie Schmidt (2009) ausführt, nur wenige Replikationsstudien in den Sozialwissenschaften gibt, erfreuen sich Meta-Analysen zunehmender Beliebtheit. Hier sollen drei Meta-Analysen exemplarisch das Feld illustrieren.

Eine frühe, einflussreiche Meta-Analyse wurde von Norris/Ortega (2000) zur Effektivität von L2 Instruktionen durchgeführt. Sie verglichen die EffektstärkenEffektstärke von 49 experimentellen und quasi-experimentellen Studien, die in den Jahren 1908 bis 1998 durchgeführt wurden. Sie fanden u.a. heraus, dass explizite Formen des Unterrichtens effektiver sind als implizite und dass fokussiertes Unterrichten zu langfristigen Lernerfolgen führt. Allerdings mussten sie feststellen, dass die Effektstärke vom jeweils eingesetzten MessinstrumentMessinstrument beeinflusst wird und dass die Ergebnisse ihrer Meta-Analyse nur beschränkt generalisierbargeneralisierbar sind, da es damals dem Feld noch an empirisch rigorosen Operationalisierungen und Replikationen der Konstrukte mangelte.

Eine wesentlich umfangreichere Meta-Analyse, die eine gewisse Generalisierbarkeit aufweist, führte Hattie (2009) durch. Die so genannte ‚Hattie-Studie‘ beeinflusste die bildungspolitische Diskussion im In- und Ausland, weshalb sie hier erwähnt werden soll, wenngleich die meisten Studien, die in Hatties Meta-Analyse eingingen, nicht aus dem fremdsprachlichen Unterricht stammen. Er unterzog über 800 Meta-Analysen einer Meta-Metaanalyse und untersuchte 138 unterrichtsrelevante Variablen und ihre Effektivität auf das Lernen. Das Novum an seinem Ansatz ist, dass er die Effektstärken inhaltlich interpretiert, indem er sie in unterschiedliche Bereiche einteilt. Für den untersten Bereich (bis 0,15) behauptet Hattie, dass diese Effekte auch erzielt würden, wenn kein Unterricht stattfinde; Effektstärken im Bereich 0,15 bis 0,40 würden auch durch regulärem Unterricht einer durchschnittlichen Lehrkraft erzielt; nur Effektstärken über 0,40 würden auf tatsächliche Effekte der untersuchten Variablen deuten. Die stärksten Effekte fand Hattie in den Variablen ‚self-reported grades‘, ‚Piagetian programmes‘ und ‚providing formative evaluation‘. Es wäre interessant, diese Variablen gezielt für den fremdsprachlichen Unterricht zu untersuchen. Hattie leitet auf Basis seiner Ergebnisse ein theoretisches Modell erfolgreichen (fachunabhängigen) Lehrens und Lernens ab; er nutzt die Meta-Analyse also zur Theorie-Generierung.

Die dritte Meta-Analyse, die hier vorgestellt werden soll, wurde von Jeon/Yamashita (2014) durchgeführt für den Bereich des Leseverstehens in der Fremdsprache. Diese Studie soll die o.g. ModeratorenanalysenModeratorenanalysen illustrieren. Jeon/Yamashita (2014) untersuchten u.a. die Moderatoren Alter und Vokabelwissen. Die Befunde legen nahe, dass das fremdsprachliche Leseverständnis am höchsten mit fremdsprachlichem Grammatik- und Vokabelwissen korreliert und dass Leseverstehen vom Alter und der Distanz zwischen erster und zweiter Sprache beeinflusst wird.

4.5.5 Fazit

Die hier vorgestellten Möglichkeiten des ‚zweiten Blicks‘ auf existente Studien, sei es mittels quantitativer Meta-Analysen oder mittels Replikationsstudien, stellen eine Möglichkeit dar, existente Ergebnisse zu nutzen und zu transformieren. Auf diese Weise können, wie es beispielsweise Hattie (2009) zeigt, TheorienTheorie entwickelt und untermauert werden, oder es können Ergebnisse eines Bereichs oder Kontexts in neuen KontextenKontext überprüft werden, wie es in Replikationsstudien geschieht. Diese Herangehensweisen bieten effektive Wege, existente Ergebnisse zusammenzuführen, sie zu validierenvalidieren und etwa zur evidenzbasierten Entscheidungsfindung oder zur weiteren Forschungsplanung zu nutzen. Allerdings sollten sie in ihrem Aufwand nicht unterschätzt werden.

› Literatur

Forschungsarbeiten, in denen die hier erläuterten Verfahren angewendet werden, sind mit einem Sternchen markiert.

Abbuhl, Rebekha (2012). Why, when, and how to replicate research. In: Mackey, Alison/Gass, Susan M. (Hg.). Research Methods in Second Language Acquisition: A Practical Guide. London: Basil Blackwell, 296–312.

APA Publications and Communications Board Working Group on Journal Article Reporting Standards (2008). Reporting standards for research in psychology: Why do we need them? What might they be? In: American Psychologist 63, 848–849. [https://www.apa.org/pubs/authors/jars.pdf] (4.12.2015)

American Psychological Association (2010). Publication Manual of the American Psychological Association. 6. Auflage. Washington, DC: American Psychological Association.

Banks, Georges C./Kepes, Sven/Banks, Karen P. (2012). Publication bias: The antagonist of meta-analytic reviews and effective policy making. In: Educational Evaluation and Policy Analysis 34, 259–277.

Borenstein, Michael/Hedges, Larry V./Higgins, Julian P.T. / Rothstein, Hannah R. (2011). Introduction to Meta-Analysis. Chichester, UK: Wiley.

Cohen, Jacob (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd edition. Hillsdale, NJ: Erlbaum.

Eden, Dov (2002). Replication, meta-analysis, scientific progress, and AMJ’s publication policy. In: Academy of Management Journal 45, 841–846.

Gass, Susan M./Mackey, Alison (2005). Second Language Research: Methodology and Design. Mahwah, NJ: Lawrence Erlbaum.

*Hattie, John (2009). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. Oxon: Routledge.

Hunter, John E./Schmidt, Frank L. (2004). Methods of Meta-Analysis: Correcting Error and Bias in Research Findings. 2nd edition. Newbury Park, CA: Sage.

In’nami, Yo/Koizumi, Rie (2010). Database selection guidelines for meta-analysis in applied linguistics. In: TESOL Quarterly 44, 169–184.

*Jeon, Eun H./Yamashita, Junko (2014). L2 reading comprehension and its correlates: A meta-analysis. Language Learning 64(1), 160–212.

Johnson, Blair T./Eagly, Alice H. (2000). Quantitative synthesis of social psychological research. In: Reis, Harry T./Judd, Charles M. (Hg.). Handbook of Research Methods in Social and Personality Psychology. New York: Cambridge University Press, 496–528.

*Norris, John M./Ortega, Lourdes (2000). Effectiveness of L2 instruction: A research synthesis and quantitative meta-analysis. Language Learning 50, 417–528.

Plonsky, Luke (2012a). Replication, meta-analysis and generalizability. In: Porte, Graeme K. (Hg.). Replication Research in Applied Linguistics. New York: Cambridge University Press, 116–132.

Plonsky, Luke (2012b). Effect size. In: Robinson, Peter (Hg.). The Routledge Encyclopedia of Second Language Acquisition. New York: Routledge, 200–202.

Plonsky, Luke (2013). Study quality in SLA: An assessment of designs, analyses, and reporting practices in quantitative L2 research. In: Studies in Second Language Acquisition 35, 655–687.

Plonsky, Luke/Oswald, Frederick L. (2012a). Meta-analysis. In: Robinson, Peter (Hg.). The Routledge Encyclopedia of Second Language Acquisition. New York: Routledge, 420–423.

Plonsky, Luke/Oswald, Frederick L. (2012b). How to do a meta-analysis. In: Mackey, Alison/Gass, Susan M. (Hg.). Research Methods in Second Language Acquisition: A Practical Guide. London: Basil Blackwell, 275–295.

Porte, Graeme K. (2010). Appraising Research in Second Language Learning. A Practical Approach to Critical Analysis of Quantitative Research. Amsterdam: John Benjamins.

Rousseau, Denise M./McCarthy, Sharon (2007). Evidence-based management: Educating managers from an evidence-based perspective. In: Academy of Management Learning and Education 6, 94–101.

Schmenk, Barbara (2008). Lernerautonomie. Karriere und Sloganisierung des Autonomiebegriffs. Tübingen: Narr. [Referenzarbeit, Kapitel 7]

Schmidt, Stefan (2009). Shall we really do it again? The powerful concept of replication is neglected in the social sciences. In: Review of General Psychology 13, 90–100.

» Zur Vertiefung empfohlen

Borenstein, Michael/Hedges, Larry V./Higgins, Julian P.T. / Rothstein, Hannah R. (2011). Introduction to Meta-Analysis. Chichester, UK: Wiley.

Das Buch beschreibt in klarer und umfassender Weise alle grundsätzlichen und weiterführenden Aspekte, die zu einer Meta-Analyse gehören. Es erläutert zugrunde liegende Konzepte und führt die Leser an die statistischen Grundlagen und Formeln, welche durch Beispiele veranschaulicht werden. Das Buch eignet sich gut zum Selbststudium und wird durch Online-Materialien ergänzt.

Cooper, Harris/Hedges, Larry V./Valentine, Jeff C. (Hg.). (2009). The Handbook of Research Synthesis and Meta-Analysis. 2nd edition. New York: Russel Sage Foundation.

Das Handbuch bietet einen guten Einstieg in die Thematik der Meta-Analsyen. Es ist als Enzyklopädie angelegt, wobei die Kapitel sich je einem spezifischen Aspekt widmen. Eine Besonderheit ist, dass sich alle Kapitel auf denselben Datensatz beziehen. Das Buch ist geeignet für Forschende und Statistiker.

Plonsky, Luke/Oswald, Frederick L. (2012b). How to do a meta-analysis. In: Mackey, Alison/Gass, Susan M. (Hg.). Research Methods in Second Language Acquisition: A Practical Guide. London: Basil Blackwell, 275–295.

Das Kapitel gibt eine leicht verständliche Einführung in die Planung und Durchführung von Meta-Analysen, mit praktischen Tipps und Anregungen. Es eignet sich gut als erster Einstieg.

Porte, Graeme K. (Hg.) (2012). Replication Research in Applied Linguistics. New York: Cambridge University Press.

Das Buch bringt Experten zusammen, die die Bedeutsamkeit von Replikationsstudien in der Angewandten Linguistik unterstreichen. Die Autoren beleuchten Replikationsstudien von theoretischer Seite, geben praktische Ratschläge zur Planung, Vorbereitung, Durchführung solcher Studien und nicht zuletzt Hinweise dazu, wie die Studien und Ergebnisse berichtet werden können.

4.6 Forschungsethik

Michael K. Legutke/Karen Schramm

4.6.1 Begriffsklärung

Der Gegenstandsbereich der ForschungsethikForschungsethik umfasst Prinzipien und Regeln, die das Handeln der Forschenden leiten sollen. Er befasst sich mit Fragen wie: Was darf ich als Forschender? Was ist erlaubt? Wem bin ich verantwortlich? (Bach/Viebrock 2012). Obwohl empirische Studien in besonderer Weise ethischen Ansprüchen Rechnung tragen müssen, wie wir darlegen werden, unterliegen alle Typen von Forschung, egal welcher Forschungstradition sie zuzuordnen sind, ethischen Codesethischer Code. Küster (2011: 139) schlägt vor, den Komplex Ethik in der Fremdsprachenforschung unter zwei Perspektiven in fünf Handlungsfelder zu strukturieren. Er unterscheidet eine „prudentielle PerspektiveprudentiellePerspektiveprudentielle Perspektive“ mit den beiden Handlungsfeldern (1) „Verantwortung des Forschers vor und für sich selbst“ und (2) „Verantwortung des Fremdsprachenforschers gegenüber seinem privaten Umfeld“ sowie eine „moralische PerspektivemoralischePerspektivemoralische Perspektive“. Zur letzteren gehört (3) die „Verantwortung des Fremdsprachenforschers gegenüber der scientific community“. Diese zeigt sich u.a. in der Sorgfalt und Vertrauenswürdigkeit des Forschers im Umgang mit anderen Forschungen und Quellen, in der Ehrlichkeit im Umgang mit Positionen und Forschungsergebnissen, der Strenge der Arbeitsweisen und Darstellung sowie der Transparenz der Argumentationen, der Integrität und Lauterkeit des wissenschaftlichen Arbeitsprozesses. Zur moralischen Perspektive gehören ferner (4) die „Verantwortung des empirischen Fremdsprachenforschers gegenüber den unmittelbar Beforschten (quantitative Forschung) bzw. den am Forschungsprozess unmittelbar Beteiligten (qualitative Forschung und Handlungsforschung)“ (Küster 2011: 139) und schließlich (5) die „Verantwortung des Fremdsprachenforschers gegenüber gesellschaftlichen und universitären Institutionen und deren Anforderungen“ (Küster 2011: 139). Die Handlungsfelder 3 und 4 werden in diesem Beitrag genauer bestimmt. Das fünfte Handlungsfeld ist u.a. Gegenstand des Kapitels 2 dieses Handbuchs.

Nationale wie internationale Fachgesellschaften aus den Natur- und Sozialwissenschaften haben Ethik-Kodizesethischer Code entwickelt, die Forschenden eine Grundorientierung geben und deren Prinzipien und Regeln sich auch für die Praxis der Fremdsprachenforschung fruchtbar machen lassen.1 Zu den Grundprinzipien, die in diesen Kodizes in unterschiedlichen Graden der Konkretisierung erscheinen, gehören: das Prinzip der Schadensvermeidung, das Prinzip des Nutzens bzw. des Mehrwerts von Forschung, der Respekt vor anderen Menschen sowie das Prinzip der Redlichkeit (vgl. Kitchener/Kitchener 2009: 13–16; Bach/Viebrock 2012). Im Folgenden werden wir die Implikationen solcher Prinzipien für verantwortungsvolles Handeln in der Fremdsprachenforschung verdeutlichen.

4.6.2 Gestaltung von ForschungsbeziehungForschungsbeziehungen

Wesentliches Merkmal empirischer fremdsprachendidaktischer Forschung ist ihr sozialer Charakter, denn sie ist abhängig von und situiert in den Beziehungen des Forschers zu Personen und deren Umfeld (z.B. Kinder mit Migrationshintergrund mehrerer Grundschulen einer Großstadt, Erwachsene über 60 einer Kreisvolkshochschule, Lehrer und Lehrerinnen mehrerer Bundesländer). Aus diesem Umstand ergeben sich Verantwortlichkeiten und Ansprüche gegenüber den Personen und ihren Handlungskontexten auf der einen Seite und gegenüber der scientifc community auf der anderen Seite.

So stellt sich nicht nur die Frage, wie der Forscher Zugang zu dem ForschungsfeldForschungsfeldZugang zum finden kann und welche Regeln dabei zu beachten sind (z.B. Forschungserlasse der Kultusministerien der Länder), sondern auch, wie ein vertrauensvolles Arbeitsbündnis entwickelt wird, das für den anvisierten Forschungsprozess tragfähig ist (vgl. dazu Holliday 2007: 75–104). Die Personen(gruppen) haben Anspruch, dass ihre Interessen geschützt sind und ihre Privatsphäre respektiert wird, dass sie über das Vorhaben, über mögliche Belastungen1 und die Nutzung der Daten (s. Kapitel 4.6.3 und 4.6.4) informiert werden. Arbeitsbündnisse können dann besondere Produktivität entfalten, wenn es gelingt, Formen der Gegenseitigkeit zu entwickeln, die von den am Forschungsprozess beteiligten Personen als gewinnbringend wahrgenommen werden können, wenn es also gelingt, ein Verhältnis des Gebens und Nehmens zu etablieren. Als Beispiele für das forscherseitige Geben sind neben einer möglichen Bezahlung von Untersuchungsteilnehmenden etwa das Versenden der Forschungsergebnisse oder das Angebot von Fortbildungen zu den Forschungsergebnissen zu nennen.2 Im Hinblick auf das forscherseitige Nehmen ist beispielsweise zu reflektieren, dass es angesichts der von den Forschungspartnern investierten Zeit und Mühe nicht gerechtfertigt erscheint, Daten zu erheben, die anschließend nicht ausgewertet werden. Auch wird immer häufiger thematisiert, dass die Forschungspartner (und nicht wie bisher zumeist der Forschende) als Eigentümer der Daten zu konzeptualisieren seien und ihnen damit das Recht der Auswahl von Daten für Analyseprozesse zukomme.

Die ethische Forderung nach TransparenzTransparenz der Ziele, Verfahren und Ergebnisse des Vorhabens bringt allerdings eine doppelte Herausforderung für die Forscher mit sich. Denn zum einen bedarf die Fachsprache der Wissenschaft, die die Beteiligten in der Regel als unzugänglich wahrnehmen, der angemessenen Übersetzung in die Alltagsprache. Verständnis muss erarbeitet und ausgehandelt werden (Holliday 2007: 145–152). Das Dilemma sprachlicher Vermittlung zwischen dem Forscher und den Forschungspartnern einerseits und andererseits den Anforderungen, die an die Veröffentlichung der Ergebnisse von Seiten der Wissenschaft gestellt werden, thematisiert die Referenzarbeit von Schart (2003: 51–52).

Ferner stellt sich die Frage, wie viel TransparenzTransparenz aus ethischen Gründen nötig und aus forschungsmethodischen Anforderungen möglich ist, ohne das Vorhaben selbst zu gefährden. Wenn Forschungspartnern aus Gründen des Forschungsdesigns bestimmte Informationen vorenthalten oder sie getäuscht werden, ist von Seiten der Forschenden explizit zu reflektieren, ob dies für das Design tatsächlich unabdingbar ist und ob den Teilnehmenden dadurch in psychologischer Hinsicht Schaden wie beispielsweise Stress oder Unbehaglichkeit entsteht. In der Debriefing-Phase einer solchen Studie sollten die Verantwortlichen dann gewissenhaft dafür Sorge tragen, dass die Teilnehmenden über die Täuschung und die Gründe für die Täuschung aufgeklärt werden (dehoaxingdehoaxing) und dass sie jegliche, durch die Studie verursachte unangenehme Gefühle abbauen können (desensitizingdesensitizing), beispielsweise indem man unerwünschtes Verhalten oder unangenehme Gefühle auf eine Situationsvariable statt auf die Person des Forschungspartners zurückführt oder indem man verdeutlicht, dass das Verhalten oder die Gefühle der Forschungspartner so erwartbar waren (Johnson/Christensen 2008: 116–117).

Besondere Aufmerksamkeit verlangt schließlich die Phase des Projekts, wenn der Forscher das Feld wieder verlässt und damit die Beziehung beendet. Dieser FeldrückzugFeldrückzug muss bewusst als Beendigung einer Beziehung gestaltet und den Teilnehmenden erklärt werden. Rallis/Rossman (2009: 278) erörtern in diesem Zusammenhang das Bild des Verführens und Sitzenlassens: „The image is that you seduce the participants into disclosing their worldviews, then abandon them when you have gotten what you wanted – data“. Auch gehen viele Forscher davon aus, dass den Beteiligten unbedingt die Ergebnisse der Forschung bekannt zu machen seien. Andere wiederum erkennen darin die Gefahr eines „Verletzungsrisiko[s]“ (Miethe 2010: 933); so reflektiert beispielsweise Viebrock (2007) an einem Beispiel aus der Fremdsprachendidaktik, inwieweit ihr Versuch der kommunikativen Validierung schmerzhaft für die betroffene Forschungspartnerin war.

Da der Forscher mit dem Eintritt in das Feld und mit dem Aufnehmen und Unterhalten der Beziehungen, dies gilt in besonderem Maße bei qualitativen Studien, durch seine Präsenz nolens volens den Forschungsprozess mit prägt und damit das Forschungsvorhaben selbst verändert, wobei Forschungsfragen neu justiert, konkretisiert und oftmals modifiziert werden (Holliday 2007), erwächst eine besondere Verantwortung gegenüber der scientific community, diesen Forschungsprozess, die Rolle des Forscher und die Dynamik der Beziehungen transparent zu machen (Freeman 2009).

4.6.3 Freiwilligkeit der TeilnahmeFreiwilligkeit der Teilnahme

Ein zentrales datenschutzDatenschutzrechtliches und damit gesetzliches Erfordernis empirischer Untersuchungen ist, dass Forschungspartner freiwillig an einer Studie teilnehmen. Forscher müssen deshalb ihre Forschungspartner vor einer Untersuchung über das geplante Vorgehen detailliert informieren und sich deren Teilnahmebereitschaft schriftlich bestätigen lassen. Dies betrifft insbesondere Ziele, Zeitdauer, Procedere, mögliche Nach- und Vorteile für die Forschungspartner, Maßnahmen zur Einhaltung gesetzlicher Datenschutzbestimmungen sowie Ansprechpartner bei rechtlichen und inhaltlichen Fragen (vgl. dazu genauer Mackey/Gass 2005; Johnson/Christensen 2008). Den Forschungspartnern ist ausreichend Gelegenheit zu geben, dazu Fragen zu stellen bzw. zu klären.

Essentiell ist dabei, dass die Forschungspartner keinerlei Nachteile bei Nicht-Teilnahme befürchten und dass sie keinerlei Bedrängnis zur Teilnahme verspüren, wie dies beispielsweise der Fall wäre, wenn Forschungspartner dem Fortschritt der Wissenschaft nicht im Weg stehen wollen und sich deshalb der Autorität des Forschers unterordnen, wenn Vorgesetzte ausdrücklich die Teilnahme ihrer Lehrerschaft wünschen, wenn Lehrpersonen ihre Schülerschaft um EinwilligungEinwilligung bitten oder wenn Eltern bei Nicht-Teilnahme ihrer Kinder Nachteile für diese in der Schule befürchten. Forscher stehen in der Verantwortung, proaktiv Maßnahmen gegen derartigen sanften oder unbeabsichtigten Druck zu ergreifen (beispielsweise mit der Lehrerin abzusprechen, dass sie bei der Datenerhebung nicht anwesend ist).

Die informierte EinwilligungserklärungEinwilligungserklärung sollte grundsätzlich auch auf die Tatsache aufmerksam machen, dass die Teilnahme an der Studie jederzeit (während und auch nach der Datenerhebung) ohne weitere Erklärung zurückgezogen werden kann; zu diesem Zweck sollte der Forscher die entsprechenden Kontaktinformationen bereitstellen. Darüber hinaus müssen die Forschungspartner über die weitere Verwendung der Daten informiert werden. Dazu gehört, dass sie vor ihrer informierten Einwilligungserklärung erfahren, wie lange die Daten verwahrt werden, wer Zugang zu den Daten hat und in welcher Form die Daten in Publikationen oder Vorträgen präsentiert werden.

Darüber hinaus sind ethische Prinzipien auch dann zu bedenken und in den entsprechenden Publikationen zu thematisieren, wenn Zweifel bestehen, inwieweit die Forschungspartner in der Lage sind, die Einwilligungserklärung zu verstehen. Dies ist in der Fremdsprachenforschung in sprachlicher Hinsicht insbesondere im Hinblick auf die Zusammenarbeit mit Migranten von Bedeutung, denen die entsprechenden Einwilligungserklärungen bei entsprechenden Zweifeln in ihrer Erstsprache vorgelegt oder mündlich in der Erstsprache erläutert werden sollten. Doch auch konzeptuelle Verständnisschwierigkeiten schutzbedürftiger Gruppen wie beispielsweise schriftunkundiger Zweitsprachenlerner, Kinder, dementer oder geistig behinderter Personen sind ggf. zu reflektieren und angemessen zu berücksichtigen. Bei Kindern und Jugendlichen unter 18 Jahren sind darüber hinaus ebenfalls die Eltern um ihre Einverständniserklärung zu bitten; bei Untersuchungen in Schulen ist beim entsprechenden Kultusministerium eine Genehmigung zu erwirken, was in der Regel einen längeren zeitlichen Vorlauf von mehreren Monaten erfordert.

Noch virulenter sind solche ethischen Problemlagen häufig bei InternetforschungInternetforschungen, bei denen schwerer zu beurteilen ist, ob die Forschungspartner die Informationen zum Forschungsvorhaben tatsächlich verstanden haben und ob sie in der Lage oder alt genug sind, ihre Einwilligung zu erklären. In solchen Fällen gewinnen nach Eynon/Fry/Schroeder (2008) Bemühungen um eine verständliche Sprache und ggf. auch online-Verständnistests besondere Bedeutung. Erwähnt sei in diesem Zusammenhang auch, dass Beobachtungsstudien in virtuellen Welten wie Second Life oder bei der Teilnahme an Chatgroups mit derselben ethischen Reflexion wie auch in der realen Welt anzugehen sind (ebd.); auch für das Debriefing ist bei Internetforschung besondere Sorge zu tragen (Johnson/Christensen 2008: 126).

4.6.4 VertraulichkeitVertraulichkeit der Daten

Ebenfalls gesetzlich geregelt ist in den meisten (Bundes-)Ländern, welche Anforderungen an die Vertraulichkeit der Daten zu stellen sind. Eine wichtige Unterscheidung ist in diesem Zusammenhang zwischen AnonymisierungAnonymisierung und PseudonymisierungPseudonymisierung zu treffen. Anonymeanonym Daten liegen dann vor, wenn dem Untersuchungsteam die Zuordnung von Daten zu Namen unmöglich ist (bspw. beim Einsatz nummerierter Fragebögen ohne Erhebung von Namen). Pseudonymisierung bedeutet hingegen, dass dem datenerhebenden Forscher die Namen der Forschungspartner bekannt sind, diese aber bei der Aufbereitung der Daten durch PseudonymePseudonym ersetzt werden, sodass weder bei der Bearbeitung der Daten noch bei der Präsentation der Ergebnisse die Identität der Forschungspartner bekannt wird.1

Die Referenzarbeit von Ehrenreich (2004: 457) illustriert den Einbezug der Forschungspartnerinnen in die Pseudonymisierung der Transkripte. Die Autorin gibt den interviewten Fremdsprachenassistentinnen neben der Korrektur inhaltlicher Fehler hinaus auch die Möglichkeit, über die von der Autorin vorgenommene Pseudonymisierung2 hinaus auch bestimmte Wörter zu neutralisieren oder zu streichen. Fürsorglich weist sie im Sinne eines Schutzes der Forschungspartnerinnen auch darauf hin, dass niemand aufgrund der für die Mündlichkeit charakteristischen Satzbrüche und anderer Phänomene der Mündlichkeit an der eigenen Ausdrucksfähigkeit zweifeln solle.

Pseudonymisierung stellt insbesondere bei der Arbeit mit Bild- und Videomaterial eine Herausforderung dar, da arbeitsaufwändige Verpixelungen oder Balken über Gesichtern die Identitäten von Forschungspartnern unter Umständen nicht hinreichend verdecken, möglicherweise aber sogar die Datenauswertung behindern. So ist es bei EinwilligungserklärungenEinwilligungserklärung hinsichtlich videographischer Fremdsprachenforschung insbesondere von Interesse, den Forschungspartnern alternative Präsentationsweisen der audiovisuellen Daten (von der Begrenzung auf pseudonymisiertePseudonymisierung Transkripte bis hin zu Filmvorführungen bei Vorträgen auf wissenschaftlichen Konferenzen und in der Lehreraus- und -weiterbildung) anzubieten und ihr schriftliches Einverständnis einzuholen.

Ethisch zu reflektieren ist auch der Wunsch einiger Forschungspartner, ihre Identität zu benennen, um auf diese Weise ihren Forschungsbeitrag zu würdigen. Wie Miethe (2010: 931–932) ausführt, ist bei De-Anonymisierungde-anonymisiert jedoch insbesondere zu bedenken, inwieweit die Betroffenen, vor allem Kinder, die Reichweite einer solchen Entscheidung absehen können und inwieweit damit auch andere Personen wie Familienmitglieder oder Kollegen de-anonymisiertde-anonymisiert werden.

Ebenfalls reflexionsbedürftig erscheint bei InternetforschungInternetforschung beispielsweise das Zitieren von Postings in Diskussionsforen, da diese im Internet unmittelbar aufgefunden werden können und möglicherweise die Identität der Beforschten preisgeben; auch die sichere Datenübertragung bei Befragungen bzw. der mögliche Zugriff Dritter auf die Daten muss Internetforscher in besonderer Weise beschäftigen (vgl. Eynon/Fry/Schroeder 2008). Da bei Internetforschung keine klaren nationalen Grenzen gegeben sind und somit rechtliche Grauzonen entstehen, erscheint in diesen Fällen die ethische Reflexion durch das Forscherteam in besonderer Weise geboten (s. ebd.).

4.6.5 Wissenschaftliches FehlverhaltenFehlverhalten

Neben dem Betrug wie beispielsweise dem Fälschen von Daten oder dem Manipulieren von Ergebnissen sind als wissenschaftliches Fehlverhalten auch solche Fälle zu bezeichnen, in denen der Umgang mit gefälschten Daten von Kollegen bewusst übersehen wird, bestimmte (widersprüchliche) Daten gezielt zurückgehalten werden oder das Forschungsdesign auf Druck des Geldgebers verändert wird (Johnson/Christensen 2008: 104; s. Kapitel 2).

Bei Publikationsaktivitäten ist im Hinblick auf wissenschaftliches Fehlverhalten zum einen die Frage der Autorenschaft von besonderer Relevanz. Autorenschaft gebührt denjenigen, die entscheidend zur Entwicklung und Durchführung des Forschungsprojekts beigetragen haben; besondere Sensibilität ist diesbezüglich bei einem hierarchischen Gefälle der Beteiligten bzw. bei Kooperationen von etablierten Forschern mit Nachwuchswissenschaftlern angebracht. Zum anderen steht der PlagiarismusPlagiarismus immer wieder im Mittelpunkt der universitären und der öffentlichen Diskussion, da der Diebstahl geistigen Eigentumsgeistiges Eigentum einen grundlegenden Verstoß gegen die ethischen Prinzipien des wissenschaftlichen Arbeitens sowie auch gegen das Urheberrecht und damit ein strafbares Vergehen darstellt, das rechtliche Konsequenzen nach sich zieht (Ackermann 2003; Aeppli/Gasser/Gutzwiller/Tettenborn 2010: 57).

4.6.6 Fazit

Die hier erörterten Handlungsmaximen sind nicht als abzuarbeitender Regelkatalog misszuverstehen. Vielmehr sollen sie die Sensibilität für die Implikationen forschenden Handelns fördern. Forschende sind gehalten, sich immer wieder neu der Konsequenzen ihres Handelns bewusst zu werden. Abweichungen von Prinzipien sind im Kontext konkreter Forschungsprojekte nicht zu vermeiden; solche Abweichungen bedürfen jedoch der genauen Begründung und der kritischen Abwägung, die auch den Rat von Experten mit einbezieht (vgl. Denscombe 2010: 77). Macfarlane (2009) entwickelt seine Forschungsethik auf der Grundlage von sechs Tugenden. Zu diesen gehört neben Mut, Respekt, Entschlossenheit, Ernsthaftigkeit und Bescheidenheit die Schlüsseltugend der Reflexivität, die Fähigkeit Abstand zu nehmen, zu fragen, ob ich als Forscherin, als Forscher meinen Verantwortlichkeiten gerecht werde und wie ich mein Handeln begründe. Es ist genau jene Tugend, der wir mit diesem Kapitel das Wort reden.

› Literatur

Ackermann, Kathrin (2003). Plagiat. In: Ueding, Gert (Hg.). Historisches Wörterbuch der Rhetorik. 6. Auflage. Darmstadt: Wissenschaftliche Buchgesellschaft, 1223–1230.

Aeppli, Jürg/Gasser, Luciano/Gutzwiller, Eveline/Tettenborn, Annette (2010). Empirisches wissenschaftliches Arbeiten. Ein Studienbuch für die Bildungswissenschaften. Bad Heilbrunn: Klinkhardt.

Bach, Gerhard/Viebrock, Britta (2012). Was ist erlaubt? Forschungsethik in der Fremdsprachenforschung. In: Doff, Sabine (Hg.). Fremdsprachenunterricht empirisch erforschen: Grundlagen, Methoden, Anwendung. Tübingen: Narr, 19–35.

Denscombe, Martyn (2010). Ground Rules for Social Research. Guidelines for Good Practice. 2. Auflage. Maidenhead: Open University Press.

Ehrenreich, Susanne (2004). Auslandsaufenthalt und Fremdsprachenlehrerbildung. München: Langenscheidt. [Referenzarbeit, s. Kapitel 7].

Eynon, Rebecca/Fry, Jenny/Schroeder, Ralph (2008). The ethics of internet research. In: Fielding, Nigel/Lee, Raymond M./Blank, Grant (Hg.). The Sage Handbook of Online Research Methods. Los Angeles, CA: Sage, 23–41.

Freeman, Donald (2009). What makes research qualitative? In: Heigham, Juanita/Crocker, Robert (Hg.). Qualitative Research in Applied Linguistics. A Practical Introduction. Houndmills: Palgrave Macmillan, 25–41.

Holliday, Adrian (2007). Doing and Writing Qualitative Research. 2. Auflage [Kap. 7: Writing about Relations]. Los Angeles, CA: Sage, 137–163.

Johnson, R. Burke/Christensen, Larry B. (2008). Educational Research. Quantitative, Qualitative, and Mixed Approaches. 3. Auflage. Los Angeles, CA: Sage.

Kitchener, Karen/Kitchener, Richard (2009). Social science research ethics: Historical and philosophical issues. In: Mertens, Donna/Ginsberg, Pauline (Hg.). The Handbook of Social Research Ethics. Los Angeles, CA: Sage, 5–22.

Küster, Lutz (2011). Entscheidungs(spiel)räume in der Fremdsprachenforschung. In: Bausch, Karl-Richard/Burwitz-Melzer, Eva/Königs, Frank/Krumm, Hans-Jürgen (Hg.). Erforschung des Lehrens und Lernens fremder Sprachen: Forschungsethik, Forschungsmethodik und Politik. Tübingen: Narr, 135–145.

Macfarlane, Bruce (2009). Researching with Integrity. The Ethics of Academic Inquiry. London: Routledge.

Mackey, Alison/Gass, Susan M. (2005). Second Language Research. Methodology and Design. Mahwah, NJ: Routledge, 25–42.

Miethe, Ingrid (2010). Forschungsethik. In: Friebertshäuser, Barbara/Langer, Antje/Prengel, Annedore (Hg.). Handbuch Qualitative Forschungsmethoden in der Erziehungswissenschaft. Weinheim: Juventa, 927–937.

Rallis, Sharon F./Rossman, Gretchen B. (2009). Ethics and trustworthiness. In: Heigham, Juanita/Croker, Robert A. (Hg.). Qualitative Research in Applied Linguistics. A Practical Introduction. New York: Palgrave Macmillan, 263–287.

Schart, Michael (2003). Projektunterricht – subjektiv betrachtet. Eine qualitative Studie mit Lehrenden für Deutsch als Fremdsprache. Hohengehren: Schneider. [Referenzarbeit, s. Kapitel 7].

Viebrock, Britta (2007). Kommunikative und argumentative Validierung: Zwischen Gütekriterien, Subjektivität und forschungsethischen Fragestellungen. In: Vollmer, Helmut Johannes (Hg.). Empirische Zugänge in der Fremdsprachenforschung. Herausforderungen und Perspektiven. Frankfurt/Main: Lang, 73–87.

Viebrock, Britta (2015). Forschungsethik in der Fremdsprachenforschung. Eine systematische Betrachtung. Frankfurt/Main: Lang.

» Zur Vertiefung empfohlen

Cohen, Louis/Manion, Lawrence/Morrison, Keith (2011). Research Methods in Education [Chapter 5. The ethics of educational and social research]. Hoboken: Taylor and Francis, 75–104.

Das Kapitel „The ethics of educational and social reseach“ gibt einen sehr umfassenden Überblick sowohl zu grundsätzlichen Fragen der Forschungsethik (zusammengefasst in einem Modell forschungsehtischer Parameter auf S. 77) als auch zu praktischen Erfordernissen wie Zugang zum Feld und Forschungsverträge. Ethische Kodizes einschlägiger Fachgesellschaften aus dem anglo-amerikanischen Raum werden eingeführt und kommentiert.

Holliday, Adrian (2007). Doing and Writing Qualitative Research. 2. Auflage [Kap. 7: Writing about Relations]. Los Angeles, CA: Sage, 137–163.

Auf der Grundlage extensiver Beispiele aus der fremdsprachendidaktischen Forschungspraxis werden in diesem Handbuchkapitel Problemfälle beim Feldzugang und insbesondere bei der Gestaltung der Beziehung mit den Forschungspartnern thematisiert. Angesichts der Tatsache, dass das Untersuchungsfeld eine andere Kultur als die der Forscherin aufweist, plädiert Holliday für konsequentes kulturelles Lernen und eine culture of dealing, bei der sich die Forscherin der zu untersuchenden Welt unterordnet.

Miethe, Ingrid (2010). Forschungsethik. In: Friebertshäuser, Barbara/Langer, Antje/Prengel, Annedore (Hg.). Handbuch Qualitative Forschungsmethoden in der Erziehungswissenschaft. Weinheim: Juventa, 927–937.

In diesem erziehungswissenschaftlichen Handbuchartikel behandelt die Autorin die Themen (a) informierte Einwilligung als Basis der Forschungsbeziehung, (b) Anonymisierung und (c) Publikation bzw. die Frage der Rückmeldung von Ergebnissen. Dabei arbeitet sie besonders deutlich die jeweils kontroversen Aspekte dieser drei Themen heraus.

Rallis, Sharon F./Rossman, Gretchen B. (2009). Ethics and trustworthiness. In: Heigham, Juanita/Croker, Robert A. (Hg.). Qualitative Research in Applied Linguistics. A Practical Introduction. New York: Palgrave Macmillan, 263–287.

Dieser von Erziehungswissenschaftlerinnen publizierte Artikel ist spezifisch für eine fremdsprachendidaktische Leserschaft verfasst worden und behandelt Ethik – neben kompetenter Praxis – als einen Aspekt der Vertrauenswürdigkeit von Forschung. Glaubwürdigkeit, Genauigkeit und Nutzen fremdsprachendidaktischer Forschung werden deshalb ebenso thematisiert wie ethiktheoretische Ansätze und ethische Aspekte wie Wahrung der Privatsphäre, Geheimhaltung und Vertraulichkeit sowie auch Täuschung und Einwilligung, Vertrauen und Betrug.

Viebrock, Britta (2015) Forschungsethik in der Fremdsprachenforschung. Eine systematische Betrachtung. Frankfurt/Main: Lang.

Diese erste umfassende Darstellung der Forschungsethik für den Gegenstandsbereich Fremdsprachenforschung bietet differenzierte Vertiefungen zu grundsätzlichen Fragestellungen (z.B. zur Integrität des Forschers, der Forscherin), zu theoretischen Konzepten und Hintergründen (z.B. Ethik-Theorien) und praxisnahen Problemstellungen, die in dem vorliegenden Kapitel angesprochen werden.

5. Forschungsverfahren
5.1 Grundsatzüberlegungen

Friederike Klippel

Im zentralen fünften Kapitel dieses Handbuches geht es um das methodische Kernelement von Forschung: zum ersten um die wesentlichen Verfahren und Werkzeuge für die Datengewinnung und -erhebung sowie die Zusammenstellung von Dokumenten (Kapitel 5.2.1 bis 5.2.8), zum zweiten um Verfahren und Instrumente für die Aufbereitung und Analyse von Daten und Dokumenten (5.3.1 bis 5.3.11). Dieses Kapitel ist denn auch bei weitem das umfangreichste des Handbuchs. Die einzelnen Teilkapitel wurden von ausgewiesenen Expert_innen für das jeweilige Verfahren verfasst; wie in Kapitel 4 illustrieren auch hier klare Grafiken die zentralen Vorgehensweisen und Elemente der unterschiedlichen Forschungsmethoden. Während Kapitel 4 die grundsätzlichen Forschungsentscheidungen im Hinblick auf das zu wählende Design, auf Fragen des Sampling oder der Forschungsethik behandelt, also Aspekte der Forschungsmethodologie, geht es hier vor allem um einzelne Forschungsmethoden. Wir verstehen den Begriff ForschungsmethodeForschungsmethode bzw. ForschungsverfahrenForschungsverfahren relativ breit; Methoden oder Verfahren der Forschung bedienen sich unterschiedlicher Instrumente oder Werkzeuge. So arbeitet die Methode der Befragung etwa mit dem Instrument Fragebogen, zu dessen quantitativer Auswertung das Werkzeug SPSS in Anwendung kommen kann. Auch das Interview ist ein Verfahren der Befragung; bei seiner Durchführung kann als Instrument der Interviewleitfaden eingesetzt werden. Bei der Inhaltsanalyse etwa ist ein Instrument das Kodierschema; dazu hilft als Werkzeug eine Software wie z.B. MAXQDA. Allerdings lassen sich Werkzeuge und Instrumente nicht für jedes Forschungsverfahren sauber voneinander trennen. Zugleich sind einige Werkzeuge bei der Anwendung unterschiedlicher Verfahren einsetzbar.

Wenn im Folgenden die Verfahren für historische, theoretische und empirische Forschung in dieser Reihenfolge im Einzelnen vorgestellt werden, dann bedeutet diese Reihung keinerlei Wertung. Desgleichen ist mit der vergleichsweise breiten Darstellung von Verfahren für die empirische Forschung nicht ausgesagt, dass diese Art von Forschung grundsätzlich bedeutsamer sei als andere Forschungsansätze. Es ist jedoch unübersehbar, dass sich die aktuelle Diskussion zu und Beschreibung von Forschungsmethoden fast ausschließlich auf empirische Forschung bezieht, während historische und theoretisch-konzeptuelle Forschung in den gängigen Handbüchern nur selten überhaupt beachtet werden. Insofern betritt dieses Kapitel Neuland, indem es auch diese Herangehensweisen unter forschungsmethodischer Perspektive thematisiert.

Die 19 Teilkapitel bieten eine breite Palette an geeigneten Forschungsmethoden für die Fremdsprachendidaktik, wobei wir selbstverständlich keinen Anspruch auf Vollständigkeit erheben. Da sehr viele Autor_innen an Kapitel 5 mitgewirkt haben, ergibt sich an dieser Stelle des Handbuchs eine gewisse Vielfalt der Stile und Sichtweisen. Zudem wird deutlich, dass sich einzelne Instrumente und Werkzeuge nicht nur einem, sondern mehreren Verfahren zuordnen lassen, da gewisse Affinitäten zwischen unterschiedlichen Verfahren bestehen. In einem Handbuch, das Hilfen für die eigene Forschungsarbeit oder zur Betreuung von Qualifikationsarbeiten bereitstellen möchte, sollte es vor allem um eine klare und konkrete Darstellung der einzelnen Verfahren und Instrumente gehen. Diesem Ziel dienen die Übersichts-Grafiken, die fast allen Kapiteln zugeordnet sind. Weniger wichtig erschien es daher aus Sicht der Herausgeber_innen, historische Entwicklungen von einzelnen Methoden, bestimmte Schulenbildungen oder Kontroversen zu einzelnen Forschungsmethoden detailliert zu referieren.

Dieses Kapitel, in dem sehr viele ForschungsmethodenForschungsmethode vorgestellt werden, mag vielleicht den Charakter eines Menüs suggerieren, aus dem man nach Geschmack beliebig auswählen kann. Sich über unterschiedliche Zugangsweisen in der Forschung zu informieren, hat jedoch immer das Ziel, die für das jeweilige Forchungsvorhaben am besten geeignete Methode zu finden. Die Passung von Forschungsfrage und Forschungsmethode spielt in jeder Forschungsarbeit eine zentrale Rolle. Nicht jedes Verfahren eignet sich zur Bearbeitung jeder Forschungsfrage; vielmehr muss auf der Basis des treibenden ErkenntnisinteresseErkenntnisinteresses überlegt werden, wie man am besten zu Ergebnissen gelangt. Die eingesetzten Forschungsmethoden und ihre Instrumente sind zudem nicht wertneutral, sondern tragen eine bestimmte PerspektivePerspektive, ein bestimmtes Menschenbild in sich. Daher gibt es durchaus gewisse Affinitäten zwischen dem Wissenschafts- und Forschungsverständnis individueller Forscher_innen und deren bevorzugter Wahl von bestimmten Forschungsmethoden.

Neben die individuellen Präferenzen treten zeitbedingte Strömungen. Jede Epoche besitzt häufiger und weniger beachtete Ausprägungen von Forschung, und zwar sowohl im Hinblick auf die beforschten Bereiche und Themen als auch auf die forschungsmethodischen Ansätze. Schließlich durchläuft auch die Forschungsmethodologie generell durch die fortwährende Forschertätigkeit eine Entwicklung, die zur Verfeinerung, Ausweitung, Schärfung, Neuentwicklung oder auch zum Aufgeben bestimmter Verfahren führen kann. Noviz_innen in der Forschung sollten daher bestehende Methoden oder Designs nicht einfach unreflektiert übernehmen, sondern – abhängig von der Forschungsfrage – durch ihre Ideen und Experimentierfreude dazu beitragen, auch die Forschungsverfahren weiter zu entwickeln. Anregungen dazu können aus der Kombination unterschiedlicher Methodologien, der Modifikation bekannter Verfahren oder aus benachbarten Disziplinen kommen. Allerdings muss dabei beachtet werden, dass sich nicht alles mit allem sinnvoll kombinieren lässt, da den einzelnen Ansätzen unterschiedliche Auffassungen von Forschung zugrundeliegen können (s. Kapitel 2). Dass solche forschungsmethodischen Innovationen in Qualifikationsarbeiten zudem nur in Absprache mit den betreuenden Wissenschaftler_innen vorgenommen werden sollten, ist selbstverständlich.

Betrachtet man die in diesem Kapitel vorgestellten Verfahren mit dem Ziel, unterschiedliche Arten des Forschens zu unterscheiden, dann ließe sich eine grobe Differenzierung in eher zyklischezyklische Vorgehensweisen und eher lineare Vorgehensweisenlineare Vorgehensweisen treffen. Hermeneutische, inhaltsanalytische und hypothesen-generierende Ansätze beruhen ebenso wie die historische Forschung auf einer wiederholten Befassung mit den zu analysierenden Texten, Dokumenten und Daten. Demgegenüber ist die hypothesenprüfende Vorgehensweise stärker linear und umfasst eine Reihe von klar definierten, aufeinanderfolgenden Schritten. Eine Rückbindung an die theoretische Grundlegung, die man als zyklisches Element ansehen könnte, erfolgt in diesen Verfahren vor allem im Zuge der Interpretation und Diskussion der Ergebnisse.

Angesichts der Fülle der möglichen forschungsmethodischen Zugriffe ist es für Forschungsnoviz_innen oft schwer, sich für ein bestimmtes Verfahren zu entscheiden. Die Wahl der Forschungsmethode ist eine zentrale Weichenstellung für die gesamte Arbeit und bedarf gründlicher Überlegungen. Dieses Kapitel soll dabei helfen, die gesamte Breite der forschungsmethodischen Optionen und deren besondere Stärken bewusst werden zu lassen. Als Illustration für ein spezifisches Vorgehen dienen jeweils Referenzarbeiten, die als Beispiele ausgewählt wurden, weil in ihnen die forschungsmethodische Umsetzung besonders gelungen ist. Insofern liefert dieses Großkapitel auch die Möglichkeit, an guten Beispielen zu lernen.

5.2 Gewinnung von Dokumenten, Texten und Daten

Karen Schramm

Dieser Abschnitt thematisiert Verfahren der DokumentenDokumente-, TextTexte- und Datengewinnung. Diese stellen einen zentralen Arbeitsschritt im Forschungsprozess dar, der zwar prinzipiell nach der forschungsfragebasierten Design-Erstellung (s. Kapitel 3 und 4) und vor der Datenaufbereitung und -analyse (s. Kapitel 5.3) zu verorten ist. Dennoch ist zu betonen, dass sich diese Arbeitsschritte – insbesondere bei explorativ-interpretativen Forschungsarbeiten – nicht einfach in linearer Abfolge sukzessiv abarbeiten lassen, sondern dass aufgrund der komplexen Zusammenhänge spiralförmig voranschreitende Vorgehensweisen bzw. dabei vorzunehmende kontinuierliche Verfeinerungen notwendig sind.

Gelingt es, das Forschungsdesign und die entsprechende Größe des Dokumenten-, Text- oder Datenkorpus hinreichend zu präzisieren, so lässt sich bei der Gewinnung dieses Korpus eine überdimensionierte Ansammlung vermeiden. Die Forschungspraxis zeigt jedoch, dass die gezielte Eingrenzung allzu häufig Schwierigkeiten bereitet. Im Bereich der empirischen Forschung wird darauf scherzhaft mit der Metapher von DatenfriedhöfenDatenfriedhöfe Bezug genommen; damit ist die Ansammlung von Daten gemeint, die aufgrund der für die Auswertung zur Verfügung stehenden zeitlichen Ressourcen nicht analysiert werden können. Diesen unglückseligen Fall schon im Vorfeld zu vermeiden, erscheint mit Rücksicht auf die Anstrengungen, die eine Datenerhebung den Forschungspartner_innen abverlangt, genauso wichtig wie im Hinblick auf die begrenzten Ressourcen der erhebenden Forschenden selbst.

Grundlegend unterscheiden wir in diesem Handbuch zwischen dem Erfassenerfassen und dem Erhebenerheben und nutzen den Begriff der Gewinnung von Dokumenten, Texten und TextDatenDatenDokumente (s. zu dieser Unterscheidung Kapitel 4.1) als Oberbegriff für beide Verfahren. Das Konzept des Erfassens bezieht sich dabei auf Dokumente, Texte und Daten, die unabhängig von der jeweiligen Forschungsarbeit vorzufinden sind. Wie Abbildung 1 verdeutlicht, kann dieses Erfassen sich erstens konkret auf den Unterricht beziehen (beispielsweise auf das Einsammeln von lehrer- und lernerseitigen Arbeitsprodukten wie Unterrichtsplanungen oder Aufsätze). Es wurde in der forschungsmethodischen Diskussion bislang kaum thematisiert; das in dieser Hinsicht innovative Kapitel 5.2.7 ist solchen Verfahren gewidmet. Zweitens ist für die Fremdsprachendidaktik auch die Erfassung von Dokumenten und Texten von Interesse, die über konkrete Unterrichtssituationen hinausreichen und die entweder auf eine Dokumentensammlung für historische Forschungsarbeiten (s. Kapitel 5.2.1) oder eine Textsammlung für theoretische Studien (s. Kapitel 5.2.2) hinauslaufen.

Im Gegensatz zum Erfassen ist für das Erheben die Tatsache charakteristisch, dass die gewonnenen Daten ohne die Forschungsarbeit nicht existierten. Abbildung 1 zeigt die vielen Verfahren zur Datenerhebung, die in der Fremdsprachendidaktik Beachtung finden: Hier ist zunächst einmal die häufig getroffene Unterscheidung von Beobachten und Befragen relevant. Die vielfältigen Formen des Beobachtens (unter anderem die ethnographisch motivierte teilnehmende Beobachtung mit Feldnotizen, die gesteuerte Beobachtung anhand von Beobachtungsbögen oder die videographische Beobachtung) werden in Kapitel 5.2.3 thematisiert. Befragungen in Form von Fragebögen und Interviews stellt Kapitel 5.2.4 vor. Die in Kapitel 5.2.5 aufgefächerten Verfahren der Introspektion sind in Abbildung 1 zwischen dem Beobachten und Befragen abgebildet, da Verfahren des Lauten Denkens und des Lauten Erinnerns einerseits ähnlich wie Befragungen auf Impulsen der Forschenden beruhen, aber andererseits ähnlich wie Beobachtungen nicht-kommunikativ bzw. auch in Abwesenheit der Forschenden ablaufen können. Auch der Themenbereich des Testens ließe sich begrifflich der Befragung zuordnen; aufgrund der Bedeutung dieses Bereichs wurde er in Abbildung 1 jedoch ausgegliedert und wird in einem eigenen Kapitel (5.2.8) ausführlich behandelt. Im Fall des Kapitels zur Lernersprache und Korpuserstellung (5.2.6) hat es sich als gewinnbringend erwiesen, das Erfassen und Erheben gemeinsam zu thematisieren, sodass dieses Kapitel in Abbildung 1 entsprechend platziert ist.

Abbildung 1:

Übersicht über Verfahren zur Gewinnung von Dokumenten, Texten und Daten

Als wesentlich für die Charakterisierung von empirischen Unterrichtsdaten wird seit spätestens den 1980er Jahren die Unterscheidung von Produkt- und ProzessdatenProdukt- und Prozessdaten betrachtet. In Abbildung 1 weist die hell- und dunkelgraue Markierung auf diese (nicht immer trennscharfe) Dichotomie hin, die zwischen den punktuellen Ergebnissen des Lernens, dem Produkt, und dem zeitlich ausgedehnten Vorgang des Lernens, dem Prozess, unterscheidet: Als eher produktorientiert sind die unterrichtsbezogene Erfassung von Daten, das Erfassen und Erheben von Lernersprache und das Testen zu charakterisieren, während das Beobachten, das Befragen und die Introspektion sich besonders für die Erforschung von (meta-)kognitiven, affektiven und sozialen Prozessen eignen.

Steht bei einer Untersuchung die sprachliche oder kulturelle Entwicklung von Lernenden über einen längeren Zeitraum im Vordergrund, erweist sich auch die begriffliche Unterscheidung von Längs- und QuerschnittdatenLängs- und Querschnittdaten als zentral. Dabei zeichnen Längsschnittdaten die tatsächliche Entwicklung von Personen über einen längeren Untersuchungszeitraum nach, während Querschnittdaten Personengruppen in unterschiedlichen Entwicklungsstadien (z.B. Klassenstufen oder Sprachniveaus) untersuchen, um auf der Grundlage einer Datenerhebung zu einem einzigen Zeitpunkt Aussagen über angenommene Entwicklungsprozesse zu treffen.

5.2.1 DokumentensammlungDokumentensammlung

Elisabeth Kolb/Friederike Klippel

Wenn das Erkenntnisinteresse einer Forschungsarbeit darin liegt, gegenwärtige Prozesse und Zustände oder vergangene Epochen und Ereignisse zu beschreiben, zu interpretieren und zu bewerten, so ist es nötig, sich auf DokumenteDokumente zu stützen, die diese Gegebenheiten repräsentieren. Um tatsächlich gültige Aussagen treffen zu können, muss diese Analyse auf einer möglichst breiten, objektiven, systematischen, repräsentativen und validen Basis an Belegen beruhen. Daher sind wichtige Forschungsstrategien die Suche, Sammlung, Auswahl und Anordnung von DokumenteSammlung vonAuswahl von DokumentenDokumenteAuswahl vonDokumenteAnordnung vonDokumentenDokumenteSuche von. Dabei ist der Begriff ‚Dokument‘ ganz allgemein zu verstehen als „a record of an event or process“ (McCulloch 2011: 249) und kann je nach Forschungsinteresse unterschiedliche Realisierungen aufweisen. Dokumente können von Daten derart unterschieden werden, dass erstere jegliche Art von schriftlichen oder gegenständlichen Belegen umfassen, die nicht speziell für das Forschungsprojekt generiert wurden, wohingegen Daten erst durch die eingesetzten Erhebungsverfahren geschaffen werden. Während mit HeuristikHeuristik der erste Schritt des Auffindens von Dokumenten beschrieben ist, verlangt die anschließende KorpuserstellungKorpuserstellung begründete Entscheidungen dazu, welche der gefundenen Dokumente ausgewählt und analysiert werden sollen. Im Folgenden werden 1. für fremdsprachdidaktische Forschung relevante DokumenttypenDokumenttypen vorgestellt, 2. die Schritte bei Heuristik und Korpuserstellung erläutert und 3. konkrete Verfahrensweisen, Schwierigkeiten bei der Sammlung verschiedener Dokumente und der Umgang damit dargestellt.

1 Welche Dokumente kommen in Frage?
Terminologie

Grundsätzlich werden in Abgrenzung zu 5.3.1 unter Dokumenten Texte, Materialien und Medien verstanden, die nicht im Kontext aktueller wissenschaftlicher Arbeit als wissenschaftliche Sekundär-Literaturwissenschaftliche(Sekundär-)Literaturwissenschaftliche (Sekundär-)Literatur entstanden sind, sondern ursprünglich einem anderen Zweck dienen.1 Während die Bezeichnung Dokument vor allem in der sozialwissenschaftlichen Forschung Verwendung findet, wird in der Geschichtswissenschaft eher von QuellenQuellen gesprochen; diese Begrifflichkeit differenziert nach gegenwärtiger bzw. vergangener Entstehungszeit (Glaser 2010: 366–367). Allerdings ist insbesondere für historische Forschungsarbeiten diese Kategorisierung nicht eindeutig: So können beispielsweise Zeitschriftenaufsätze oder Rezensionen in ihrer Entstehungszeit Dokumente gewesen sein, während sie jetzt als Quellen zur Rekonstruktion vergangener Geschehnisse oder Zeitabschnitte herangezogen werden.

Weiterhin können Primär- und SekundärdokumentePrimär- und Sekundärdokumente unterschieden werden: Während erstere von Zeitzeugen oder direkt Beteiligten produziert werden, verwenden letztere Primärdokumente, um ein Ereignis oder eine Epoche zu rekonstruieren und zu beschreiben. Auch hier gibt es fließende Übergänge zwischen diesen beiden Polen: Ein Zeitgenosse kann mit zeitlichem Abstand, z.B. in seiner Autobiographie, Gegebenheiten darstellen; ein derartiger Rückblick kann deutlich anders aussehen als ein zeitgenössischer Bericht (McCulloch 2011: 249).

Relevante Arten von Dokumenten

Für die fremdsprachendidaktische Forschung äußerst relevant ist die Einteilung nach den Urhebern der Dokumente sowie nach dem Vertriebsweg bzw. der Zugänglichkeit der Dokumente (vgl. Scott 1990: 14–18). Ausgehend von der Zugehörigkeit zu verschiedenen Kommunikationsbereichen können hauptsächlich offizielle, halboffizielle, öffentliche und private Dokumente unterschieden werden.

 Offizielle DokumenteDokumenteoffizielle werden von staatlichen Institutionen veröffentlicht und in erster Linie auch rezipiert. Dazu gehören z.B. Gesetze, Lehrpläne, Stundentafeln, Verordnungen und Verträge. Sie zeigen, wie der Staat als Akteur Organisation und Ablauf von (Fremdsprachen-)Unterricht konzeptionell vorgibt. Diese Dokumente erlauben nur in begrenztem Maß Rückschlüsse auf die Unterrichtswirklichkeit und sind vielmehr als Absichtserklärungen auf der Makroebene der Schul- und Unterrichtsorganisation zu sehen (Fend 2006: 167; Kolb 2013: 38–40).

 Halboffizielle DokumenteDokumentehalboffizielle entstehen in der Kommunikation zwischen Institutionen und Privatpersonen. Wenn auch die Zuordnung nicht immer eindeutig ist, so können dazu Schulprogrammschriften, Stoffverteilungspläne, schulinterne Curricula, Unterrichtsentwürfe, Jahresberichte, Klassenbücher, Schülerzeitungen, Zeugnisse, Tests usw. gezählt werden (s. Kapitel 5.2.7). Während einige dieser Dokumenttypen eher innerhalb der Institution Schule rezipiert werden, haben andere auch außerhalb ein Publikum, z.B. Eltern. Sie spiegeln amtliche Positionen wider, sind aber gleichzeitig als Dokumente der Mesoebene der schulischen Institutionen oder als Dokumente der Mikroebene des Unterrichts auch näher an der Unterrichtsrealität (Fend 2006: 167).

 Zu den privaten DokumentenDokumenteprivate, die von unterschiedlichen Beteiligten stammen können, zählen beispielsweise Tagebücher von Lernenden und Lehrenden, Interviews, Briefe oder (Auto-)Biographien von Bildungspolitikern, Fremdsprachendidaktikern oder Sprachenlernenden. Am Übergang zwischen halboffiziellen und privaten Dokumenten befinden sich Lernertexte (z.B. ausgefüllte Arbeitsblätter, Klassenarbeiten, Aufsätze oder Portfolios) (s. Kapitel 5.2.7). Diese und viele weitere Dokumente geben kleine, subjektiv gefärbte Ausschnitte aus verschiedenen Bereichen wieder und müssen daher, was Zuverlässigkeit und Korrektheit betrifft, vorsichtig rezipiert und interpretiert werden (s. Kapitel. 5.3.1).

 Als öffentlichöffentlich können DokumenteDokumenteöffentliche bezeichnet werden, wenn sie in irgendeiner Form veröffentlicht sind, so dass sie bei Interesse relativ leicht zugänglich sind. Dazu sind verschiedene Dokumente und Quellen zu zählen wie Rezensionen, Zeitschriften- und Zeitungsartikel, Konferenzberichte, Statistiken, kommerzielle Selbstlernmaterialien, Lehrwerke und zugehörige Medien, Plakate, Anzeigen, Graffiti oder auch literarische Texte.

Was die ZugänglichkeitZugänglichkeit betrifft, so können schriftliche Dokumente beispielsweise frei im Buchhandel erhältlich sein oder in Bibliotheken bereitgestellt werden, sie können in Archiven vorhanden sein, oder sie können nur intern einem begrenzten Adressatenkreis (z.B. als Arbeitspapier oder als private Nachricht) verfügbar sein (vgl. Scott 1990: 14–18). Schriftliche Dokumente aus allen o.g. Kategorien, die nicht öffentlich zugänglich sind, sondern innerhalb eines bestimmten Rezipientenkreises zirkulieren, werden als graue Literaturgraue Literatur bezeichnet (Bortz/Döring 2006: 360). Da sie meist schwierig aufzufinden sind, werden sie oft vernachlässigt; sie bieten jedoch viele Gelegenheiten, neue Erkenntnisse zu bestimmten Diskursen zu gewinnen, etablierte Sichtweisen zu ergänzen und möglicherweise gar zu revidieren. Im Internet werden solche Texte zwar gelegentlich auf privaten Webseiten oder in Foren veröffentlicht; dadurch sind sie aber nicht automatisch leichter zu finden.

Ein weiterer wichtiger Anhaltspunkt, um zu analysierende Dokumente auszuwählen, ist das Medium. Neben gedruckten Texten sollten auch andere mediale Realisierungsformen beachtet werden. Lohnend kann beispielsweise die Analyse von (audio-)visuellen Dokumenten wie Bildern, Fotografien, Cartoons, (Spiel-)Filmen, CDs oder Overheadfolien sein, wobei diese visuellen bzw. audiovisuellen Dokumente sowohl die Perspektive der Lehr- und UnterrichtsmaterialienLehr- und Unterrichtsmaterialien als auch die der LernerprodukteLernerprodukte verkörpern können. Für fachhistorische Untersuchungen sind etwa Lehrbuchillustrationen, frühe Formen von Unterrichtsmedien oder verwendete Realien des Ziellandes aufschlussreich. Auch an multimediale und elektronische Quellen und Software (Blogs, Webseiten, Chat-Daten, Emails, Lernmaterialien auf CD-Rom etc.) ist zu denken. Für einige methodische Ansätze sind bestimmte reale Gegenstände konstitutiv, etwa die cuisenaire rods und fidel charts für den Silent Way. Selbstverständlich können Realien und ObjekteRealien und Objekte wie Gebäude, Klassenzimmerausstattungen, Sprachlabore, technische Hilfsmittel (Hardware), Wandtafeln usw. in eine Untersuchung einbezogen werden; diese Arten von Dokumenten werden auch RelikteRelikte genannt (Johnson/Christensen 2012: 416).

Natürlich ist es durchaus möglich, verschiedene Dokumententypen für eine einzelne Studie zu sammeln und auszuwerten. Dabei werden zuweilen halboffizielle oder private Dokumente, die im Unterrichtsbetrieb ohnehin anfallen (etwa Lernertexte) kombiniert mit gezielt erhobenen Daten für den Forschungszweck. So werden beispielsweise in der Referenzarbeit von Schmidt (2007, s. Kapitel 7) Anfangs- und Abschlussfragebögen, Video- und Audioaufnahmen aus dem Unterricht, Feldnotizen, Lernertexte, Interviews und Lerntagebücher verwendet (Schmidt 2007: 186–203). Ähnlich sieht es bei Bellingrodt (2011) aus, die Fragebögen, Interviews und verschiedene Dokumente aus den Portfolios der Lernenden einbezieht. Wenn unterschiedliche Dokumentarten für eine gemeinsame Fragestellung herangezogen werden, muss im Rahmen der Triangulation eine Verknüpfung der verschiedenen Perspektiven erfolgen (siehe dazu Kapitel 4.4).

2 Wie laufen HeuristikHeuristik und KorpuserstellungKorpuserstellung ab?

Bevor mit der Sammlung jeglicher Art von Dokumenten begonnen werden kann, müssen das Forschungsinteresse, der Forschungszweck oder die Ausgangshypothese genau bestimmt werden. Dabei haben folgende Fragen Leitfunktion:

 Was ist der Forschungsgegenstand?

 Welche Forschungsfragen sollen beantwortet werden?

Es ist wichtig, diese Aspekte sorgfältig zu bestimmen, damit die nachfolgende Suche und AuswahlAuswahl der DokumenteDokumente eingegrenzt werden können und nicht zu wenig oder zu viele Dokumente eingeschlossen werden (vgl. Keller 2011: 80–87). Vielfach finden sich in der gesichteten Forschungsliteratur zum Forschungsfeld bereits Hinweise auf aufschlussreiche Arten von Dokumenten.

In einem zweiten Schritt sind folgende Überlegungen anzustellen:

 Anhand welcher Dokumente kann den Forschungsfragen nachgegangen werden?

 Welche örtliche und zeitliche Eingrenzung der Dokumentenauswahl ist sinnvoll?

Diese Vorgehensweise zeigt sich sehr gut in der Referenzarbeit von Doff (2002, s. Kapitel 7), in der eine Konzentration auf Preußen und auf das späte 19. Jahrhundert erfolgt. Genauso geht Kolb (2013) vor, wenn sie verschiedene europäische Länder und den Zeitraum von 1975 bis 2011 auswählt. Derartige lokale und temporale Beschränkungen können von den Forschungsfragen abhängen, aber auch ganz pragmatisch durch die Verfügbarkeit von DokumentenDokumenteVerfügbarkeit von bedingt sein. Letzerer Aspekt zeigt sich oft erst, wenn Heuristik und Korpuserstellung bereits begonnen haben. Allerdings kann es auch notwendig sein, den betrachteten Zeitraum auszuweiten, wenn relevante Dokumente auch noch später veröffentlicht wurden oder das Forschungsthema nur im Vergleich mit früheren oder späteren Entwicklungen zufriedenstellend bearbeitet werden kann. Dies ist z.B. gerade bei Lehrplänen der Fall, die häufig Fortschreibungen früherer Versionen sind (Kolb 2013).

Nach diesen beiden vorbereitenden Schritten beginnt die eigentliche Heuristik,Heuristik bei der zu klären ist, wo und wie sich die Dokumente ausfindig machen lassen. Ausgeschlossen bleiben soll hier die selbstständige Gewinnung von Daten durch Beobachtung oder Befragung (s. Kapitel 5.2.3 und 5.2.4). Bei der Suche und Auswahl von bereits existierenden Dokumenten sind verschiedene Verfahren denkbar, die sich gegenseitig ergänzen können:

 Systematische SucheSuchesystematische oder Suche nach dem SchneeballprinzipSchneeballprinzip (vgl. Roos/Leutwyler 2011: 25–46)

 Vollständige Erfassung aller möglichen Dokumente oder Auswahl einer StichprobeStichprobe

Sowohl das Schneeballverfahren als auch die systematische Suche werden in der Referenzarbeit von Doff (2002) und bei Kolb (2013) angewendet. Bei ersterem Verfahren werden neuere Sekundärliteratur oder Quellensammlungen zum gewählten Thema gesucht und anhand deren Bibliographien weitere Dokumente ausfindig gemacht (Doff 2002: 16; Kolb 2013: 140–142, 237–241, 306–309). Dieser Vorgang wird so oft wiederholt, bis genügend Dokumente vorliegen, wobei sich meist zeigt, dass gewisse Dokumente und Quellen als Standard in unterschiedlicher Literatur immer wieder genannt werden (Roos/Leutwyler 2011: 30). Bei letzterer Vorgehensweise werden beispielsweise BibliographienBibliographien und komplette ZeitschriftenjahrgängeZeitschriftenjahrgänge nach relevantem Material durchgesehen (Doff 2002: 16) oder DatenbankenDatenbanken und BibliothekskatalogeBibliothekskataloge anhand von Stichwörtern oder Autorennamen durchsucht (Kolb 2013: 142, 239, 308).

Zu Beginn der Suche sollte darauf geachtet werden, so breit wie möglich vorzugehen, um nicht zu früh potentiell interessante und ergiebige Dokumente auszuschließen. Dabei hängen Forschungsinteresse und Sammlung von Materialien eng zusammen: Einerseits werden Dokumente, die sich beim ersten Durchsehen als zur Fragestellung passend erweisen, einbezogen; andererseits können die Forschungsfragen durch aufgefundene Dokumente erweitert oder verändert werden. Dies wiederum hat Einfluss auf die weitere Recherche. Es bestehen somit Parallelen zum theoretical samplingtheoretical sampling (s. Kapitel 5.3.3): Dieses Verfahren der Grounded TheoryGrounded Theory bedeutet, dass der Auswahlplan nicht vorher festgelegt wird, sondern auf Basis der Vorkenntnisse und der im Forschungsprozess entstandenen Hypothesen und Theorien schrittweise entwickelt wird (vgl. Glaser/Strauss 2010: 61–65; s. Kapitel 5.3.3). Sammlung und Analyse der Dokumente laufen zirkulär ab. Wichtig ist in jedem Fall, dass die Rechercheprinzipien offengelegt werden, damit so Suche und Auswahl der Dokumente intersubjektiv nachvollzogen werden können.

Die Frage, wann die Dokumentensammlung abgeschlossen werden kann, stellt sich für jede Art von Forschungsarbeit etwas anders. Beispielsweise bestimmt Freitag-Hild ein Korpus literarischer Texte für die Erprobung in Unterrichtsvorhaben, das auf deren Thematik und ihrer fremdsprachendidaktischen Eignung basiert (2010: 4–9), oder Summer (2011: 83–87) begründet ihre Analyse der Grammatikdarstellung in ausgewählten Lehrwerken mit Bezug auf Schulform, Niveaustufe und Thema. In historischen, hermeneutischen, diskursanalytischen, aber auch anderen Ansätzen wird man jedoch häufig weiterrecherchieren, bis eine SättigungSättigung (saturation) erreicht ist. Dies bedeutet, dass keine weiteren Dokumente mehr gefunden werden können, die neue Erkenntnisse liefern (s. Glaser/Strauss 2010: 76–78). Das Material für den entsprechenden Aspekt der Forschungsfrage kann dann als vollständig angesehen und, falls nötig, die Suche für einen anderen Gesichtspunkt fortgesetzt werden.

Aus der Gesamtheit der gefundenen Dokumente ist das Korpus zu erstellen, mit dem weitergearbeitet wird. Begrifflich lassen sich so imaginäres KorpusKorpusimaginäres (Menge aller jemals existierenden Dokumente zu einem Thema), virtuelles KorpusKorpusvirtuelles (Menge der noch erhaltenen Dokumente) und konkretes KorpusKorpuskonkretes (Menge der tatsächlich analysierten Dokumente) unterscheiden (s. Landwehr 2008: 102–103). Kriterien für die Auswahl von Dokumenten sind ihre Repräsentativität, ihre genügend große Anzahl und ihre thematische und zeitliche Breite (s. Landwehr 2008: 103). In manchen Untersuchungen kann es wichtig sein, die Gesamtheit aller auffindbaren Dokumente einzubeziehen (s. Kolb 2013 für die Analyse aller Lehrplanversionen im Untersuchungszeitraum); in anderen Fällen ist die Auswahl einer StichprobeStichprobe für die Fallanalyse einer bestimmten Frage möglicherweise sinnvoller: So konzentriert sich Doff (2008) auf die durch eine Umfrage unter Experten bestimmten Standardwerke bzw. auf durch ZitationsanalyseZitationsanalyse ausgewählte Zeitschriftenartikel (Doff 2008: 72–84). Dokumente, die näher analysiert werden sollen, können entweder dem Prinzip der maximalen KontrastierungPrinzip der maximalen Kontrastierung – also nach größtmöglicher Unterschiedlichkeit – oder dem Prinzip der minimalen KontrastierungPrinzip der minimalen Kontrastierung folgend – nach einer möglichst starken Ähnlichkeit – ausgewählt und angeordnet werden (s. Keller 2011: 92).

3 Welche Probleme und Hilfsmittel existieren?

Bevor jedoch die nähere Analyse des Korpus erfolgen kann (vgl. z.B. die methodische Beschreibung von Quellenkritik und -analyse in Kapitel 5.3.1), müssen die gefundenen Dokumente genau erfasst werden. Für gedruckte Dokumente sind Entstehungsdatum und -ort, Umfang, Autoren und Zusammenfassungen der Kernaussagen zu notieren. Auch andere Arten von Dokumenten müssen in einer informativen und konsistenten Weise erfasst werden. Die Erstellung einiger dieser Angaben, aber auch weitere Elemente des Prozesses der DokumentensammlungDokumentensammlung können Probleme bereiten. So können die Autoren unbekannt sein oder bewusst anonym gehalten werden; dies ist beispielsweise bei Lehrplänen häufig der Fall. Besonders bei älteren Dokumenten kann die Datierung schwierig sein. Sollte eine Klärung von Autorschaft und Datum nicht möglich sein, so ist dies ebenfalls zu vermerken. Auch können die Dokumente unvollständig sein oder Unklarheiten enthalten. Hier kann nur versucht werden, durch Vergleich mit anderen Quellen und Dokumenten die fehlenden Informationen zu erschließen.

Entscheidend dafür, wie aufwendig die Dokumentensammlung ist, ist jedoch hauptsächlich die Frage, um welche Art von Dokumenten es sich handelt. Soll unveröffentlichtes Material aus der Gegenwart verwendet werden, so kann es hilfreich sein, sich direkt an Autoren und andere Akteure zu wenden und um Manuskripte und die Erlaubnis, diese zu verwenden, zu bitten (vgl. Kolb 2013: 254, 307). Bei historischen Dokumenten sind Archive die Hauptanlaufstelle, während neuere Dokumente sich häufig über Datenbanken, Bibliotheks- und Buchhandelskataloge oder das Internet recherchieren lassen. Teilweise gibt es für historische ForschungForschunghistorische auch QuellenQuellen- und Dokumentensammlungen, auf die man sich bei der Recherche stützen kann (vgl. Doff 2002: 16–17). Beispiele hierfür sind Kössler (1987) für Schulprogrammschriften, Schröder (1975) für Lehrwerke und Unterrichtsmaterialien bis 1900 sowie Christ/Rang (1985) und Christ/Müllner (1985) für Lehrpläne. Lehrwerke werden durch das Georg-Eckert-Institut für internationale Schulbuchforschung zugänglich gemacht (http://www.gei.de).

Zur Suche von Monographien bietet sich nach den jeweiligen Hochschulbibliotheken die Metasuche über den Karlsruher Virtuellen Katalog (KVK) an, mit der weltweit nach Medien gesucht werden kann (http://www.ubka.uni-karlsruhe.de/kvk.html). Für Zeitschriften ist die Elektronische Zeitschriftenbibliothek der Universität Regensburg (EZB, http://rzblx1.uni-regensburg.de/ezeit/) nützlich. Gerade für die deutschsprachige Pädagogik und Didaktik lassen sich die FIS Literaturdatenbanken (http://www.fachportal-paedagogik.de/start.html) sowie besondere Fachdatenbanken, die über die Hochschulbibliotheken ausfindig gemacht werden können, verwenden. Über das Informationszentrum für Fremdsprachenforschung in Marburg können BibliographienBibliographien aus der dortigen Literaturdatenbank angefordert werden (http://www.uni-marburg.de/ifs). In gedruckter Form liegt die ebenfalls in Marburg verantwortete Bibliographie Moderner Fremdsprachenunterricht vor, die seit 1970 fremdsprachendidaktische Veröffentlichungen und auch graue Literatur bibliographiert. Über die Deutsche Nationalbibliographie können außer Printmedien auch audiovisuelle Medien, elektronische Medien, Karten und Online-Ressourcen recherchiert werden (http://dnb.dnb.de). Weitere Hilfen zur Literaturrecherche im Internet und in Bibliotheken finden sich bei Franke/Klein/Schüller-Zwierlein (2010).

Die Suche nach Dokumenten jeder Art erfordert Findigkeit, Geduld und Gründlichkeit. Diese wichtige Phase im Forschungsprozess sollte nicht unterschätzt werden, da im kumulativen Prozess des Suchens, Findens, Einordnens und Aussortierens sich auch die ForschungsfragenForschungsfrage weiter klären und man mit dem zu analysierenden Material zunehmend vertraut wird.

› Literatur

Forschungsarbeiten, in denen die hier erläuterten Verfahren angewendet werden, sind mit einem Sternchen markiert.

*Bellingrodt, Lena Christine (2011). ePortfolios im Fremdsprachenunterricht. Empirische Studien zur Förderung autonomen Lernens. Frankfurt/M.: Peter Lang.

Bortz, Jürgen/Döring, Nicola (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Heidelberg: Springer.

Christ, Herbert/Müllner, Klaus (1985). Richtlinien für den Unterricht in den neueren Fremdsprachen in den Schulen der BRD 1945–1984. Eine systematische Bibliographie. Tübingen: Narr.

Christ, Herbert/Rang, Hans-Joachim (1985). Fremdsprachenunterricht unter staatlicher Verwaltung. 7 Bände. Tübingen: Narr.

*Doff, Sabine (2002). Englischlernen zwischen Tradition und Innovation. München: Langenscheidt-Longman. [Referenzarbeit, s. Kapitel 7]

*Doff, Sabine (2008). Englischdidaktik in der BRD 1949–1989. Konzeptuelle Genese einer Wissenschaft im Dialog von Theorie und Praxis. München: Langenscheidt.

Fend, Helmut (2006). Neue Theorie der Schule. Einführung in das Verstehen von Bildungssystemen. Wiesbaden: VS Verlag für Sozialwissenschaften.

Franke, Fabian/Klein, Annette/Schüller-Zwierlein, André (2010). Schlüsselkompetenzen. Literatur recherchieren in Bibliotheken und Internet. Stuttgart: Metzler.

*Freitag-Hild, Britta (2010). Theorie, Aufgabentypologie und Unterrichtspraxis inter- und transkultureller Literaturdidaktik. ‚British Fictions of Migration‘ im Fremdsprachenunterricht. Trier: WVT.

Glaser, Barney G./Strauss, Anselm L. (2010). Grounded Theory. Strategien qualitativer Forschung. Bern: Huber.

Glaser, Edith (2010). Dokumentenanalyse und Quellenkritik. In: Friebertshäuser, Barbara/Langer, Antje/Prengel, Annedore (Hg.). Handbuch Qualitative Forschungsmethoden in der Erziehungswissenschaft. 3., vollständig überarbeitete Auflage. Weinheim: Juventus. 365–375.

Johnson, Burke/Christensen, Larry (2012). Educational Research. Quantitative, Qualitative, and Mixed Approaches. 4. Auflage. London: Sage.

Keller, Reiner (2011). Diskursforschung. Eine Einführung für Sozialwissenschaftlerinnen. 4. Auflage. Wiesbaden: VS Verlag für Sozialwissenschaften.

*Kolb, Elisabeth (2013). Kultur im Englischunterricht. Deutschland, Frankreich und Schweden im Vergleich (1975–2011). Heidelberg: Winter.

Kössler, Franz (1987). Verzeichnis von Programm-Abhandlungen deutscher, österreichischer und schweizerischer Schulen der Jahre 1825–1918. München: Saur.

Landwehr, Achim (2008). Historische Diskursanalyse. Frankfurt/M.: Campus.

McCulloch, Gary (2011). Historical and Documentary Research in Education. In: Cohen, Louis/Manion, Lawrence/Morrison, Keith (Hg.). Research Methods in Education. 7. Auflage. London: Routledge. 248–255.

Roos, Markus/Leutwyler, Bruno (2011). Wissenschaftliches Arbeiten im Lehramtsstudium. Bern: Huber.

*Schmidt, Torben (2007). Gemeinsames Lernen mit Selbstlernsoftware im Englischunterricht. Eine empirische Analyse lernprogrammgestützter Partnerarbeitsphasen. Tübingen: Narr. [Referenzarbeit, s. Kapitel 7]

Schröder, Konrad (1975). Lehrwerke für den Englischunterricht im deutschsprachigen Raum. 1665–1900. Einführung und Versuch einer Bibliographie. Darmstadt: Wiss. Buchgesellschaft.

Scott, John (1990). A Matter of Record. Documentary Sources in Social Research. Cambridge: Polity Press.

*Summer, Theresa (2011). An Evaluation of Methodological Options for Grammar Instruction in EFL Textbooks. Are Methods Dead? Heidelberg: Winter.

» Webseiten

Deutsche Nationalbibliographie: http://dnb.dnb.de

Elektronische Zeitschriftenbibliothek: http://rzblx1.uni-regensburg.de/ezeit/

FIS Literaturdatenbanken: http://www.fachportal-paedagogik.de/start.html

Georg-Eckert-Institut für internationale Schulbuchforschung: http://www.gei.de

Informationszentrum für Fremdsprachenforschung: http://www.uni-marburg.de/ifs

Karlsruher Virtueller Katalog: http://www.ubka.uni-karlsruhe.de/kvk.html

» Zur Vertiefung empfohlen

McCulloch, Gary (2004). Documentary Research in Education, History and the Social Sciences. London: Routledge Falmer.

In dieser Monographie wird die Bedeutung von Dokumenten für geistes- und sozialwissenschaftliche Forschung dargelegt. Recherche- und Analysemethoden werden erklärt und an Beispielen erläutert, wobei ein breites Spektrum an Dokumenten abgedeckt wird.

Prior, Lindsay (2011). Using Documents and Records in Social Research. 4 Bände. Los Angeles: Sage.

In dieser vierbändigen Sammlung von Beiträgen werden alle Aspekte des Forschungsprozessses (Planung, Dokumentensammlung, Interpretation und Synthese der Ergebnisse) anhand von Beispielen aus den Sozialwissenschaften dargestellt. Die vier Bände legen jeweils einen Schwerpunkt auf Dokumenttypen, Dokumente als soziale Konstrukte, Verwendung von Dokumenten in der Praxis, Vernetzung zwischen verschiedenen Dokumenten.

5.2.2 TextzusammenstellungTextzusammenstellung (für theoretische Arbeiten)

Barbara Schmenk

Theoretische Arbeitentheoretische Arbeiten in der Fremdsprachenforschung können ganz unterschiedlicher Natur sein und umfassen sowohl Arbeiten zur Theorie- und ModellbildungTheorie- und Modellbildung als auch solche, die sich mit spezifischen Fragestellungen der Fremdsprachenforschung beschäftigen. Für theoretische Arbeiten gilt dabei allgemein, dass die VerfasserInnen sich mit einem Textkorpus auseinandersetzen müssen, dessen Erstellung ein recht aufwändiger und langwieriger Prozess sein kann.

Das Erkenntnisinteresse theoretischer Arbeiten liegt immer auch darin, spezifische Ausschnitte der Forschungslandschaft genauer zu erfassen und zu durchdringen. Diejenigen Texte, auf die sich solche Arbeiten stützen, umfassen normalerweise neben Studien aus dem entsprechenden Bereich der Fremdsprachenforschung auch Arbeiten aus anderen – affinen – Fachbereichen, in denen thematisch und erkenntnistheoretisch relevante bzw. vergleichbare Forschungsprojekte durchgeführt werden (z.B. der jeweiligen Fachwissenschaften, der Allgemeinen Pädagogik, der Psychologie, der Lehr- und Lernforschung sowie anderer Fachdidaktiken). Damit sind theoretische Arbeiten häufig zugleich interdisziplinär angelegt, da es hier oft darum geht, die Perspektive der Fremdsprachenforschung gezielt zu erweitern, zu schärfen und in größere theoretische Zusammenhänge zu stellen. Die Lektüre theoretischer Schriften (z.B. aus den Kulturwissenschaften oder der Philosophie) zu bestimmten Themen und Fragestellungen ist damit häufig eine wichtige Voraussetzung bzw. Hilfe sowohl für die Entwicklung des theoretischen Bezugsrahmens als auch für die Auswahl und ggf. Klassifikation von Texten aus der Fremdsprachenforschung sowie anderer relevanter Fachbereiche.

Im Folgenden wird zunächst genauer aufgefächert, was unter „TextText“ zu verstehen ist und welche Arten von Texten für theoretische Arbeiten unterschieden werden können. Der anschließende Teil widmet sich der Auswahl und Zusammenstellung von Texten. Im letzten Teil werden konkrete Tipps, Ressourcen und Datenbanken vorgestellt, die zur Textfindung und -zusammenstellung hilfreich sein können.

1 Welche Texte können für theoretische Arbeiten verwendet werden?

Anders als im Fall von DokumentenDokumente oder QuellenQuellen (vgl. Kapitel 5.2.1) handelt es sich bei „Texten“ um eine medial engere Kategorie, da hier hauptsächlich schriftliche und zumeist wissenschaftliche Publikationen gemeint sind. Selbstverständlich bedeutet das nicht, dass man zur Darstellung eines bestimmten Forschungsgebiets ausschließlich auf wissenschaftliche Texte zurückgreifen muss – schließlich gibt es zahlreiche weitere Dokumente, die für bestimmte Frage- und Themenstellungen relevant sind und die auch entsprechend zu berücksichtigen sind (z.B. Videomaterial, Zeitungsartikel, ggf. auch Werbematerialien, Lehrwerke und Lernmaterialien etc.). Im Folgenden wird der Schwerpunkt jedoch auf wissenschaftlichen Texten liegen, da man auch hier zwischen verschiedenen Arten von Texten unterscheiden muss, die es zusammen zu stellen gilt, wenn es um die Erstellung einer theoretischen Arbeit geht. Prinzipiell ist dabei zwischen primären TextenTexteprimäre (auf der Basis empirischer Arbeiten) und sekundären TextenTextesekundäre (Zusammenfassungen und Überblicksdarstellungen) zu unterscheiden.

Empirische Studien aus der Fremdsprachenforschung (Aufsätze und Monographien)

Empirische Studien bzw. ihre Publikation in Aufsätzen und Büchern stellen Primärtexte dar, wenn es um die Erfassung des status quo eines spezifischen Forschungsthemas innerhalb der Fremdsprachenforschung geht. Welcher Art die jeweiligen empirischen Studien sind, nämlich ob eher quantitativ-nomologisch oder qualitativ-interpretatorisch, ist dabei zunächst irrelevant. Jede Publikation empirischer Daten zu einem bestimmten Thema vermag auf je spezifische Weise Licht auf bestimmte Aspekte zu werfen, die in den gewählten Gegenstandsbereich fallen (vgl. auch Grotjahn 1999).