Kitabı oku: «Testen und Bewerten fremdsprachlicher Kompetenzen»

4.1 Objektivität, Reliabilität, Validität

Wenn an der Schule fremdsprachliche Leistungen überprüft, gemessen und evaluiert werden – Turner (2012) und andere sprechen von CBA (classroom-based assessmentclassroom-based assessment) und meinen damit „assessment internal to the classroom and managed by the teacher“ (Turner 2012, 65) –, so ist die Beachtung von Testprinzipien (TestgütekriterienTestgütekriterien) bei der Erstellung, Durchführung und Bewertung von Klausuren unerlässlich. Mit Klassen-/SchularbeitenKlassen-/Schularbeiten sind Sprachstandstests, werden oft normorientiert bewertet und zeigen Lernstärken und -schwächen auf. – sei es in der ersten, zweiten oder dritten lebenden Fremdsprache – wird der Sprachstand von SchülerInnen erhoben. Ziel ist es, herauszufinden, ob bestimmte Lernziele erreicht wurden. Man spricht daher auch von SprachstandstestsSprachstandstest, die an einem bestimmten Tag und zu einem bestimmten Zeitpunkt durchgeführt werden und damit die Möglichkeit einer punktuellen Beurteilung bieten. Des Weiteren sind sie auch ein Diagnoseinstrument und geben Lehrenden wie Lernenden Auskunft darüber, welche Stärken und Schwächen Letztere aufweisen1. Durch die Ergebnisse, oft ausgedrückt in einer Note (oder auch versehen mit einem kurzen, verbalen Kommentar), können die SchülerInnen in eine bestimmte Rangfolge gebracht und ihre Leistungen miteinander verglichen werden: Wer hat die beste, wer die schwächste Arbeit geschrieben? Erfolgt dies, spricht man von einer norm- oder bezugsgruppenorientierten Bewertung. Klassen-/Schularbeiten können aber auch als wichtiger Vorbereitungsschritt auf schulische Abschlussprüfungen, wie etwa die SRDPDie teilzentrale, kompetenzorientierte SRDP ist eine Qualifikationsprüfung, wird kriterienorientiert bewertet, misst die Sprachfähigkeit (language ability). für Fremdsprachen in Österreich, gesehen werden und bereiten damit auf QualifikationsprüfungenQualifikationsprüfung vor. Meist wird die individuelle Sprachkompetenz der Lernenden dann nicht in Relation zu den anderen SchülerInnen in der Gruppe, sondern in Bezug auf bestimmte Kriterien, wie bspw. in den GeR-Niveaustufen beschrieben, bewertet (vgl. Europarat 2001, 3.2). Sind Lehrende und Bewertende ein und dieselbe Person, so ist zu bedenken, dass die Beurteilung schulischer Leistungen oft auch eine Bewertung der eigenen Arbeit bzw. des Inputs des/der LehrerIn miteinschließen kann, was verständlicherweise Kritik nach sich ziehen müsste. Als eine mögliche Konsequenz sollten daher bei der Auswahl von Lehr- und Prüfinhalten, anstelle subjektiver Überlegungen oder Präferenzen einzelner Lehrpersonen, curriculare Vorgaben und objektive Beurteilungskriterien berücksichtigt werden.

Seitdem der GeR, die Bildungsstandards und die teilzentrale SRDPGütekriterien für Sprachtests sind Objektivität, Reliabilität und Validität. für Allgemeinbildende Höhere Schulen (AHS) und Berufsbildende Höhere Schulen (BHS) in Österreich als Instrumente für Leistungskontrolle und Qualitätssicherung zur Verfügung stehen, die LehrerInnen eine kriterienorientierte Bewertungkriterienorientierte Bewertung nahelegen, sind objektive Klassen-/Schularbeiten zur validen (gültigen) Interpretation von zuverlässig erhobenen, fachbezogenen Lernleistungen erforderlich.

Noten für Lernleistungen zu vergeben, auf dieser Basis Lernprozesse zu steuern und Feedback an die SchülerInnen zu geben ist eine verantwortungsvolle Aufgabe. Auch verbringen LehrerInnen außerhalb der Schule neben der Planung von Unterricht nicht unerheblich viel Zeit mit dem Lesen und der Verbesserung von Hausaufgaben oder dem Erstellen bzw. der Korrektur von Klassen-/Schularbeiten. Die Kenntnis von Fachliteratur zu Testen und Bewerten (als geeigneter Einstieg sind Standardwerke von McNamara (2000), Hughes (2003) oder Grotjahn (2006) zu empfehlen) und die Berücksichtigung der TestgütekriterienTestgütekriterien können Lehrkräfte dabei unterstützen, diese Aufgabe kompetent(er) zu bewältigen. Im Folgenden sollen die einzelnen Testprinzipien vorgestellt und erklärt werden.

4.1.1 ObjektivitätObjektivität

Ein Sprachtest oder eine Klassen-/Schularbeit sind objektiv, wenn ihre Durchführung und ihre Auswertung von der jeweiligen Lehrperson, die dafür verantwortlich ist, unabhängig sind (vgl. Grotjahn 2006, 222), d.h. wenn subjective judgement ausgeschlossen werden kann (vgl. Hughes 2003, 22). Stellen wir uns vor, dass zwei LehrerInnen in zwei Parallelgruppen einer Klasse Französisch unterrichten. Bei einer für beide Gruppen unterschiedlich erstellten Klassen-/Schularbeit führt jeweils der/die LehrerIn der anderen Gruppe die Klassenarbeit durch und wertet diese auch aus. Im Anschluss wird die Klassenarbeit an den/die KollegIn der Parallelgruppe zur Kontrolle übergeben. Die Ergebnisse und die daraus gezogenen Schlussfolgerungen müssten ident sein. Durch die zweimalige Bewertung würden die Resultate zuverlässiger, d.h. reliabler, und die SchülerInnen könnten sich eher darauf verlassen, dass das von ihnen erzielte Ergebnis ihrer tatsächlichen Leistung entspricht, als wenn nur ein/eine LehrerIn die Klassen-/Schularbeit (der eigenen Gruppe) korrigiert und bewertet hätte1. Quetz (2008, 7) verweist hier auf die sog. kollegiale Korrektur.

Der DurchführungsDurchführungsobjektivität- und AuswertungsobjektivitätAuswertungsobjektivität (nach Grotjahn 2006) wird gelegentlich eine „Interpretationsobjektivität“ (vgl. Schelten 1997) zur Seite gestellt. Gemeint ist, dass zwei verschiedene BeurteilerInnen „unabhängig voneinander aus dem gleichen Auswertungsergebnis den gleichen Schluss ziehen“ (Schelten 1997, 126). ObjektivitätObjektivität bedeutet bei der Durchführung, Auswertung und Interpretation von Tests Subjektivität zu reduzieren. bei der Durchführung, Ausführung und Interpretation von Klassen-/Schularbeiten bedeutet also, dass subjektive Theorien – wenn nicht ganz ausgeschlossen – so doch so weit wie möglich in den Hintergrund gedrängt werden.

Dlaska & Krekeler (2009) sprechen in Zusammenhang mit informeller Leistungsbeurteilung (classroom assessment) von „Gerechtigkeit“ (ebd., 44f.) anstelle von ObjektivitätObjektivität. Damit führen sie an, dass Lernende nicht benachteiligt werden bzw. diese sich nicht benachteiligt fühlen sollen (ebd., 43). Damit dieser Umstand gegeben ist, muss Gerechtigkeit ihrer Meinung nach vier Bereiche umfassen: (ausreichende) Transparenz, (schlüssige) Bewertung, (konsistente und übertragbare) Leistungsmessungen und eine (gültige) Interpretation der Testergebnisse. Somit ist „Gerechtigkeit“ oder „Fairness“ der allumfassende Begriff, dem Dlaska & Krekeler die anderen Testgütekriterien wie Reliabilität und Validität unterordnen. Sie führen einerseits Gründe an, warum in der Schule reliable Tests schwer zu erstellen sind, obwohl dies „wünschenswert“ wäre (ebd., 49), fordern aber andererseits eine gültige Interpretation der Testergebnisse in Bezug auf die Messintention ein (vgl. u.a. Hinger 2016b).

4.1.2 ReliabilitätReliabilität

Unter Reliabilität eines Tests versteht man die Zuverlässigkeit oder Konsistenz der Resultate, die er hervorbringt: „A reliable test is consistent in that it produces the same or similar result on repeated use“ (vgl. Jones 2012, 352). So ist eine konsistente bzw. genaue Bewertung dann gegeben, wenn z. B. bei einer Klassen-/Schularbeit oder einem Test ein und dieselbe Lehrperson bei wiederholt vorgenommener Bewertung immer wieder zu demselben (oder einem sehr ähnlichen) Ergebnis kommt (Intrarater-ReliabilitätIntrarater-Reliabilität) bzw. wenn verschiedene Lehrpersonen zu ein und demselben (oder einem sehr ähnlichen) Ergebnis kommen (Interrater-ReliabilitätInterrater-Reliabilität). Somit kann scorer objectivityscorer objectivity als wesentlicher Teilaspekt der Reliabilität betrachtet werden; Weir & Shaw (2005) sprechen in diesem Zusammenhang sogar von scoring validity (s. Abschnitt 4.1.3 zu Validität). LehrerInnen sollten bedenken, dass manche Aufgabenformate konsistente (stabile) Ergebnisse unterstützen. So ist ein geschlossenesgeschlossenes Aufgabenformat AufgabenformatGeschlossene und offene Aufgabenformate unterstützen Reliabilität in unterschiedlichem Ausmaß. wie etwa multiple choice-multiple choice-Aufgabe oder EinfachwahlaufgabenEinfachwahlaufgabe zur Überprüfung des Leseverständnisses durch die Festlegung eines eindeutigen Lösungsschlüssels gut dazu geeignet, dass ein und dieselbe Person mehrmals oder verschiedene BewerterInnen gleichzeitig zu demselben (oder einem sehr ähnlichen) Ergebnis kommen. AuswertungsAuswertungsobjektivität- und Interpretationsobjektivität können bei geschlossenen, standardisierten Aufgabenformaten wie multiple choice- oder ZuordnungsaufgabenZuordnungsaufgabe als gegeben angesehen werden. Wird hingegen die Fertigkeit Schreiben anhand eines Aufsatzes, der in der Fremdsprache zu einem bestimmten Thema verfasst werden soll, überprüft, lässt dieses offene Testformat bei der Bewertung und Interpretation einen höheren subjektiven Spielraum zu, vor allem, wenn nur ungenau spezifizierte Kriterien wie Inhalt, Fehler oder Stil zur Verfügung stehen oder wenn „jeder Lehrer seinen eigenen Maßstab zur Beurteilung des Auswertungsergebnisses“ anlegt (Schelten 1997, 127). Die reliable Verwendung von Bewertungsrastern zur Überprüfung der produktiven Fertigkeiten (s. Abschnitt 7.3) setzt gezielte rater trainings für LehrerInnen und SprachkompetenzprüferInnen voraus, in denen die Beurteilenden lernen, sich abzustimmen und sich großteils auf ein gemeinsames Verständnis der Deskriptoren, die die einzelnen Bewertungskriterien näher erläutern, zu einigen.

Bei Dlaska & Krekeler (2009, 35) findet sich ObjektivitätObjektivität als Teil der Reliabilität dem Qualitätskriterium Gerechtigkeit zugeordnet (s. oben). Dies ist vor allem dem Umstand geschuldet, dass eine möglichst objektive Durchführung und Auswertung eines Tests für eine konsistente, also reliable, Bewertung unabdingbar ist. Reliabilität wiederum ist Voraussetzung für die Validität (s. Abschnitt 4.1.3) – allein, ein reliabler Test bedeutet noch nicht, dass er auch valide ist (vgl. Jones 2012, 352). Nach Dlaska & Krekeler (2009, 47) ist die Qualität einer Bewertung abhängig von den PrüferInnen, ihren Fähigkeiten, Einstellungen und Werthaltungen. Für die Leistungsbeurteilung im Unterricht erachten sie Reliabilität aber nicht als zentral und fordern sie nur als Bedingung für standardisierte und formelle high stakes testshigh stakes test ein – Tests, bei denen die Ergebnisse für jede/n einzelne/n KandidatIn gewichtige Folgen haben. Das Pilotieren von Klassen-/Schularbeiten zur Messung ihrer Qualität – sei es in Form von Paralleltests oder Testwiederholungen, um sich z. B. über den Schwierigkeitsgrad oder die Unmissverständlichkeit der Aufgabenstellung klar zu werden – ist im Schulalltag, wenn überhaupt, nur bedingt möglich. Eine Arbeit im Team würde allerdings der Qualität von Klassen-/Schularbeiten zuträglich sein – erhöht doch Arbeitsgenauigkeit die Reliabilität der Messung. Auch die Kenntnis der genannten Methoden (parallel test methodparallel test method und test-retest methodtest-retest method) wäre geeignet, sich über die Konsistenz von Prüfungen klar(er) zu werden, denn auch Klassen-/Schularbeiten sollten über jene Qualität verfügen, die eine genaue(re) und konsistente Auswertung und Interpretation der Ergebnisse ermöglicht.

Salkind (2006) setzt Reliabilität mit Testqualität gleich, wenn konsistente Messungen garantiert sind1 – ein Ziel, dem sich Lehrpersonen auch im Schulalltag nähern könnten, wenn sie sich z. B. für das gemeinsame Ausarbeiten von TestspezifikationenTestspezifikationen (s. Abschnitt 5.3) entschließen und bereit sind, über die Fachteams oder -arbeitsgemeinschaften an den Schulen Tests (Klassen-/Schularbeiten) in Parallelklassen einzusetzen oder in vergleichbaren Jahrgängen auch an anderen Schulen durchzuführen.

Ein wesentliches Kennzeichen von Reliabilität ist der ReliabilitätskoeffizientReliabilitätskoeffizient, der den Grad der Messfehlerfreiheit eines Tests wiedergibt, oder der Wert der inneren Konsistenz (internal reliability) von Items – ermittelbar mithilfe eines Computer-Software-Programms wie SPSS (= Statistical Package for the Social Sciences). Der Koeffizient drückt aus, dass die einzelnen Items eines Tests zueinander passen, dasselbe theoretische KonstruktKonstrukt (z.B. Leseverständnis) überprüfen und dass die einzelnen SchülerInnen auf die gleichen Rangplätze verwiesen werden (vgl. Fulcher & Davidson 2007, 106). Auch wenn LehrerInnen nicht über die zeitlichen und technischen Ressourcen verfügen, die innere KonsistenzInnere Konsistenz von Testitems ist Voraussetzung für das Messen eines Konstrukts. von Testitems zu ermitteln (wie z. B. in Green 2013, 35–40 dargestellt), so können sie doch eine Reihe von einfachen statistischen Maßnahmen ergreifen, die ihre Klassen-/Schularbeiten und Tests reliabler machen2. Neben einer präzisen und klaren Aufgabenstellung sind dafür u.a. die Testlänge (Anzahl der Items bzw. der Aufgaben), die Homogenität der Items, der Schwierigkeitsgrad der einzelnen Aufgaben sowie die Bandbreite der Aufgaben (scope), die Wahlmöglichkeiten eher ausschließt, ausschlaggebend (vgl. Green 2014, 73; Schelten 1997, 117).

Je länger der TestTestlänge, homogene Items und trennscharfe Aufgaben erhöhen die Reliabilität. ist, desto geringer wird der Zufall sein, der das Testergebnis beeinflusst. Eine Aufgabe zu erstellen, die aus lediglich drei oder vier Items zum Gebrauch von Adverb/Adjektiv im Englischen oder aus vier oder fünf Items zur Verwendung der глаголы движения (Verben der Fortbewegung) im Russischen besteht, wird nur eine sehr geringe Aussagekraft über die grammatische Kompetenz der/des Sprachverwendenden haben. Je mehr Items zum Einsatz kommen und je homogener diese sind, desto reliabler wird das Ergebnis und die damit verbundene Interpretation in Bezug auf das gemessene Konstrukt (z.B. jenes der grammatischen Kompetenz). Ein Test zur Überprüfung des Leseverständnisses, der sowohl Items zum selektiven als auch zum detaillierten Lesen enthält, wird das Konstrukt Lesen deutlicher und umfassender repräsentieren, als wenn nur globales Lesen überprüft wirdKonstruktunterrepräsentation.

Je trennschärfer die Aufgaben sind, desto klarer kann zwischen lernstarken und lernschwachen SchülerInnen unterschieden werden und umso messgenauer ist die Klassen-/Schularbeit. Das bedeutet, dass mehrere schwache SchülerInnen nicht jene Items eines Tests lösen können sollen, an denen ein/eine gute/r SchülerIn scheitert. Man spricht in diesem Fall von ItemdiskriminierungItemdiskriminierung: Trennschärfe von Testitems. Deswegen gilt es zu leichte bzw. zu schwierige Items, Items, die das Erraten von Lösungen zulassen, oder Items, die Ausnahmen überprüfen, zu vermeiden, da sie die Reliabilität einer Aufgabe verringern (vgl. Alderson, Clapham & Wall 1995).

Die Beachtung der angeführten Punkte führt bei large-scalelarge-scale test oder high stakeshigh stakes test testing definitiv zu konsistenteren und genaueren Messungen, die Ergebnisse einer Überprüfung werden zuverlässiger und die Interpretationen gültiger. Reliabilität ist deshalb die Grundvoraussetzung für das folgende Testprinzip, die Validität oder Gültigkeit. Die Notwendigkeit, reliable, also konsistente Messungen im Schulkontext bzw. in classroom-based assessmentclassroom-based assessment zu erzielen, wird in der Testforschung erst in jüngster Zeit kontroversiell diskutiert (vgl. z. B. Jang 2012; Turner 2012) – auch in Zusammenhang mit der Ausbildung von FremdsprachenlehrerInnen (vgl. Graham 2005) und dem Begriff der Bewertungskompetenz (assessment literacyassessment literacy, s. Kapitel 10). WissenschaftlerInnen scheinen sich aber einig zu sein, dass die Anwendung psychometrischer Testverfahren mit exakter Datenaufbereitung und -evaluation im Klassenzimmerkontext nicht wirklich zielführend ist (vgl. u.a. Ingenkamp & Lissmann 2008, 173). Der Hauptunterschied zwischen large-scale- und classroom-based testing liegt in „the need for evidence“ (Turner 2012, 68): Summative und formative Bewertung im Klassenzimmer (s. Kapitel 10) hat das vorrangige Ziel, durch FeedbackFeedback den Lehr-/Lernprozess zu gestalten, zu verbessern bzw. zu verändern und neue Lernmöglichkeiten zu eröffnen – high stakes testshigh stakes test verfolgen dieses Ziel nicht. Reliabilität im schulischen Kontext könnte und sollte vor allem durch klare und transparente Angaben hinsichtlich Lern- und Bewertungszielen (learning and assessment intentions) wesentlich verbessert werden (vgl. Rea-Dickens 2006, 182).

4.1.3 ValiditätValidität

Das Testgütekriterium Validität und die Definition des KonstruktsKonstruktInhaltsvalidität: Tests enthalten eine repräsentative Auswahl von Aufgaben., das getestet werden soll, stehen in einer engen Wechselwirkung zueinander. Grotjahn (2006, 223) definiert Validität folgendermaßen: „Die Validität bezieht sich darauf, inwieweit ein Test das erfasst, was er erfassen soll, und inwieweit er zu fairen Entscheidungen führt“. „Das, was er erfassen soll“ verweist auf den TestinhaltKonstruktvalidität: Ein Test misst ein zugrunde liegendes theoretisches Konzept (Modell) von Sprachfähigkeit (language ability).. Klassen-/Schularbeiten müssen inhaltsvalideInhaltsvalidität sein, d.h. sie überprüfen den Sprachstand und somit eine aussagekräftige Auswahl dessen, was an Sprachverwendung und Sprachkompetenz gelehrt bzw. gelernt wurde. Dazu ist es notwendig, im Einklang mit dem Lehrplan zu sein (Quetz 2008), um der curricularen Validität zu entsprechen. Die Klassen-/Schularbeit muss zudem in ein KonstruktKonstruktvalidität, d.h. in ein theoretisches Konzept eingebettet sein; falls der GeR als Referenzquelle für die Erstellung von Tests herangezogen wird, muss die Klassen-/Schularbeit mit dessen Ansatz der Handlungsorientiertheit und seinem kommunikativen Kompetenzmodell kompatibel sein (vgl. Europarat 2001, 2.1, 2.1.2 und Kapitel 2 dieses Bands). Mit anderen Worten: Überprüft die Klassen-/Schularbeit tatsächlich eine repräsentative Stichprobe der sprachlichen Aktivitäten, die sie zu überprüfen vorgibt? Spiegeln die Interpretationen, die auf Basis der Ergebnisse der Klassen-/Schularbeit im Anschluss gemacht werden, das ihr zugrunde liegende Konstrukt wider und lassen diese Ergebnisse Verallgemeinerungen bzw. Rückschlüsse auf real life results zu (vgl. Green 2014, 75)? Wir können es noch anders formulieren: Was bedeutet die Note „Genügend“ im dritten Lernjahr des Wahlpflichtfachs Russisch auf A2-Niveau an einer Allgemeinbildenden höheren Schule (AHS)? Oder die Note „Gut“ im Leistungskursfach Russisch in der gymnasialen Oberstufe einer Gesamtschule? Wenn eine Klassen-/Schularbeit eine Antwort auf diese Frage geben kann, dann hat sie ihren Zweck erfüllt. Damit sie diesen erfüllt, muss sie adäquat gestaltet werden.

Klassen-/Schularbeiten orientieren sich als Leistungstests am Sprachstand der SchülerInnen und daran, ob diese gewisse Unterrichtsziele (des Konstrukts) erreicht haben – sie überprüfen also, „was unterrichtet worden ist“ (Europarat 2001, 9.3.1); aufgrund der am GeR ausgerichteten Lehrpläne ist der Unterricht kompetenzorientiert zu gestalten und Klassen-/ Schularbeiten müssen Bezug auf Kriterien nehmenkriterienorientierte Bewertung, die durch die in einem bestimmten Lernjahr zu erreichende Kompetenzniveaustufe vorgegeben sind1. Laut GeR (Europarat 2001, 9.3, 179) erfordert Kriteriumsorientierung

die Darstellung eines Kontinuums der Sprachkompetenz (vertikal – die Kompetenzniveaustufen von A1–C2) und eines Spektrums relevanter Lebensbereiche (horizontal – die Domänen privater, öffentlicher, beruflicher und bildungsinstitutioneller Bereich), sodass die individuellen Ergebnisse in einem Test mit Bezug auf den gesamten Kriterienbereich situiert werden können.

Das erfordert sowohl die Festlegung relevanter Domänen, die mit der Klassen-/Schularbeit abgedeckt werden sollen, als auch die Festsetzung von Trennwerten oder cut scores (s. Kapitel 5.5 und 7.3), die nötig sind, um den angestrebten Leistungsstand bzw. die entsprechende Niveaustufe zu erreichen. Klassen- und Schularbeiten müssen also die beiden Testgütekriterien InhaltsInhaltsvalidität- und KonstruktvaliditätKonstruktvalidität beachten. Das kann aber nur der Fall sein, wenn über das Schuljahr hinweg das Konstrukt repräsentativ durch die Inhalte der Klassen-/Schularbeiten abgebildet ist. Die KonstruktvaliditätUnterrepräsentation des Konstrukts: Unvollständige oder unzureichende Abbildung des Konstrukts und seiner Teilaspekte in den Testaufgaben einer Klassen-/Schularbeit ist gefährdet, wenn ein Test nur sehr eingeschränkte Teilaspekte des Konstrukts überprüft und das Konstrukt somit im Test unterrepräsentiertKonstruktunterrepräsentation ist, oder wenn Aspekte in die Bewertung einfließen, die eigentlich nicht Teil des beabsichtigten Konstrukts sind und daher zu einer konstrukt-irrelevanten Varianzkonstrukt-irrelevante VarianzKonstrukt-irrelevante Varianz: Einfluss von Faktoren und Fähigkeiten auf das Testergebnis, die nicht Teil des Testkonstrukts sind in den Ergebnissen führen.

Die Definition, ein Test sei valide und somit „qualitativ wertvoll“, wenn er einfach nur das testet, was er vorgibt zu testen, ist inzwischen in den Augen der meisten TestforscherInnen zu eng gefasst2. Obwohl dieses frühe Verständnis nach wie vor zentraler Bestandteil des Validitätsbegriffs ist, sehen viele KonstruktvaliditätKonstruktvaliditätKonstruktvalidität als zentrales Testgütekriterium nicht länger als Teil der Validität – wie etwa AugenscheinAugenscheinvalidität-, InhaltsInhaltsvalidität- oder KriteriumsvaliditätKriteriumsvalidität –, sondern, basierend auf Messick (1989), als allumfassendes Konzept, das es bei der Testerstellung zu berücksichtigen gilt (vgl. Chapelle 2016, 23). Zudem wird in jüngeren Definitionen der Fokus weg von der Validität als Eigenschaft eines Tests hin zur validen Verwendung und Interpretation der Testergebnisse (‚Validierung‘) gelegt, wozu ein assessment use argument herangezogen wird (vgl. Bachman 2005; Weir 2005a; Xi 2008).

Eckes (2015b) spricht sogar von der polymorphen Bedeutung der Begriffe Validität bzw. Validierung, aufgrund derer es schwierig sei, eine klare und eindeutige Definition dieser Begriffe zu bieten. Zusammenfassend hält Eckes als Konsens in der langjährigen Diskussion der Validitäts-/Validierungskonzepte fest, dass Validität keine Eigenschaft eines Tests ist, sondern dass sich Validität auf die Interpretation der Ergebnisse eines Tests und die damit verbundenen Inferenzen bezieht (ebd., 451). Des Weiteren sei Validität von unterschiedlichen Arten bestimmt, von denen die Konstruktvalidität inzwischen eine übergeordnete Position einnehme. Validität sei ferner nicht dichotom (valide/nicht valide), sondern als Kontinuum aufzufassen und als Prozess zu sehen (ebd., 452).

Im schulischen Kontext sind Augenscheinvalidität und KriteriumsvaliditätAugenscheinvalidität: Akzeptanz von Tests Kriteriumsvalidität: Vergleichbarkeit von Tests von unterschiedlicher Bedeutung. Die Augenscheinvalidität hat einen nicht unwesentlichen Einfluss auf SchülerInnen oder Eltern. Weisen Eltern oder SchülerInnen eine Klassen-/Schularbeit oder einen Test als inakzeptabel zurück, weil in ihren Augen das Testformat oder die Art der Prüfung fremd oder die Aufgaben nicht plausibel erscheinen, so hat der Test eine wesentliche Funktion nicht erfüllt und er wird nicht als solcher angenommen. SchülerInnen und Eltern müssen deshalb mit den eingesetzten Testformaten vertraut sein. Die Kriteriumsvalidität kann konkurrent oder prädiktiv festgestellt werden. Wird z. B. ein Test in der Schule mit einem bereits validierten schulexternen Messverfahren, das dasselbe sprachliche Konstrukt wie der Test in der Schule misst, gleichzeitig durchgeführt, so sollten die Ergebnisse idealerweise korrelieren. Man spricht in diesem Fall von konkurrenter Validitätkonkurrente Validität.

Wird das Kriterium erst nach der Messung erhoben, haben wir es mit prädiktiver Validitätprädiktive Validität zu tun. Ein Beispiel hierfür wäre der akademische Erfolg im fremdsprachlichen Ausland, der sich erwartungsgemäß so einstellt, wie er durch die Note (die Bewertung) der Qualifikationsprüfung, die Voraussetzung für die Zulassung zum Studium an der ausländischen Institution war, vorhergesagt wurde.

Von Lehrpersonen entwickelte Prüfungen und Tests können nur ansatzweise valide sein, da die Überprüfung der Validität – so wie bei standardisierten Tests – komplexe Verfahren wie Pilotierungen,Pilotierung FeldtestungenFeldtestung (s. Abschnitt 5.4) und eine statistische Auswertung der Testitems erfordern würde. Dennoch können LehrerInnen Maßnahmen ergreifen, um die Validität ihrer Klassen-/Schularbeitsergebnisse zu erhöhen. Da ReliabilitätReliabilität die Voraussetzung für Validität ist, sollten die o.a. Maßnahmen (s. Abschnitt 4.1.2) nach Möglichkeit umgesetzt werden. Des Weiteren helfen im Schulalltag ein klares Verständnis des zugrunde liegenden theoretischen KonstruktsKonstrukt, die Kenntnis und eine transparente Weitergabe der curricularen Erfordernisse an die SchülerInnen und – darauf aufbauend – gemeinsam mit KollegInnen ausgearbeitete TestspezifikationenTestspezifikationen bzw. TestanleitungenTestanleitung (s. dazu Abschnitt 5.3 und Kapitel 11) sowie die begründete Wahl geeigneter Aufgabenformate. Testspezifikationen beschreiben, was mit einer Klassen-/Schularbeit, einem Test, geprüft werden soll und erleichtern LehrerInnen damit die Erstellung, Durchführung und Korrektur von schulischen Arbeiten, machen diese in Parallelklassen vergleichbar und geben SchülerInnen, Eltern und KollegInnen einen Einblick in die an der Schule gelebte Prüfungskultur. Sie tragen auf diese Weise wesentlich zu einer Transparenz der Leistungsbeurteilung bei.

Fassen wir abschließend zusammen: Objektivität kann bei der Durchführung, Auswertung und Interpretation eines Tests als ObjektivitätTeil der ReliabilitätReliabilität bzw. als eine Bedingung für sie angesehen werden. Klare Durchführungsparameter, transparente Auswertungskriterien und eine konstruktbezogene Interpretation der Ergebnisse helfen, subjektive Theorien einzelner PrüferInnen zu reduzieren.

Reliabilität ist als Voraussetzung für den ValidierungsprozessValidität unabdingbar, garantiert aber an sich noch keine Validität. Für den schulischen Kontext stellt sich also nicht die Frage, ob Validität oder Reliabilität das Testprinzip ist, das eher umgesetzt werden kann bzw. soll (vgl. Kranert 2013, 10), da beide Gütekriterien für eine qualitativ hochwertige Leistungsmessung erforderlich sind. Betrachtet man obendrein KonstruktvaliditätKonstruktvalidität als das umfassende Kriterium, das Inhalt, Vergleichbarkeit und AugenscheinAugenscheinvalidität einschließt, so wäre diese Diskussion im Grunde ohnehin obsolet.

Der GeR unterstützt das Verständnis für das zugrunde liegende sprachliche Konstrukt auch für Testverfahren, die unter den Begriff classroom-based assessmentclassroom-based assessment bzw. instruction-embedded assessment fallen (Rea-Dickens 2004). Mit Quetz (2008) kann treffend geschlossen werden: So wie wir im schulischen Kontext lehren und unterrichten – kommunikativ, handlungs- und kompetenzorientiertKompetenzorientierung –, sollten wir auch testen und prüfen.

Die folgende Abbildung 1 bietet abschließend eine Übersicht über die Testgütekriterien, die einzelnen Formen und Kategorien sowie Messverfahren bzw. -methoden.

Abb. 1: Testgütekriterien Objektivität – Reliabilität – Validität

4.2 Authentizität, Washback, Praktikabilität

Validität und Reliabilität sind die zentralen Gütekriterien, die ein Test jeglicher Art, und damit auch ein Sprachtest, erfüllen soll, um adäquate Resultate hervorzubringen. Eng mit diesen beiden Grundprinzipien verknüpft sind weitere Prinzipien, die bei der Entwicklung und Verwendung von Sprachtests zu berücksichtigen sind. Während TestforscherInnen unterschiedliche Prinzipien nennen bzw. in den Vordergrund stellen, scheinen die folgenden in den meisten Auflistungen auf: Authentizität, WashbackWashback und PraktikabilitätPraktikabilität (Bachman & Palmer 1996). Diese sollen im Folgenden erläutert werden.

4.2.1 AuthentizitätAuthentizität

Bachman & Palmer (1996) definieren AuthentizitätAuthentizität: Testaufgaben sind realen Sprachhandlungssituationen möglichst ähnlich. als den Grad der Übereinstimmung der Charakteristika einer Testaufgabe mit denen einer realen, lebensweltlichen Aufgabe oder Handlung in der Zielsprache. Authentizität könnte damit auch als Teilaspekt von ValiditätValidität aufgefasst werden, weshalb beispielsweise Weir (2005a) dieses Konzept als Bestandteil von KontextvaliditätKontextvalidität anführt. Um eine möglichst treffsichere Aussage darüber machen zu können, wie gut die Performanz von Lernenden ihre sprachlichen Fähigkeiten im wirklichen Leben abbildet oder diese vorhersagt, ist es notwendig, dass Testmaterialien und Testbedingungen diese zielsprachliche Handlung oder Situation so gut wie möglich replizieren (vgl. McNamara 2000; Stadler 2015b). Bachman & Palmer (1996) argumentieren, dass nur ein Test, der das Prinzip der Authentizität ausreichend berücksichtigt, Generalisierungen und Interpretationen zulässt, die über die erbrachten Testresultate hinausgehen. Morrow (1991) und Wood (1993) betonten bereits Anfang der 1990er Jahre gerade für kommunikativ ausgerichtete Sprachtests die Wichtigkeit von Authentizität, da diese Tests Aussagen über die kommunikative und interaktive Kompetenz der KandidatInnen im realen Leben generieren (authentic assessment) und nicht nur Aussagen über abstrakte Teilfertigkeitsbereiche oder -kompetenzen wie z. B. syntaktisches Wissen zulassen sollen. In diesem Sinne spricht man von einem hohen Grad an Authentizität, wenn Testaufgaben und reale Aufgaben einander möglichst entsprechen. Mit anderen Worten: Wer anhand eines Tests eine Aussage darüber machen will, wie gut jemand eine authentische mündliche Interaktion im Zielsprachenland bewältigen wird, sollte eine möglichst lebensnahe Testaufgabe bereitstellen. Daher sollen moderne Sprachtests auch die Fähigkeit der Lernenden überprüfen, die Zielsprache spontan zu verwenden. Laut Alderson & Cseresznyés (2003) ist der Schlüssel zu kommunikativen Sprachtests, Lernende Aufgaben lösen zu lassen, die sich an echten zielsprachlichen Aufgaben orientieren. Authentizität ist in diesem Sinne auch für die AugenscheinvaliditätAugenscheinvalidität eines Tests ausschlaggebend.

Authentizität beinhaltet nicht allein die Verwendung von nicht adaptierten Lese- und Hörmaterialien (TextauthentizitätTextauthentizitätTextauthentizität: Authentische vs. didaktisierte und adaptierte Texte), sondern meint vor allem die Echtheit und Lebensnähe der Aufgabenstellung bzw. ihre Wahrnehmung als authentisch und interaktiv (Widdowson 1978). Da in der Literatur neben Text- und Aufgabenauthentizität verschiedene Formen von Authentizität diskutiert werden, ist es legitim zu fragen, welche Form der Authentizität diesen wichtigen Einfluss auf die Performanz denn ausübt. Es scheint Einigkeit darüber zu herrschen, dass der die Performanz bestimmende Einfluss eher von einer authentischen Interaktion der TestkandidatInnen mit dem Text herrührt als von der (Nicht-)Originalität des verwendeten Inputs (vgl. Lewkowicz 2000, 45).

In der Berücksichtigung des Authentizitätsprinzips liegen jedoch oft große Schwierigkeiten für LehrerInnen als TesterstellerInnen. Zum einen ist es mitunter schwierig bis unmöglich, authentische, nicht vereinfachte Texte für LernerInnen auf niedrigem Niveau zu finden, und selbst wenn dies möglich ist, sind urheberrechtliche Fragen bei der Verwendung oft ungeklärt. Zum anderen sind die Texte durch die Entnahme aus dem ursprünglichen Kontext und die Tatsache, dass sie nunmehr für Testaufgaben genutzt werden, immer zu einem gewissen Grad simulativ und damit nicht mehr authentisch (vgl. Grabe 2009a). Während die gewählte Kommunikationssituation für einen task sehr authentisch sein kann (SituationsauthentizitätSituationsauthentizitätSituationsauthentizität: Authentizität der gewählten Kommunikationssituation), ist die angestrebte Interaktion zwischen Situation/Text und KandidatIn (InteraktionsauthentizitätInteraktionsauthentizitätInteraktionsauthentizität: Authentizität der Interaktion zwischen Situation/Text und KandidatIn) viel schwerer zu erreichen, denn diese wird davon abhängen, was der/die KandidatIn mit dem Text macht, d.h. wie er/sie ihn versteht und bearbeitet, wie er/sie die Aufgabe löst. TesterstellerInnen können und sollten sich jedoch zum Ziel setzen, Aufgaben so lebensnah wie möglich zu gestalten (vgl. Spolsky 1985). Bachman & Palmers (1996, 49f.) task characteristics framework oder ihr aktuelleres Schema des assessment use argument (Bachman & Palmer 2010) stellen eine Unterstützung dar, um die Eigenschaften von Testaufgaben und lebensnahen Aufgaben zu evaluieren und zu vergleichen. Das Schema leitet zu einer umfassenden Charakterisierung von Testaufgaben und zu realen Sprachhandlungsaufgaben an und erlaubt damit einen systematischen Vergleich von Aufgabeneigenschaften (task characteristics).

4.2.2 Washback

Das Konzept des WashbacksWashback eines Tests trägt dem Umstand Rechnung, dass Sprachtests nicht abgekoppelt von einem gegebenen Kontext existieren oder entwickelt werden. Sprachtests haben reale Auswirkungen und Funktionen, sowohl auf der Makroebene (Schulsystem und Gesellschaft) als auch auf der Mikroebene (Unterrichtsklasse und Individuen) (vgl. Bachman & Palmer 1996; Wall 1997). Diese Auswirkungen können positiv oder negativ sein (Brown & Hudson 2002) bzw. als solche wahrgenommen werden (Alderson & Wall 1993) und sowohl Individuen (LernerInnen, LehrerInnen, …) als auch Systeme betreffen. Sprachtests entscheiden bspw. über Zugang zu tertiärer Bildung (Abitur, Reife- oder Diplomprüfung), Zulassung zu Arbeits- und Studienmöglichkeiten im Ausland (z.B. Pearson Academic Test of English (PTE Academic), Test of English as a Foreign Language (TOEFL), International English Language Testing System (IELTS), Occupational English Test (OET) etc.) oder auch über Einwanderungs- und Einbürgerungsbescheide (McNamara & Roever 2006).

Auswirkungen von Tests auf Institutionen, größere schulische oder politische Systeme oder die Gesellschaft als Ganzes werden gemeinhin als ImpactWashback: Auswirkungen eines Tests auf den Unterricht, das Lernen und Lehren sowie die involvierten Personen bezeichnet. Als Washback (oder auch BackwashBackwash) wird speziell der Rückkoppelungseffekt benannt, den Tests auf das Lehren und Lernen von Sprachen, also den Schulunterricht, haben (Hughes 2003)Impact: Auswirkungen von Tests auf das soziale oder politische System und auf das Bildungssystem. Was Teil eines Tests ist, wird im Allgemeinen als wichtig, lern- und unterrichtenswert wahrgenommen. Testinhalte und -praktiken wirken daher oft in verschiedenen Formen auf den Fremdsprachenunterricht. Dies ist sogar wünschenswert, denn Lehren, Lernen und Testen sollten nicht abgekoppelt voneinander oder isoliert betrachtet werden, sondern als gegenseitige Ergänzung und damit integriert gesehen werden (s. Kapitel 10). Es gilt dabei für LehrerInnen, den Balanceakt zwischen solider Testvorbereitung und dem zu Recht kritisch gesehenen teaching-to-the-testteaching-to-the-testTeaching-to-the-test: Unterricht, der ausschließlich auf Testvorbereitung ausgerichtet ist zu meistern. Cheng (2008) hält fest, dass Tests häufig beeinflussen, was gelehrt wird, aber nur bedingt, wie unterrichtet wird (s. auch Alderson & Wall 1993; Cheng 2005), was damit zusammenhängen mag, dass Inhalte einfacher zu gestalten, zu ändern und umzusetzen sind als Unterrichtsmethoden, die meist auf langjähriger Praxis beruhen.

Das Kriterium des erwarteten positiven Washbacks wird von vielen als derart wichtig eingestuft, dass es mittlerweile auch als Basis einiger prominenter Validierungsmodelle fungiert. Bachman & Palmers (2010) assessment use argument geht beispielsweise davon aus, dass der Start- und Endpunkt jeglicher Testkonstruktion und -verwendung die Frage nach den erwünschten Konsequenzen sein muss. Während die Auswirkungen von Tests bereits in früheren Validitätskonzeptionen mitgedacht wurden (vgl. Messick 1989; Weir 2005a), baut Bachman & Palmers Ansatz deutlich stärker auf diesem Kriterium auf und stellt es gewissermaßen über die anderen Prinzipien. Eine Fokussierung auf die Frage nach dem „Warum“ des Testens ist zwar wünschenswert, dennoch birgt eine solche Schwerpunktsetzung durchaus Probleme in sich, da Konsequenzen nur selten abzuschätzen und klar zu bewerten sind (Bailey 1996; Fulcher 2014). McNamara (2000) hält fest, dass WashbackWashback nicht nur von einem Testinstrument selbst, sondern auch von zahlreichen anderen Faktoren wie den lokalen Bedingungen in einer Klasse, den etablierten Lehr- und Lerntraditionen, der Motivation der Beteiligten und der Interaktionsdynamik in einer Lerngruppe abhängig sein kann. In diesem Sinne ist es wichtig, die individuellen und sozialen Konsequenzen von Tests zu berücksichtigen und ggf. auch entsprechend zu hinterfragen.

Hughes (2003) schlägt Fremdsprachenlehrenden folgende Strategien vor, um positiven Washback für den Unterricht zu erwirken:

 Überprüfen Sie die sprachlichen Fertigkeiten, Fähigkeiten und Kompetenzen, die Sie fördern wollen, anstatt das zu überprüfen, was sich leicht überprüfen lässt.

 Testen Sie direkt und authentisch, um die Kongruenz zwischen Unterrichtszielen und Testschwerpunkten zu erhöhen.

 Stellen Sie sicher, dass LernerInnen mit dem Test, seinen Formaten und Anforderungen vertraut sind.

 Bewerten Sie kriterienorientiertkriterienorientierte Bewertung anstatt normorientiertnormorientierte Bewertung, um den LernerInnen ein klares Bild über ihre Erfolge und Entwicklungen zu ermöglichen, unabhängig von der Performanz anderer.

 Tauschen Sie sich mit FachkollegInnen über Tests und Bewertungsmethoden aus.

Wall & Alderson (1993), Cheng, Watanabe & Curtis (2004) sowie Cheng (2008) merken jedoch in ihren Studien und Analysen an, dass ein Washback-Effekt nicht zwangsläufig entstehen muss. Vielmehr obliegt es LehrerInnen und TestexpertInnen systematisch zu untersuchen, ob ein solcher Effekt vorhanden ist und wie dieser zu interpretieren ist.

4.2.3 PraktikabilitätPraktikabilität

Jede Entwicklung, Durchführung und Auswertung von Sprachtests erfordert menschliche, räumliche und/oder finanzielle Ressourcen. Sprachtests müssen daher praktikabel und rentabel sein. Das Gütekriterium der PraktikabilitätPraktikabilität: Kosten-Nutzen-Rechnung: Ein Test ist praktikabel, wenn er nicht mehr Ressourcen in Anspruch nimmt als nötig. ist kaum zu unterschätzen. Bachman & Palmer (2010, 232) definieren Praktikabilität als einfache Gleichung, die ein positives Ergebnis aufweisen sollte: Praktikabilität = verfügbare Ressourcen – benötigte Ressourcen.

Praktikable Tests sind demnach Tests, deren Entwicklung und Verwendung nicht mehr Ressourcen benötigen als vorhanden sind. Ressourcen können dabei sowohl finanzieller, materieller, zeitlicher, personen- oder kompetenzbezogener Natur sein (Bachman & Palmer 2010). Ein Test muss einfach und kostengünstig zu erstellen, zu administrieren, auszuwerten und zu interpretieren sein (Hughes 2003). Das Kriterium der Praktikabilität betrifft beinahe alle Entscheidungen, die im Rahmen der Testerstellung und -durchführung getroffen werden. Dies gilt sowohl im Rahmen von Klassen-/Schularbeiten oder Mitarbeitsüberprüfungen als auch für QualifikationsprüfungenQualifikationsprüfung wie das deutsche Abitur oder die österreichische teilzentrale SRDP. Selbstverständlich ist zu beachten, dass Tests, bei denen mehr für alle Beteiligten auf dem Spiel steht, auch ein größeres Volumen an Ressourcen erfordern dürfen und müssen, als dies bei Klassen-/Schularbeiten der Fall ist, um sicherzustellen, dass die Testgütekriterien der Validität und Reliabilität erfüllt sind (Bachman & Palmer 1996).

Sind Tests nicht praktikabel, werden sie entweder nicht eingesetzt oder sie sind auf Dauer nicht verwend- oder recyclebar (Bachman & Palmer 2010). Die Praktikabilität eines Tests ist schon vor Beginn der Testentwicklung zu bedenken. Sie soll jedoch keine leichtfertige Ausrede für eventuelle Schwächen eines Tests, wie z. B. den Verzicht auf PilotierungPilotierung oder Ähnliches sein. Im schulischen Kontext kann besonders die Arbeit mit FachkollegInnen anderer Klassen helfen, Tests trotz limitierter Ressourcen nach einem Best Practice-Modell zu erstellen und durchzuführen.

4.3 Neuere Konzeptionen

Bei dieser Vielzahl an Kriterien, die zu berücksichtigen sind, wäre es unrealistisch, eine hundertprozentige Umsetzung in allen Bereichen zu erwarten (Bachman & Palmer 1996). Die Überprüfung einer Sprache besteht immer aus Kompromissen, bei denen die einzelnen Kriterien abhängig vom Zweck des Tests/der Prüfung gegeneinander abgewogen werden müssen. Ein Test mit denkbar höchster ValiditätValidität und ReliabilitätReliabilität wird nicht verwendet werden, wenn er beispielsweise nicht praktikabel ist.

Die Konzeptualisierungen all der oben genannten Prinzipien sowie deren Beziehungen zueinander unterlagen über die Jahrzehnte einem ständigen Wandel. Alle Prinzipien eint allerdings die zentrale Rolle der Validität, wie auch immer diese definiert sein mag. So sieht beispielsweise Weir (2005a) eine Rückwirkung aller oben genannten Prinzipien auf die Gesamtvalidität eines Tests und verankert diese terminologisch, indem er sie als „scoring validity“ (= u.a. Reliabilität), „context validity“ (= u.a. AuthentizitätAuthentizität) oder „consequential validity“ (= u.a. WashbackWashback) bezeichnet. Da Validität jedoch ein komplexes und abstraktes Konzept ist, wird der Fokus in neueren Modellen oft weg vom theoretischen Konzept hin zur praktischen Validierung, d.h. der Erbringung empirischer Daten zum Nachweis von Validitätsannahmen, gelegt. In Anlehnung an Toulmins Argumentationsanalyse sprechen diese modernen Modelle von Validitätsargumenten, die schlüssig erbracht werden müssen, um die Qualität von Tests zu belegen. Die Modelle von Kane (2004, 2006, 2012) und Bachman & Palmer (2010) stellen daher die Ziele, die mit der Verwendung eines Tests verfolgt werden, in den Vordergrund. Beide Modelle definieren Validierung als erforderliche Beweislegung für Aussagen und Schlussfolgerungen, die auf der Basis von Testresultaten getätigt werden, um deren Plausibilität transparent zu machen. Obwohl dies im ersten Moment das schwer fassbare Konzept der Validität zu umgehen scheint, fällt bei genauerer Betrachtung auf, dass auch diese Modelle, trotz innovativer Terminologie, die oben diskutierten Kernprinzipien kaum außer Acht lassen können. Für Bachman & Palmers (2010) Kriterien „nutzbringend“, „fair“, „generalisierbar“, „sinnvoll“, „neutral“, „relevant“, „ausreichend“ und „konsistent“ können daher relativ leicht Äquivalente aus den oben erläuterten „traditionellen“ Gütekriterien gefunden werden. Während diese neuen Modelle also zweifelsfrei den Vorteil haben, dass sie methodische und praktische Anliegen in der Validierung ebenso in den Vordergrund rücken wie die Frage nach der beabsichtigten Zielsetzung eines Sprachtests, so kommen sie dennoch nicht ohne die klassischen Kriterien aus.

Arbeitsaufträge und Diskussionsfragen

1 Wie können Sie eine Klassen-/Schularbeit für Ihren Unterricht möglichst durchführungsobjektiv gestalten?

2 Wie würden Sie KollegInnen/SchülerInnen das Testprinzip „Reliabilität“ mithilfe eines praktischen Beispiels aus dem Alltag erklären?

3 Wie verstehen Sie folgendes Zitat aus Kranert (2013, 10)? „Für das nicht formale Prüfen im Rahmen von Schule und Universität, d.h. für nicht standardisierte Prüfungen, ist wichtig, dass ein Test mit geringer Validität und hoher Reliabilität gut für die Differenzierung zwischen den Leistungen von Prüflingen geeignet ist.“ Würden Sie Kranert nach der Lektüre dieses Kapitels zustimmen oder sein Argument widerlegen wollen?

4 Denken Sie an einen Test, den Sie kürzlich erstellt oder durchgeführt haben. Wie schätzen Sie den Washback dieses Tests ein? Bedenken Sie mögliche positive und negative Wirkungen.

5 Überlegen Sie, welche Faktoren bei der Erstellung einer Klassen-/Schularbeit bzw. eines Tests berücksichtigt werden sollen, um dem Prinzip der Authentizität gerecht zu werden. Welche Rolle spielen dabei Alter der Lernenden, ihr Geschlecht, das Vorwissen oder affektive Faktoren?

Weiterführende Literatur

Alderson, J. Ch., Clapham, C. & Wall, D. (1995): „Validation“. In: Language Test Construction and Evaluation. Cambridge: Cambridge University Press, 170–196. Dieses Kapitel in einem der klassischen Einführungswerke zum Sprachtesten gibt einen anschaulichen Überblick über die wichtigsten Arten von Validität inklusive Beispielen aus der Testpraxis und einer Checkliste, mit welchen Forschungsdesigns und -instrumenten diese Validitätsarten untersucht und evaluiert werden können. Sehr gut geeignet für eine erste terminologische Orientierung, auch wenn sich die Ansätze in der Validierungsforschung seit dieser Publikation natürlich weiterentwickelt und zum Teil geändert haben.

Carr, N.T. (2011): „Validation“. In: Carr, N.T.: Designing and Analyzing Language. Oxford Handbooks for Language Teachers. Oxford: Oxford University Press, 151–163. Dieses Kapitel beschreibt kurz die historische Entwicklung des Validitätsbegriffs und stellt gängige Validierungskonzepte dar. Der Fokus liegt dabei auf den derzeit vor allem im amerikanischen Raum prominenten Validitätsargumenten, wie dem Assessment Use-Argument von Bachman und Palmer (2010), und der Wichtigkeit von Entscheidungen und Konsequenzen, die aus Testergebnissen resultieren und daher nach Ansicht vieler TestforscherInnen Teil der Testvalidierung sein sollen.

Fulcher, G. (2010): „Introducing Reliability“. In: Fulcher, G.: Practical Language Testing. London: Hodder Education, 46–59. Dieser Beitrag in einem weiteren aktuellen und praktisch orientierten Standardwerk zur Einführung in das Sprachtesten bietet eine kurze Einführung in das Konzept der Reliabilität und die wichtigsten Faktoren, die diese beeinflussen können. Das Kapitel beinhaltet außerdem eine einfache Anleitung zur händischen Errechnung von Reliabilitätskoeffizienten. Weitere Kapitel im Buch orientieren sich an einzelnen Stadien der Testerstellung und geben einen hilfreichen Einblick in zentrale Überlegungen bei jeder dieser Phasen.

Lewkowicz, J. (2000): „Authenticity in Language Testing: Some Outstanding Questions“. In: Language Testing 17 (1), 43–64. Ein komprimierter und leicht verständlicher Überblick zum Thema Authentizität im Fremdsprachenlehren und -testen, inklusive historischem Abriss über die Entwicklung des Konzepts seit den 1970er Jahren.

5. Die Erstellung von Testaufgaben: Der TestentwicklungszyklusTestentwicklungszyklus

Kathrin Eberharter, Benjamin Kremmel, Matthias Zehentner

Kann-Beschreibungen

Ich kann

 verschiedene Testzwecke nennen und erklären.

 die Bedeutung der Konstruktdefinition in einem Testentwicklungszyklus erläutern.

 die unterschiedlichen Bereiche von Testspezifikationen beschreiben und deren Bedeutung erläutern.

 Evaluierung, Prototypisierung und Pilotierung unterscheiden.

 Standard-Setting und Benchmarking sowie ihre jeweiligen Anwendungsbereiche erklären.

Die Erstellung eines Tests kann in drei wesentliche Arbeitsschritte unterteilt werden (vgl. Bachman & Palmer 1996; McNamara 2000):

 Entwurf

 Operationalisierung

 Durchführung.

In der Entwurfphase werden der TestzweckTestzweck, die Zielgruppe, das TestkonstruktKonstrukt und die zu testenden Domänen der zielsprachlichen Verwendung definiert und beschrieben. Die Operationalisierungsphase besteht aus zwei Schritten: Zunächst wird der Test in seiner Gesamtheit definiert und die Formate der einzusetzenden Testaufgaben werden innerhalb der einzelnen Testteile durch die Erstellung von TestspezifikationenTestspezifikationen festgelegt. Anschließend werden die Testaufgaben auf Basis der Testspezifikationen erstellt. In der letzten Phase wird ein Test – im Idealfall nach einer Erprobung (PrototypisierungPilotierung) und Pilotierung respektive FeldtestungFeldtestung – tatsächlich durchgeführt.

Auf den ersten Blick mag dieser Entwicklungsprozess Testentwicklung ist nicht linear, sondern ein sich ständig wiederholender Zyklus.linear erscheinen. In der Tat bietet aber jede Durchführung eines Tests wertvolle Rückschlüsse für die ersten beiden Phasen und generiert empirische Daten, die zur Validierung des Tests genutzt werden können. Aus diesem Grund spricht man in der Testerstellung von Testentwicklungszyklen, deren Phasen sich wiederholen und immer wieder zu Überarbeitungen aller Aspekte eines Tests führen können.

Abb. 1: Testentwicklungszyklus adaptiert nach Fulcher (2010, 94)

Im folgenden Kapitel sollen basierend auf Fulcher (2010) die einzelnen Phasen eines TestentwicklungszyklusTestentwicklungszyklus vorgestellt und näher beschrieben werden (s. Abb. 1).