Kitabı oku: «Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts», sayfa 8
3.2.5 Allgemeinsprachliche vs. wissenschaftliche Evaluation
Ein weiterer wichtiger Aspekt, der im Hinblick auf die Verwendung des Begriffs Evaluation Klarheit schaffen soll, ist die Abgrenzung der allgemeinsprachlichen Evaluation von der wissenschaftlichen Evaluation. Spricht man von einer allgemeinsprachlichen Evaluation, wie etwa jener im oben angeführten Zitat von Kromrey (vgl. 2001:21) bei welcher irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet wird, oder handelt es sich um eine Evaluation im wissenschaftlichen Kontext, die auch wissenschaftlichen Kriterien und Standards gerecht werden muss? Für letztere sind, wie Stockmann (2004:2) ausführt, »empirische Methoden zur Informationsgewinnung und systematische Verfahren zu Informationsbewertung anhand offengelegter Kriterien« erforderlich, »die eine intersubjektive Nachprüfbarkeit möglich machen«.
Kromrey (2001:22) verdeutlicht diesbezüglich, dass bei einer wissenschaftlichen Evaluation nicht irgendetwas beurteilt werden soll, sondern »ein eindeutig zu definierender und empirisch abgrenzbarer Gegenstand oder Sachverhalt«. Zudem ist nicht irgendjemand für die Informationssammlung und Analyse zuständig, sondern »eine mit der notwendigen Kompetenz versehene Evaluations-Instanz«. Darüber hinaus soll nicht nach irgendwelchen Kriterien und nicht in irgendeiner Weise evaluiert werden, sondern »nach explizit auf den Sachverhalt bezogenen und begründeten Beurteilungskriterien und Standards, sowie in einem objektivierten Verfahren im Rahmen eines im Detail geplanten Evaluationsdesigns«.
Demgemäß müssen, wenn es sich bei einer Evaluation nicht nur um die einfache Abgabe eines subjektiven Werturteils handeln soll, wie dies bei den in 1.3 analysierten Evaluationsmodellen vielfach der Fall war, sondern wenn es sich um eine Evaluation im wissenschaftlichen Kontext handelt, wesentliche Kennzeichen und Kriterien erfüllt bzw. Standards berücksichtigt werden, die eine empirisch-wissenschaftliche Evaluation von einer Alltagsbewertung unterscheiden.
3.2.5.1 Kennzeichen wissenschaftlicher Evaluation
Wottawa/Thierau (vgl. 1998:14) führen folgende Kennzeichen für eine wissenschaftliche Evaluation an:
1 Evaluation dient als Planungs- und Entscheidungshilfe und hat daher etwas mit der Bewertung von Handlungsalternativen zu tun.
2 Evaluation ist ziel- und zweckorientiert. Ihr primäres Ziel besteht darin, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.
3 Evaluationsmaßnahmen sollten dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein.
Neben den drei genannten Kennzeichen führen sie (ibid.) zudem an, dass ethisch-moralische Überlegungen nicht vernachlässigt werden dürfen, denn EvaluatorInnen »verändern durch ihre Arbeit beratend (manchmal sogar als Entscheider) die Lebensumstände anderer Menschen gezielt und erheben dabei den Anspruch, aufgrund ihrer ›Wissenschaftlichkeit‹ über Kompetenzen zu verfügen, die dem ›Laien‹ fehlen«.
3.2.5.2 Kriterien wissenschaftlicher Evaluation
Für Stockmann (vgl. 2010:66) zeichnet sich eine wissenschaftliche Evaluation durch folgende Kriterien aus:
1 Die Evaluation ist auf einen klar definierten Gegenstand bezogen.
2 Für die Informationsgenerierung werden objektivierende empirische Datenerhebungsmethoden eingesetzt.
3 Die Bewertung erfolgt explizit auf den zu evaluierenden Sachverhalt und anhand präzise festgelegter und offengelegter Kriterien.
4 Die Bewertung wird mit Hilfe systematischer Verfahren vorgenommen.
5 Die Evaluation wird von dafür besonders befähigten Personen (EvaluatorInnen) durchgeführt.
6 Ziel der Evaluation ist, auf den Evaluationsgegenstand bezogene Entscheidungen zu treffen.
Zudem stellen Evaluationen keinen Selbstzweck dar und sind nicht nur dem puren Erkenntnisinteresse verpflichtet, sondern sollen einen Nutzen stiften und dazu beitragen, Prozesse transparent zu machen, Wirkungen zu dokumentieren und Zusammenhänge aufzuzeigen, um dadurch Entscheidungen treffen zu können, die dazu beitragen, die Qualität einer Maßnahme, eines Programms oder einer Dienstleistung zu optimieren (vgl. Stockmann 2006:65).
Ist im wissenschaftlichen Kontext der systematische Zugang essentiell, stellt dieser im Alltag keine Notwendigkeit dar. In beiden Fällen verfolgt die Evaluation jedoch ein bestimmtes Ziel oder einen bestimmten Zweck, wie z.B. auf Basis der aus der Evaluation gewonnenen Erkenntnisse eine Entscheidung zu treffen, die zu einer Optimierung eines Prozesses oder Produktes – im konkreten Fall, des universitären Fremdsprachenunterrichts – führt.
Damit eine wissenschaftliche Evaluation auch die für jede andere wissenschaftliche Untersuchung geforderten Kriterien der Neutralität, Objektivität, Validität und Reliabilität erfüllt, ist eine Herangehensweise zu wählen, die man auch für andere wissenschaftliche Untersuchungen anwenden würde: Zuerst ist eine Fragestellung zu formulieren, dann muss eine Methode gewählt und beschrieben werden, die jene Daten erhebt, die zur Beantwortung der Frage führen. Der bewertende Aspekt, der bei einer Evaluation besonders stark im Vordergrund steht, darf jedoch nicht mit der Abgabe eines subjektiven Werturteils verwechselt werden. Hier ist von eminenter Wichtigkeit, dass die Kriterien, anhand welcher der Ist-Soll-Vergleich durchgeführt wird, sich auf wissenschaftliche Erkenntnisse stützen, exakt festgelegt werden und nicht nur für alle nachvollziehbar sind, sondern sich auch auf etablierte Standards beziehen, wie beispielsweise die Evaluationsstandards und die ESG.
3.3 Evaluationsmodelle
Neben dem jeweiligen Kontext, der bei jeder Evaluation zu berücksichtigen ist, ist stets auch eine konkrete Fragestellung zu formulieren. Diese beinhaltet nicht nur, was evaluiert werden soll, sondern auch, warum man dies tut und welche Ergebnisse man erwartet bzw. welche Methoden sich für eine bestimmte Evaluation am besten eignen. Je nachdem, welcher Kontext gegeben ist und wie die Frage(n) beantwortet wird/werden, ergibt sich ein Evaluationsansatz (oder mehrere), der für die bestimmte Situation besser geeignet ist als andere.
3.3.1 Allgemeine Evaluationsmodelle
Nachdem WissenschaftlerInnen zu bestimmten Fragestellungen unterschiedliche Zugänge haben bzw. aus unterschiedlichen Disziplinen kommen und zudem die Absichten, die sie mit einer Evaluation verbinden, höchst verschieden sein können, hat sich im Laufe der letzten 60 Jahre eine Vielzahl an Evaluationszugängen und -ansätzen entwickelt (für eine Übersicht siehe z.B. Balzer 2005, Kapitel 4), die die Basis jeglicher Evaluationsforschung bilden – oder um es in den Worten von Gollwitzer/Jäger (vgl. 2009:32) zu sagen: Evaluationsforschung kommt ohne Evaluationsmodelle bzw. Theorien nicht aus. Ihr würde dann der Begründungszusammenhang fehlen.
Mittlerweile zeichnen sich die Evaluationsansätze bzw. -modelle jedoch durch eine »immense Vielfalt« aus, wie auch Meyer/Stockmann (2010:101) feststellen, und das, obwohl die Evaluationsforschung als eigenes Forschungsgebiet im Vergleich zu anderen wissenschaftlichen Disziplinen eine relativ kurze Geschichte hat, wie Rindermann (vgl. 2009:11) festhält. Zudem differieren die einzelnen Evaluationsansätze mitunter relativ stark voneinander, verfügen aber zugleich auch über einige Gemeinsamkeiten und Überschneidungen, was eine einwandfreie Abgrenzung bzw. Klassifizierung erschwert.
Nicht nur, dass die einzelnen Evaluationsansätze sehr zahlreich sind – Stockmann (vgl. 2010:11) spricht sogar davon, dass es wahrscheinlich so viele Evaluationsansätze wie EvaluatorInnen gibt, auch die Zugänge hinsichtlich deren Klassifizierungen in bestimmte Gruppen sind aufgrund ihrer Anzahl mittlerweile nur mehr schwer zu überblicken. Analysiert man die Literatur zu den einzelnen Evaluationsmodellen bzw. den Klassifizierungen, so lässt sich feststellen, dass sich im Laufe der Zeit unterschiedlichste Systematisierungsvorschläge etablierten, die jedoch aufgrund der Komplexität und Menge an Evaluationsmodellen vielfach nicht unproblematisch sind und die eigentlichen Herausforderungen, die mit Evaluationen einhergehen, nicht erleichtern.
Aufgrund dessen, des Umfangs der Evaluationstheorien und Ansätze und der Tatsache, dass das zentrale Thema dieses Buches das Evaluieren von Lehrveranstaltungen durch Studierende darstellt, wird an dieser Stelle nicht näher auf die allgemeinen Evaluationsmodelle eingegangen, sondern der Fokus auf die unterschiedlichsten Ansätze bei Lehrveranstaltungsevaluationen gelegt, von denen in Folge einige der wichtigsten diskutiert werden.
3.3.2 Lehrveranstaltungsbezogene Modelle
Der exakte Typ der Evaluation, der bei Lehrveranstaltungsevaluationen zum Einsatz kommt, kann von Institut zu Institut unterschiedlich sein und je nach gewähltem inhaltlichen Schwerpunkt unterschiedlichen Modellen zugeordnet werden (vgl. Rindermann 2009:27). Vielfach ist es auch nicht zu 100 Prozent möglich, einen bestimmten Ansatz festzulegen, weil es sich oftmals um eine Kombination mehrerer Evaluationsansätze, um sogenannte Mischtypen, handelt.
Lehrveranstaltungsevaluationen haben daher in der Regel keinen fixen Typus und könnten, wenn man dies so will, u.U. sogar als eigener Evaluationstyp betrachtet werden. Dies kann auch durch die Tatsache begründet werden, dass sie sich von herkömmlichen Evaluationen in einigen Belangen unterscheiden und in der Weise, wie sie in den in Kapitel 1 analysierten universitären Fremdsprachenzentren zum Einsatz kommen, eher eine Rückmeldung, ein Feedback an die Lehrpersonen darstellen, als eine Evaluation im eigentlichen Sinne.
Rindermann (vgl. 2009:27) stellt fest, dass hauptsächlich folgende Evaluationstypen bei Lehrveranstaltungsevaluationen zum Einsatz kommen:
1 Lernzielgesteuerte Evaluation,
2 Entscheidungsgesteuerte Evaluation,
3 Nutzenorientierte Evaluation,
4 Kennerschaftsgesteuerte Evaluation,
5 Beteiligteninteressensgesteuerte Evaluation,
6 Qualitätsentwickelnde Evaluation.
Auf diese Evaluationstypen soll nun detailliert eingegangen werden, weil sie bzw. einzelne ihrer Elemente auch als Basis für das in diesem Buch konzipierte Modell der Komplexen Dynamischen Evaluation zu sehen sind. In diesem Kapitel werden zuerst die einzelnen Modelle und Ansätze vorgestellt und deren potentielle Anwendung auf den universitären Fremdsprachenunterricht diskutiert, bevor im Anschluss daran (siehe Abschnitt 3.4) jene Aspekte angeführt werden, die im Rahmen der KDE zum Einsatz kommen.
3.3.2.1 Lernzielgesteuerte Evaluation
Die lernzielgesteuerte oder auch programmzielorientierte Evaluation kann als der klassische Evaluationsansatz gesehen werden, anhand welcher die Resultate eines bestimmten Programms mit konkreten, zuvor bestimmten Zielen verglichen werden.
Einer der ersten und vielleicht wichtigsten Vertreter der zielorientierten/zielgesteuerten Evaluation war Ralph Tyler, dessen Forschungsschwerpunkt in der Curriculumforschung bzw. in der Entwicklung der lernzielorientierten Evaluation lag. Da das Curriculum auch im modernen universitären Fremdsprachenunterricht vor allem auch beim Planen von Lehr- bzw. Lernzielen und beim Organisieren des Unterrichtsgeschehens zentral ist, muss dieser Evaluationstyp im Zusammenhang mit der Konzeption der KDE etwas detaillierter vorgestellt werden. Tyler (vgl. 1942:492ff) nennt folgende Ziele, die mit Evaluationen im Bildungskontext in Verbindung stehen:
3.3.2.1.1 Ziele
1 Periodische Überprüfung der Effektivität einer Bildungseinrichtung und damit in Zusammenhang das Aufzeigen jener Bereiche, die Verbesserungspotential aufweisen.
2 Validieren der Hypothesen, auf Basis welcher die Bildungseinrichtung arbeitet. Dies beinhaltet vor allem den Plan, nach welchem das Curriculum an einem Institut erstellt wird und fußt in der Regel auf Überlegungen der Lehrenden und ist, wie er festhält, in manchen Fällen nicht optimal begründet, was in Folge zu einem schlecht konzipierten Curriculum führen kann, das über viele Jahre hinweg Verwendung findet.
3 Informationsgenerierung zur effektiven Begleitung der einzelnen Studierenden. Dies beinhaltet eine möglichst genaue Bewertung der Leistungen und Entwicklung der Studierenden. Je genauer man als Lehrperson über die Studierenden Bescheid weiß, desto effektiver sind die Hilfestellungen, die man ihnen geben kann, besonders, wenn man die Schwierigkeiten kennt, mit denen sie zu kämpfen haben.
4 Bereitstellen psychologischer Sicherheit für Lehrpersonen und Studierende. Dieser Aspekt würde heute als Coaching bezeichnet werden und begleitet Lehrende und Studierende in und auch außerhalb des Unterrichts. Für (unerfahrene) Lehrende kann dies z.B. im Rahmen von Gesprächen mit anderen (erfahrenen) Lehrenden oder SupervisorInnen stattfinden und für Studierende in der Form einer Sprachlernbegleitung, wie dies beispielsweise seit dem Sommersemester 2014 am treffpunkt sprachen angeboten wird.
5 Öffentlichkeitsarbeit. Hier meint Tyler das Informieren über bzw. die Offenlegung der Tätigkeiten eines Institutes und deren Begründung, damit die Öffentlichkeit darüber informiert wird, was das Institut leistet und warum es eine bestimmte Herangehensweise wählt.
6 Evaluation als Hilfestellung für Lehrende und Studierende bei der Klärung der Lehr/-Lernziele und der Richtungsbestimmung, die z.B. im Rahmen eines Fremdsprachenkurses eingeschlagen wird. Hier spielt die Kollaboration der beiden am Unterrichtgeschehen Hauptbeteiligten eine zentrale Rolle.
Die von Tyler vor über 70 Jahren angeführten Punkte sind in Verbindung mit qualitativ hochwertigem Unterricht und bei der Erstellung von Lehrplänen auch heute noch genauso wichtig und müssen, wie Tyler dies (1942:495) darlegt, beim Planen und Entwickeln eines Programms »kontinuierlich vor Augen geführt werden«. Nur so ist ein fortlaufendes Optimieren der eigenen Handlungen möglich, was als Basis für Qualitätsverbesserung und -sicherung anzusehen ist.
3.3.2.1.2 Annahmen bzw. Voraussetzungen
Tyler (vgl. 1942:495ff) basiert seinen Evaluationsansatz auf sechs Annahmen bzw. Voraussetzungen, die mit Evaluation im Unterricht in Zusammenhang stehen:
1 Lernen ist ein Prozess, der eine Verhaltensänderung bei Menschen nach sich zieht.
2 Die Verhaltensänderungen, die durch Bildungseinrichtungen hervorgerufen werden, stehen mit Bildungszielen in Verbindung. Diese Ziele sind vor Kursbeginn zu definieren und richten sich nicht nur nach dem Inhalt des Programms oder den Methoden der Lehrenden, sondern ganz wesentlich auch nach den Studierenden.
3 Ein Lehrprogramm wird anhand des tatsächlichen Erreichens der gesteckten Ziele bewertet. Hier kommt es zu einer Gegenüberstellung von intendierten und erreichten Zielen.
4 Die Art und Weise, wie LernerInnen ihr Verhalten organisieren, ist zentral. Dabei darf nicht vergessen werden, dass eine Verhaltensveränderung holistisch erfolgt. Die einzelnen Ziele dürfen nicht nur isoliert voneinander gesehen, sondern müssen ganzheitlich betrachtet werden.
5 Die Methoden der Evaluation sind nicht auf paper-and-pencil-Verfahren beschränkt.
6 Das Miteinbeziehen aller am Lehr-/Lernprozess Beteiligten an der Evaluation führt zu einer Nutzenmaximierung.
3.3.2.1.3 Anwendung auf den Fremdsprachenunterricht
Punkt eins trifft im Kontext des universitären Fremdsprachenunterrichts definitiv zu, nicht nur weil die Tatsache, dass das Erlernen einer neuen Sprache bzw. das Verbessern bereits vorhandener Kompetenzen beim Fremdsprachenunterricht auch mit dem (intensiveren) Kennenlernen anderer Kulturen und Denkweisen, die sich auch in der Sprachbildung widerspiegeln, einhergeht, sondern auch, weil das Lernen bzw. Lehren einen (Weiter-)Entwicklungsprozess auslöst. Durch das Lernen und Lehren werden auch andere Kompetenzen entwickelt und geschult, die vorher nicht vorhanden waren. Dies trifft auf LernerInnen auf gleiche Weise zu wie auf Lehrende.
Punkt zwei ist ganz besonders wichtig, da neben den verobjektivierten Lehrzielen und den Methoden, die Lehrpersonen im Laufe ihrer Unterrichtsjahre entwickelt haben, die individuellen Lernziele der Studierenden berücksichtigt werden müssen. Die LernerInnen sollten im Unterricht im Zentrum des Geschehens sein, wie dies VertreterInnen der teilnehmerorientierten Didaktik (siehe z.B. Breloer et. al. 1980, Luchte 2001) fordern. Diese Forderung wird auch durch den shift from teaching to learning und die ESG (ganz besonders 2015) gestützt.
Punkt drei scheint so trivial wie essentiell. Die Tatsache, dass kein Weg der richtige ist, wenn man den Hafen nicht kennt, in den man segeln will, war bereits Seneca (epist. 71:3) bekannt. Dennoch wird diese Trivialität bei vielen Lehrveranstaltungsevaluationen aktuell nicht berücksichtigt. In den analysierten Modellen wird in der Regel nur evaluiert, ob und wie man angekommen bzw. gereist ist. Nie wurde jedoch davor explizit der Ort festgelegt, wohin die Reise gehen soll bzw. welche Transportmittel hierfür als geeignet erscheinen. Daher ist eine sinnvolle Evaluation am Ende des Semesters auch nicht möglich, wenn nicht zu Beginn des Kurses gemeinsam die Ziele bzw. Methoden zum Erreichen dieser Ziele definiert wurden.
Punkt vier kann z.B. so interpretiert werden – wie dies der modernen Fremdsprachendidaktik durchaus bekannt ist – dass die einzelnen sprachlichen Fertigkeiten der LernerInnen nicht getrennt voneinander behandelt werden sollen, sondern dass z.B. bei der Vermittlung von Grammatik gleichzeitig auch andere Kompetenzen, Fähigkeiten und Fertigkeiten trainiert, und dass diese auch aktiv in Kommunikationssituationen integriert werden können (siehe z.B. Newby 2008). Hier ist auf jeden Fall auch zu berücksichtigen, welche Unterrichtsmethoden angewandt werden, denn diese sollten auch – soweit wie möglich – auf die jeweiligen LernerInnen abgestimmt werden.
Punkt fünf scheint, wenn von Tyler auch im Hinblick auf Leistungsbeurteilung von Studierenden verwendet, im Kontext mit aktuell durchgeführten Lehrveranstaltungsevaluationen ebenso wesentlich, denn die überwiegende Mehrheit der Evaluationen, ganz besonders jener, die an den im Vorfeld für diese Arbeit untersuchten Fremdsprachenzentren durchgeführt wurden, fanden zum Untersuchungszeitpunkt nach wie vor mit Papier und Bleistift statt. Während vor 70 Jahren die Methoden und Mittel nicht so vielfältig waren wie heute, und diese Methode damals wahrscheinlich vor allem aus Mangel an Alternativen zu den beliebtesten zählte, muss dies heute, im PC- und Internetzeitalter, überdacht werden.
Punkt sechs scheint nicht nur im Zusammenhang mit Lehrveranstaltungsevaluation wesentlich, er würde auch neueren Ansätzen der Didaktik (z.B. kooperatives Lernen; siehe z.B. Konrad/Traub 2005) entsprechen und mit den ESG harmonieren. Wenn sich alle AktantInnen an der Konzeption des Unterrichtsgeschehens beteiligen, könnten vor allem auch die Studierenden mehr Gefühl für ihre Schlüsselrolle im Lerngeschehen und ihre Verantwortung im Unterricht entwickeln. Evaluation, wenn geschickt ausgeführt, kann diesen Prozess unterstützen. Dies würde auch Selbstevaluation einschließen, wie Tyler (vgl. 1942:497) betont. Letztere wird auch im vorliegenden Ansatz als wesentlicher Bestandteil eines umfassenden Evaluationsinstrumentes verstanden.
Die zentrale Idee von Tyler, der mit seinem Ansatz als Begründer der modernen Programm-Evaluation gesehen werden kann, war »der Vergleich von gut begründeten Bildungszielen (educational objects) mit den tatsächlich erzielten Ergebnissen«, wie Balzer (2005:29) resümiert und auch das gemeinsame Gestalten bzw. die kooperative Verantwortung des Unterrichtsgeschehens, die damit einhergehen. Eine Evaluation nach seinen Überlegungen ist aktuell genauso zielführend wie vor 70 Jahren. Zusätzlich gibt es heute ein viel größeres Potential an Durchführungsmöglichkeiten, was wiederum den Prozess der Bewerkstelligung der von Tyler geforderten Maßnahmen heute leichter ablaufen lässt als in den dreißiger und vierziger Jahren des 20. Jahrhunderts.
Ücretsiz ön izlemeyi tamamladınız.
