Kitabı oku: «Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts», sayfa 6

2.3.2.3 Akkreditierung und Zertifizierung

Im Qualitätsmanagement werden die beiden Begriffe Zertifizierung und Akkreditierung sehr oft in Verbindung miteinander verwendet.

Bei der Zertifizierung handelt es sich laut Wirtschaftslexikon24.com um die »Prüfung eines Unternehmens durch einen unabhängigen Dritten zum Erhalt eines Zertifikats, das die Übereinstimmung (Konformität) der Leistungserstellung […] mit bestimmten Anforderungen und Normen ausdrückt«. Die Zertifizierung stellt somit eine Bewertung und Bestätigung des Qualitätsmanagementsystems durch eine kompetente und unabhängige Stelle dar, und das Zertifikat dient als Nachweis der Qualitätsfähigkeit der Organisation (vgl. Drechsel 2007:344), wobei als Prüfungsgrundlage für die Zertifizierung Normen (z.B. ISO 9000) oder Standards (z.B. ESG) herangezogen werden.

Laut ISO/IEC 17011:2004 (zit. nach Drechsel 2007:345) versteht man unter Akkreditierung »die Bestätigung durch eine dritte Stelle, die formal darlegt, dass eine Konformitätsbewertungsstelle1 die Kompetenz besitzt, bestimmte Konformitätsbewertungsaufgaben durchzuführen«. Mit anderen Worten: Eine allgemein anerkannte Instanz (Akkreditierungsstelle) bescheinigt einer anderen (Zertifizierungsstelle), dass sie gemäß nationaler oder internationaler Normen bestimmte Anforderungen2 in einem bestimmten Bereich erfüllt.

Bei einem Akkreditierungsverfahren handelt es sich somit um eine »Prüfung der Prüfer«, (Drechsel 2007:345) wobei die Zertifizierungsstelle nachweisen muss, »dass sie die einschlägigen Regeln befolgt und über kompetentes Personal verfügt«. Das wird von der Akkreditierungsstelle überprüft, »die Audits beim Zertifizierer durchführt und ihn bei ausgewählten Audits begleitet, um sich von dessen Kompetenz zu überzeugen« (ibid.). Vereinfacht gesagt bedeutet dies, dass die Zertifizierungsstelle ein Unternehmen oder eine Organisation prüft und selbst wiederum von einer Akkreditierungsstelle geprüft wird. Die Zertifizierung bestätigt z.B., dass die Produkte oder Dienstleistungen eines Unternehmens qualitativ hochwertig sind, und die Akkreditierung der Zertifizierungsstelle ist dabei wichtig für die Glaubwürdigkeit und Akzeptanz dieses Zertifikats.

Obwohl der Terminus »Akkreditierung« im Kontext der Universitäten nicht immer eindeutig definiert wurde und oftmals doppeldeutig verwendet wird (vgl. The Danish Evaluation Institute 2003:19), gewinnt diese Methode im Rahmen der Qualitätssicherung an Hochschulen auch durch die Schaffung des europäischen Hochschulraums an Bedeutung. Sie dient vor allem der Sicherung von Mindeststandards, der Herstellung von Transparenz, der Förderung der Studierendenmobilität und der internationalen Vergleichbarkeit und Anerkennung der Studienabschlüsse (vgl. Mittag 2006:3). Die AQ definiert Akkreditierung als »ein formales und transparentes Qualitätsprüfverfahren anhand definierter Kriterien und Standards, das zu einer staatlichen Anerkennung einer hochschulischen Bildungseinrichtung und/oder Studien führt« (AQ 2014:3). Demnach handelt es sich bei Akkreditierung um eine summative Betrachtung von Qualität (vgl. HRK 2007:11).

Die erste ENQA-Erhebung (vgl. The Danish Evaluation Institute 2003:19) ergab, dass Akkreditierung vor allem im Zusammenhang mit Studiengängen (accreditation of programme) Anwendung findet. Demgemäß wurde sie 2003 an über 50 % der befragten Institutionen durchgeführt, allen voran an Hochschulen im deutschsprachigen Raum. Auch im Bereich der Institute wurde Akkreditierung von über 20 % der Beteiligten angewandt. Um die oben angesprochene Diffusität des Begriffs »Akkreditierung« zu klären, wurde der Terminus in der ENQA-Erhebung (The Danish Evaluation Institute 2003:20) durch folgende Charakteristika definiert:

1 Akkreditierung erkennt an (oder nicht), dass ein universitärer Kurs, ein Studium oder eine Institution einen gewissen Standard (Minimalstandard oder Exzellenzstandard) erfüllt.

2 Akkreditierung beinhaltet daher immer ein Benchmarking.

3 Die Ergebnisse einer Akkreditierung werden immer auf Basis von Qualitätskriterien und niemals aufgrund politischer Überlegungen getroffen.

4 Akkreditierung beinhaltet ein binäres Element, welches entweder positiv oder negativ ist.

Ganz wesentlich bei der Unterscheidung zwischen Akkreditierung und anderen qualitätssichernden Maßnahmen ist der vierte Punkt, denn am Ende jeder Akkreditierung wird von der durchführenden Agentur ein Zertifikat (Qualitätssiegel) ausgestellt (oder nicht), das darlegt, ob die untersuchte Institution die jeweiligen Standards erfüllt oder nicht, wobei theoretisch die Möglichkeit besteht, dass dies auch mit Auflagen erfolgt und die betreffende Institution die geforderten Nachbesserungen innerhalb einer bestimmten Zeit durchzuführen hat (vgl. HRK 2007:11).

2.3.2.4 Evaluation

Neben den drei bereits genannten Maßnahmen zur Qualitätsoptimierung setzte sich an europäischen Hochschulen seit den 1980er Jahren vor allem eine weitere Methode durch: die Evaluation. Der Terminus Evaluation wird in der Literatur, wie u.a. Gollwitzer/Jäger (vgl. 2009:XI) und Stockmann (vgl. 2010:9) feststellen, geradezu »inflationär« verwendet, und es ist daher in jedem Fall ratsam, darauf zu achten, in welchem Kontext er jeweils wie verwendet wird, bzw. explizit darzulegen, was man selbst meint, wenn man von Evaluation spricht (siehe Kapitel 3).

Im Kontext der universitären Qualitätsverbesserung und -sicherung spricht man verwirrenderweise in zumindest zweierlei Hinsicht von Evaluation: Einerseits als Hyperonym für sämtliche qualitätssichernden Maßnahmen wie Audit, Akkreditierung und Benchmarking, die alle unterschiedliche Evaluationsverfahren sind. Zum anderen wird Evaluation selbst auch als spezielle Methode dieser Verfahren gesehen, was die exakte Unterscheidung oft erschwert. Bei letzterem handelt es sich im Wesentlichen um die Evaluation von Studium, Lehre, Forschung, Verwaltung und Dienstleistungen (vgl. Mittag 2006:2), und man spricht beispielsweise von der Evaluation eines (Studien-)Faches (evaluation of a subject), eines Studienganges/Programms (programme evaluation) oder eines Institutes (institutional evaluation) etc.

Obwohl es in der Evaluationsforschung unterschiedlichste Evaluationstheorien, -ansätze und Modelle gibt (einen Überblick bieten Balzer 2005: Kapitel 4 bzw. Rindermann 2009:12ff), spricht man im Zusammenhang mit Evaluationsverfahren an Hochschulen zumeist von einem sogenannten mehrstufigen Verfahren, welches aus einer internen und einer externen Evaluation, der Veröffentlichung eines Evaluationsberichts und dem sogenannten Follow-up besteht, welches als die Phase der Umsetzung der Evaluationsergebnisse betrachtet werden kann.

Die interne Evaluation ist ihrem Wesen nach eine Selbstevaluation, eine »kritische Bestandsaufnahme durch ein Fach/einen Fachbereich bezüglich des Geleisteten« und in der »externen Evaluation wird dies durch Gutachter (Peers) überprüft« (HRK 2007:7). Die interne Evaluation wird mit einem Bericht (Selbstreport) abgeschlossen, welcher den externen EvaluatorInnen als Basis für ihre Untersuchung dient. Nach einer – üblicherweise zweitägigen – Vor-Ort-Begehung fassen die Peers ihre Empfehlungen und Anregungen in einem schriftlichen Gutachten zusammen (vgl. HRK 2007:7f), welches in der Regel veröffentlicht wird und den eigentlichen Evaluationsprozess beendet. Im Anschluss daran folgt das Follow-up, welches, wie Mittag (vgl. 2006:9) festhält, in den Händen der evaluierten Hochschule liegt und bis dato wenig untersucht wurde (vgl. ibid.:24).

Wie oben bereits kurz angeführt, kann Evaluation als Methode der Qualitätsverbesserung und Qualitätssicherung nicht nur in den verschiedensten Bereichen der Hochschule eingesetzt, sondern auch auf unterschiedliche Weise durchgeführt werden. So kann sie beispielsweise summativ, zur Bewertung von Ergebnissen oder formativ, zur Begleitung und Beratung Verwendung finden. Je nachdem, welche Ziele mit einer Evaluation verfolgt werden, sind unterschiedliche Evaluationstypen und Abläufe zu nennen.

Evaluiert kann grundsätzlich alles werden, von einzelnen Lehrveranstaltungen, Studienrichtungen, über Lehrgänge bis hin zur Universität als Ganzes. Ergebnisse sind dann neben Evaluationsberichten und eventuellen Veränderungen z.B. auch Universitätsrankings, wie etwa die oben genannten vom Magazin Times Higher Education. Die Bandbreite, wie, was und wann evaluiert wird, ist dabei sehr unterschiedlich, ebenso wie potenzielle Schritte und Entscheidungen, die nach der Evaluation getroffen werden.

Nachdem die Institution Universität primär der Gewinnung und Bewahrung von Erkenntnis und der akademischen Bildung und Ausbildung von Studierenden dient (vgl. Rindermann 2009:24), wird neben der Forschung in erster Linie auch die Qualität der Lehre evaluiert. Obwohl allein die Nennung von Evaluation, Qualität und Lehre in einem Atemzug an sich bereits oftmals für explosiven Diskussionsstoff sorgt, der mehrere Bände füllen könnte, so haben sich dennoch Methoden etabliert, die darauf abzielen, die Qualität der Lehre zu messen bzw. zu optimieren. Als eines der wichtigsten (vgl. Alphei 2006:7) aber zugleich auch eines der umstrittensten Verfahren (vgl. z.B. McKeachie 1997), welches hierzu eingesetzt wird, gilt die Evaluation von Lehrveranstaltungen durch Studierende (student ratings), die das Herzstück dieses Buches darstellt. Dass bei der Messung von Lehrqualität auch immer wieder Fallstricke zu finden sind, darauf weist Wolbring (2013) im Detail hin.

2.4 Zusammenfassung

Dieses einführende Kapitel verfolgte primär die Intention, den Leser/die Leserin auf die Wichtigkeit qualitätsoptimierender Maßnahmen hinzuweisen, wie diese nicht nur im Alltag und in der Wirtschaft, sondern auch im universitären Kontext zusehends an Bedeutung gewinnen. Darüber hinaus wurde versucht, einen Überblick über die gängigsten Verfahren der Qualitätsoptimierung zu geben, die im Hochschulbereich aktuell zum Einsatz kommen und auch für den Inhalt und weiteren Aufbau dieses Buches entscheidend sind. Dazu zählen zum einen Standards und Leitlinien, die vor allem der Orientierung dienen, und zum anderen explizite Verfahren wie Benchmarking, Audit, Akkreditierung/Zertifizierung und Evaluation. Ein weiteres Ziel dieses Kapitels war auch, auf die komplexe Verknüpfung von Universität, Wirtschaft und Politik hinzuweisen und auf den Eindruck, den man diesbezüglich in Verbindung mit einigen Modellen qualitätsoptimierender Maßnahmen gewinnen kann, dass nämlich manche eher der Rechtfertigung nach Außen dienen bzw. formalen Status haben als tatsächlich Verbesserungen zu bewirken, was bei vielen Beteiligten nicht selten zur bereits genannten Evaluitis führt.

3 Evaluation und Fremdsprachenunterricht

»Evaluation is like a lock and key,

if you have the right key

you can open the lock and make it work.

If you have the right information

you can make the thing work«

Patton (1997:36).

In Kapitel 1 wurden die Evaluationsstandards angeführt, die vom Joint Commitee on Standards for Educational Evaluation konzipiert wurden und beim Planen, Durchführen und Bewerten von Evaluationen als Orientierung dienen sollen. Darüber hinaus wurden die Evaluationsmodelle von fünf österreichischen Sprachenzentren in aller Kürze auf Basis dieser Standards analysiert und einige Bedenken geäußert, die daraus resultierend, mit diesen und ähnlichen Lehrveranstaltungsevaluationen in Hinblick auf die Qualitätsoptimierung des universitären Fremdsprachenunterrichts einhergehen.

In Folge wurde die primäre Zielsetzung dieser Arbeit angeführt, der Entwurf eines theoriebasierten Evaluationsmodells, KDE (Komplexe Dynamische Evaluation), welches zum einen auf den ESG und den Evaluationsstandards basiert, und zum anderen intendiert, den universitären Fremdsprachenunterricht in einer umfassenderen als der bisher durchgeführten Weise zu optimieren, indem auch Lehrende und Studierende in die Konzeption miteingebunden werden.

Um dies zu realisieren, werden im aktuellen Kapitel zentrale Evaluationsansätze angeführt und vor dem Hintergrund des universitären Fremdsprachenunterrichts diskutiert, da diese – bzw. Aspekte davon – in Folge bei der Konzeption der KDE zum Einsatz kommen (siehe Kapitel 6). Davor wird jedoch erörtert, was im vorliegenden Ansatz genau unter Evaluation verstanden wird und wie sich der Terminus von anderen ähnlichen Konzepten unterscheidet. Dies ist unabdingbar, da sonst Missverständnisse nicht auszuschließen sind.

3.1 Der Begriff »Evaluation«

Evaluation ist ein »außerordentlich vielfältiger Begriff« (Wottawa/Thierau 1998:13), ein schillerndes »Allerweltswort« (Kromrey 2005:33), dem »unterschiedliche Verständnisse« (Götz 1999:9) zugrunde liegen. Bereits Suchman (vgl. 1967:27) stellte vor 50 Jahren fest, dass dieser Terminus – abgesehen von seiner verbreiteten Beliebtheit – mangelhaft definiert und oftmals unpassend verwendet wird, geradezu »inflationär«, wie u.a. Spiel/Gössler (2001:9) und Stockmann (2010:9) dies bezeichnen. Das hat sich seither kaum verändert und es ist in der Tat schwer, in wenigen Worten exakt zu definieren, was Evaluation ist bzw. nicht ist, vor allem auch deshalb, weil je nach Kontext, in welchem der Terminus verwendet werden kann, Unterschiedliches damit verbunden scheint. Daher ist man »gut beraten, genau zu prüfen, ob dort, wo Evaluation draufsteht auch Evaluation drin ist« (Stockmann 2010:9), denn dieser Begriff gehört, wie es Liessmann (vgl. 2005:17) ausdrückt, zu jenen »Zauberwörtern«, die nie das bezeichnen, was die Wortbedeutung nahelegt, und das verbergen, was durch sie tatsächlich indiziert wird.

Während Guba/Lincoln (vgl. 1989:21) überhaupt die Ansicht vertreten, dass es keinen »richtigen« Weg gibt, Evaluation zu definieren, und sie meinen, dass die Frage »Was ist denn nun Evaluation wirklich?1« nicht nur nicht beantwortet werden kann, sondern es auch keinen Sinn macht, diese Frage überhaupt zu stellen, versucht Kromrey (vgl. 2005:33–36) sich diesem Begriff von zwei Richtungen aus anzunähern: Zum einen unterscheidet er die Verwendung von Evaluation hinsichtlich der unterschiedlichen Referenzebenen und zum anderen hinsichtlich der verschiedenen Kontexte, in welchen der Terminus Verwendung findet. Diese Unterscheidung ist plausibel und notwendig, denn selbst wenn man die Frage, was Evaluation letztendlich ist, nicht im Allgemeinen, sondern nur in der jeweiligen Situation und dem gegebenen Kontext beantworten kann, benötigt man einen Signifikanten, um über dieses Phänomen sprechen zu können, denn sonst befindet man sich schnell in jenem Dilemma, auf welches bereits Suchman (1967:27) hinwies:

»For the most part, its meaning is taken for granted and very few attempts have been made, even by those most concerned, to formulate any conceptually rigorous definition or to analyze the main principles of its use. The result is wide disagreement, with many other terms such as ’assessment’, ’appraisal’ and ’judgment’ often being used interchangeably with evaluation«.

3.1.1 Drei Referenzebenen von Evaluation

Die erste Gruppe von Referenzobjekten befindet sich, Kromreys Einteilung nach, auf der symbolischen und gedanklichen Ebene, wo Evaluation zum einen synonym mit Bewerten bzw. Bewertung verwendet wird und zum anderen für ein spezifisches […] Denkmodell eines nachprüfbaren Verfahrens des Bewertens steht (vgl. Kromrey 2005:33).

Diese Verwendung kann man aller Voraussicht nach etymologisch erklären, denn der deutsche Terminus Evaluation lässt sich auf lateinische1 Wurzeln zurückführen. Evaluation kann, wie u.a. bereits Stockmann (vgl. 2004:2) und Balzer (vgl. 2005:9f) feststellen, vom lateinischen Nomen »valor« (Wert) und der Vorsilbe »e/ex« (aus, heraus) hergeleitet werden, was man in weiterer Folge mit »einen Wert aus etwas ziehen« übersetzen kann, oder vom lateinischen Verb »valere« (wert sein). Ähnlich führen Gollwitzer/Jäger (vgl. 2009:XI) Evaluation auf das lateinische Verb »valuere« zurück, was auch dem deutschen Verb »wert sein« entspricht.

In diesem Kontext wird folglich z.B. der Wert bzw. die Qualität oder Güte von etwas vor dem Hintergrund bestimmter Vergleichswerte (Standards) beurteilt. Das beurteilte Etwas kann dabei ein Produkt, ein Prozess, ein Projekt, Programm etc. sein. Voraussetzung für die Beurteilung ist zum einen das Vorhandensein bestimmter Kriterien, die zur Bewertung herangezogen werden und zum anderen das Einholen von Informationen hinsichtlich des zu bewertenden Gegenstandes. Die gewonnene Information wird mit den vorhandenen Kriterien verglichen, was in weiterer Folge zu einer Bewertung bzw. Beurteilung führt. Der Terminus Evaluation stellt folglich ein Fremdwort im Deutschen dar, wenngleich das, was damit gemeint ist, alltäglich ist und überall stattfindet (vgl. Nuissl 2013:9).

Die zweite Begriffsebene bezieht Kromrey (vgl. 2005:33) auf ein spezifisches Handeln, auf die Durchführung eines Evaluationsprojektes, auf zielorientiertes Informationsmanagement. Evaluationsprojekte können auf unterschiedlichste Art durchgeführt werden und verschiedenste Intentionen verfolgen (siehe unten). So können z.B. die Lehrenden, die Studierenden, die Universität, einzelne Studienrichtungen oder Lehrveranstaltungen evaluiert werden. Dabei kann man das Augenmerk auf bestimmte Prozesse, Ergebnisse, Materialien u.Ä. richten.

Als dritte Begriffsebene versteht Kromrey (vgl. 2005:34) das Ergebnis des oben angeführten spezifischen Handelns, also das Resultat eines Evaluationsprozesses, etwas Punktuelles, welches z.B. in einem Evaluationsbericht oder Evaluationsgutachten dargestellt werden kann und für das Nachvollziehen des Evaluationsvorgangs besonders wichtig ist.

Resümierend kann Evaluation demnach für ein spezifisches Handeln stehen, welches sowohl die Gewinnung als auch die Bewertung von Informationen zum Ziel hat. Zudem kann sie auch das Ergebnis dieses Prozesses bezeichnen (vgl. Stockmann 2006:65). Diese Vielschichtigkeit führt mitunter zu Missverständnissen, wenn nicht genau expliziert wird, worauf man sich in einem bestimmten Kontext bezieht. Um dies zu vermeiden, werden in Folge verschiedene Kontexte von Evaluation diskutiert und festgestellt, was im vorliegenden Buch explizit darunter verstanden wird. Im Anschluss daran wird der Begriff von anderen, ähnlich wirkenden Konzepten abgegrenzt, um Unklarheiten zu vermeiden.

3.1.2 Unterschiedliche Kontexte von Evaluation

Im Hinblick auf die unterschiedlichen Kontexte, in welchen Evaluation verwendet werden kann, führt Kromrey (vgl. 2005:34) (1) den alltäglichen Sprachgebrauch, (2) die politische Argumentation, (3) die empirische Methodologie und (4) ihre Verwendung im Zusammenhang mit »gewöhnlicher« Umfrageforschung an. Das alleinige Vorhandensein dieser unterschiedlichen Kontexte wäre, wie er ausführt, grundsätzlich nicht problematisch, wenn sich nicht – je nach Zusammenhang – mitunter völlig unterschiedliche Konzepte hinter dem Terminus verbergen würden.

Er expliziert (vgl. Kromrey 2005:34f), dass Evaluation im alltäglichen Sprachgebrauch »ausgesprochen unspezifisch« ist und im Wesentlichen nicht mehr ausdrückt, als dass irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet wird. Das führt zur Problematik, dass derselbe Sachverhalt von unterschiedlichen Individuen sehr unterschiedlich bis gegensätzlich eingeschätzt und beurteilt werden kann, wie er fortführt. Im Kontrast hierzu wird der Begriff in politischen Argumentationen Kromreys Ansicht nach wesentlich spezifischer, wenngleich auch vielfältiger verwendet, und erstreckt sich z.B. von Effizienzmessungen in ökonomischen Zusammenhängen über von Sachverständigen durchgeführten Analysen der Funktionsfähigkeit von Organisationen bis hin zur beratenden Funktion im Bereich der Entwicklung und Optimierung von Handlungsprogrammen etc. In der empirischen Methodologie versteht man hingegen das Design für einen spezifischen Typ von Sozialforschung, der die Informationsbeschaffung mit expliziten Zielen und Instrumenten zum Gegenstand hat, während Evaluation im Zusammenhang mit Umfrageforschung die Erhebung und Auswertung bewertender (evaluierender) Aussagen von Befragten meint, die in einem bestimmten Verhältnis zum evaluierenden Gegenstand stehen (vgl. Kromrey 2005:35). Diese Ausführungen Kromreys verdeutlichen die Komplexität, die mit der Verwendung des Terminus Evaluation einhergeht.

Auf eine ähnliche Vielschichtigkeit des Begriffs im Hochschulkontext wurde auch in diesem Buch bereits hingewiesen, weil Evaluation in diesem Zusammenhang einerseits oft als Oberbegriff für sämtliche qualitätssichernde Maßnahmen wie Audit, Akkreditierung und Benchmarking verwendet wird, und andererseits, weil Evaluation i.e.S. auch eine spezielle Methode dieser Verfahren ist – z.B. die Evaluation von Lehrveranstaltungen.

Zudem kann man feststellen, wenn man die Literatur zu diesem Begriff analysiert, dass er häufig nicht korrekt oder nicht explizit genug von anderen Begriffen, wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. abgegrenzt wird, was die Problematik, eine exakte Definition zu finden, erschwert, wie in Folge erläutert wird.