Kitabı oku: «Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts»

2.3 Zentrale Maßnahmen im Detail

Qualitätssichernde Maßnahmen an Hochschulen im europäischen Raum waren zu Beginn vielfach wenig systematisch und wurden anfangs nur von einigen ExpertInnen thematisiert. Zudem waren diese von Staat zu Staat mitunter sehr verschieden, was nicht zuletzt auch auf die unterschiedliche Organisation der Universitäten zurückzuführen ist (vgl. The Danish Evaluation Institute 2003:7). Ein wesentlicher Schritt zu einer einheitlichen europäischen Lösung wurde in Zusammenhang mit der Schaffung des gemeinsamen europäischen Hochschulraums (siehe Bologna-Prozess) gesetzt.

Im »Kommuniqué der Konferenz der europäischen Hochschulministerinnen und -minister am 19. September 2003 in Berlin« (2003:4) beauftragten die MinisterInnen jener Staaten, die den Bologna-Prozess unterzeichnet hatten, das »European Network for Quality Assurance in Higher Education (ENQA)« »über seine Mitglieder und in Zusammenarbeit mit der EUA1, EURASHE2 und ESIB3 ein vereinbartes System von Normen, Verfahren und Richtlinien zur Qualitätssicherung zu entwickeln, Möglichkeiten zur Gewährleistung eines geeigneten Begutachtungsprozesses (peer review4) für Agenturen und Einrichtungen zur Qualitätssicherung und/oder Akkreditierung zu prüfen und durch die Follow-up-Gruppe den Ministerinnen und Ministern bis 2005 darüber Bericht zu erstatten«. Zudem sollte die ENQA dabei »die Fachkenntnis anderer Verbände und Netzwerke für Qualitätssicherung« gebührend berücksichtigen (vgl. ibid.).

Im Zuge dessen erarbeitete die ENQA Standards und Leitlinien für die Qualitätssicherung im Europäischen Hochschulraum (ESG5) in Form interner und externer Qualitätssicherungsstandards für Hochschulen und externer Standards für Qualitätssicherungsagenturen, die zusätzlich zum bereits 1998 vorgeschlagenen »Vier-Phasen-Modell« (four-stage model) des Rates zum Einsatz kommen sollten. Das Vier-Phasen-Modell sieht im Wesentlichen vor, dass die qualitätssichernden Maßnahmen an den Universitäten intern (durch Selbstevaluation) und extern (durch unabhängige Agenturen und ExpertInnen) evaluiert werden und in Folge ein Bericht hierzu veröffentlicht wird.

2.3.1 Standards und Leitlinien (ESG)

Die ESG (Standards und Leitlinien für die Qualitätssicherung im Europäischen Hochschulraum), die primär entwickelt wurden, um den Bedarf für ein gemeinsames Verständnis von Qualitätssicherung in Europa zu decken (vgl. The Danish Evaluation Institute 2009:6) bzw. einen gemeinsamen Referenzrahmen für Qualitätssicherung im europäischen Hochschulraum bereitzustellen (vgl. HRK 2015:10), bestehen sowohl in ihrer ursprünglichen Fassung aus dem Jahr 2005 (Originalfassung in Englisch, siehe ENQA 2005 bzw. Übersetzung ins Deutsche, siehe Alphei/Michalk 2006) als auch in ihrer überarbeiteten Fassung aus dem Jahr 2015 (siehe ENQA 2015 bzw. HRK 2015) inhaltlich aus folgenden drei Teilen:

1 Standards und Leitlinien für interne Qualitätssicherung;

2 Standards und Leitlinien für externe Qualitätssicherung;

3 Standards und Leitlinien für externe Qualitätssicherungsagenturen.

Erstere richten sich dabei an die universitätsinternen Maßnahmen der Qualitätssicherung, zweitere befassen sich mit jenen, die von den Qualitätssicherungsagenturen durchgeführt werden. Diese sollen überprüfen, wie wirksam die einzelnen Institutionen die Standards für die interne Qualitätssicherung umsetzen. Letztere stellen sozusagen eine Meta-Qualitätssicherung der Agenturen dar, damit gewährleistet wird, dass diese nach denselben Richtlinien prüfen. »Diese drei Teile sind inhaltlich aufeinander bezogen und bilden zusammen die Basis eines europäischen Referenzrahmens für die Qualitätssicherung« (vgl. HRK 2015:15) und stellen daher auch einen wichtigen Bezugspunkt bei der Evaluation der Lehrqualität dar. Für den Kontext der KDE sind primär die Standards und Leitlinien der internen Qualitätssicherung wichtig, weswegen an dieser Stelle näher auf diese eingegangen wird.

2.3.1.1 ESG für interne Qualitätssicherung

Während die ESG 2005 generell allgemeiner und vielfach auch freier formuliert wurden, sind bei der Version aus dem Jahr 2015 für die interne Qualitätssicherung konkret folgende zehn Standards definiert (siehe: HRK 2015:41–43): (1) Strategie für die Qualitätssicherung, (2) Gestaltung und Genehmigung von Studiengängen, (3) Studierendenzentriertes Lernen, Lehren und Prüfen, (4) Zulassung, Studienverlauf, Anerkennung und Studienabschluss, (5) Lehrende, (6) Lernumgebung, (7) Informationsmanagement, (8) Öffentliche Informationen, (9) Fortlaufende Beobachtung und regelmäßige Überprüfung der Studiengänge und (10) Regelmäßige externe Qualitätssicherung.

Nach Analyse der einzelnen Punkte gestalten sich folgende acht Standards als besonders wichtig in Hinblick auf Qualitätsoptimierung des universitären Fremdsprachenunterrichts durch Lehrveranstaltungsevaluation:

2.3.1.1.1 Strategie für die Qualitätssicherung

Das Qualitätssicherungssystem fördert eine kontinuierliche Verbesserung. Entscheidend ist somit, dass Qualitätsverbesserung im Unterricht nicht etwas Punktuelles ist, sondern ein Prozess, der kontinuierlich erfolgen soll. Zudem trägt dieses System »zur Bildung einer Qualitätskultur bei, in der alle internen InteressensvertreterInnen für die Qualität verantwortlich sind und auf allen Ebenen der Institution Verantwortung für die Qualitätssicherung übernehmen (HRK 2015:17)«. Dies schließt Lehrende und Studierende mit ein. Alle am Unterrichtsgeschehen haben daher nicht nur das Recht auf Qualität, sondern auch die Pflicht, sich aktiv an der Schaffung und Verbesserung von Qualität zu beteiligen und müssen ihre dementsprechenden Aufgaben wahrnehmen (vgl. ibid.).

2.3.1.1.2 Gestaltung und Genehmigung von Studiengängen

Den Studierenden sollen nicht nur akademisches Wissen und Fähigkeiten vermittelt werden, sondern auch Schlüsselkompetenzen, »die die persönliche Entwicklung der Studierenden beeinflussen und für ihre spätere Berufslaufbahn nützlich sein können« (HRK 2015:19). Hierzu ist, wie im Kapitel zur Evaluation noch detailliert angeführt wird, auch die Selbstreflexionskompetenz zu zählen, da die Fähigkeit, über das eigene LernerInnenselbst zu reflektieren, als ein wesentlicher Aspekt der persönlichen Entwicklung von Studierenden anzusehen ist.

Des Weiteren wird gefordert, dass die Studiengänge und daher auch die einzelnen Kurse so zu gestalten sind, dass die gewünschten Lernziele klar definiert werden und sowohl die Studierenden aktiv an der Mitgestaltung beteiligt sind als auch andere externe Referenzpunkte genutzt werden.

2.3.1.1.3 Studierendenzentriertes Lernen, Lehren und Prüfen

Ein besonders wichtiger Punkt, der unter diesem Standard angeführt wird, betrifft die Durchführung der Studiengänge in der Form, dass die Studierenden ermutigt werden, »eine aktive Rolle in der Gestaltung des Lernprozesses zu übernehmen (HRK 2015:20)«. Somit wird ein verstärkter Wert auf studierendenzentriertes Lernen und Lehren gelegt, was, wie in den Leitlinien expliziert, »eine große Bedeutung für die Motivation, die Selbstreflexion und das Engagement der Studierenden während des Lernprozesses (ibid.)« hat. Als wichtige Punkte hierbei werden folgende genannt (HRK 2015:20):

 »die Diversität der Studierenden und ihrer Bedürfnisse zu respektieren und ihnen durch flexible Lernwege Rechnung zu tragen;

 wo es angebracht ist, unterschiedliche Vermittlungsweisen in Betracht zu ziehen und zu nutzen;

 unterschiedliche pädagogische Methoden flexibel einzusetzen;

 regelmäßige Evaluierungen und Anpassungen der Vermittlungsweisen und pädagogischen Methoden vorzusehen;

 die Studierenden zu selbstständigem Lernen zu ermutigen und ihnen als Lehrer gleichzeitig angemessene Orientierung und Unterstützung zu bieten;

 gegenseitigen Respekt in der Beziehung zwischen Lernenden und Lehrenden zu fördern;

 ein angemessenes Verfahren für den Umgang mit studentischen Beschwerden bereitzustellen«.

Dieser Standard ist zentral in Hinblick auf Qualitätssicherung und darf daher in einem Evaluationsmodell, welches Daten zur Qualitätsoptimierung generieren soll, nicht fehlen. Wenn das Modell richtig konzipiert und eingesetzt wird und die Lehrenden die Rückmeldungen der Studierenden ernst nehmen und diese bei ihrer Unterrichtsgestaltung bzw. eventuell nötigen Adaption berücksichtigen, kann damit auch das Ausmaß an Beschwerden gering gehalten werden, denn Beschwerden kommen überwiegend dann zustande, wenn Probleme, auf die hingewiesen wurde, nicht gelöst werden bzw. die Studierenden überhaupt keine Möglichkeit haben, auf ein eventuell vorhandenes Suboptimum hinzuweisen. Das bedeutet auch, dass in einem qualitativ hochwertigen Unterrichtsgeschehen Probleme gezielt zu Tage gefördert und bearbeitet werden müssen.

2.3.1.1.4 Zulassung, Studienverlauf, Anerkennung und Abschluss

Ein wichtiger Aspekt dieses Standards ist, dass Hochschulen Verfahren und Instrumente benötigen, »die es ihnen ermöglichen, Informationen zu den Studienverläufen zu erfassen, zu beobachten und diesbezügliche Maßnahmen zu ergreifen (HRK 2015:22). Dies zielt bei Fremdsprachenkursen – die sich vielfach durch Heterogenität der KursteilnehmerInnen auszeichnen – u.a. auch darauf ab, die Vorkenntnisse der LernerInnen zu ermitteln. Welche Kurse haben sie bereits besucht? Wie schätzen sie ihre eigenen Kenntnisse ein? Welche Lehr- und Lernmethoden sind ihnen geläufig und für sie besonders geeignet? etc.

2.3.1.1.5 Lehrende

Dieser Standard ist – zusammen mit jenem der Studierendenzentriertheit – meiner Lehrerfahrung nach besonders wichtig, denn viele Evaluationsmodelle berücksichtigen die veränderte Rolle der Lehrenden kaum oder gar nicht bzw. wird viel zu häufig nach wie vor die Lehrperson als Wissensvermittlungsinstanz evaluiert und dem Lernen der Studierenden zu wenig Aufmerksamkeit geschenkt. Darüber hinaus kann ein Evaluationsmodell auch so gestaltet sein, dass es den Lehrenden als didaktisches Hilfsmittel dient und sie – durch die richtige Art des Feedbacks – auch dabei unterstützt werden, ihre eigenen Lehrmethoden zu verbessern. Dadurch kann letztendlich auch die Lehrkompetenz gefördert werden, die auch eine zentrale Forderung der ESG darstellt.

2.3.1.1.6 Lernumgebung

Eine besonders wichtige Leitlinie dieses Standards wird wie folgt definiert:

»Die Bedürfnisse einer heterogenen Studierendenschaft (u.a. ältere, ausländische, berufstätige oder in Teilzeit Studierende sowie Studierende mit Behinderungen oder Beeinträchtigungen) und die Ausrichtung auf studierendenzentriertes Lernen sowie flexible Lern- und Lehrmethoden werden bei der Zuteilung, Planung und Bereitstellung des Lernmittel- und Betreuungsangebots berücksichtigt« (HRK 2015:24).

Dies kann in Hinblick auf Qualitätssicherung so interpretiert werden, dass die Voraussetzungen der Studierenden bereits zu Beginn des Kurses in Erfahrung gebracht werden sollten, damit man diese als LehrendeR von Anfang an gezielt bei der Planung bzw. eventuell nötigen Adaption des Kurses berücksichtigen kann. Wer seine Gruppe kennt, kann einen für sie passenden Unterricht konzipieren.

2.3.1.1.7 Informationsmanagement

Zentraler Punkt dieses Standards ist, dass Universitäten relevante Daten erheben, analysieren und nutzen (vgl. HRK 2015:25). Evaluationsinstrumente können dabei eine wesentliche, vielleicht – wenn richtig konzipiert – die entscheidende Rolle spielen. Für mich ist an dieser Stelle zentral, dass relevante Daten erhoben und diese nach deren Analyse auch genutzt werden, um Optimierungen zu erzielen, oder wie in den Leitlinien formuliert, um »fundierte Entscheidungen treffen zu können und zu erkennen, was gut funktioniert und was verändert werden sollte (ibid.)«. Hierbei spielt natürlich auch der Erhebungszeitpunkt eine wesentliche Rolle, denn wenn die relevanten Daten zu spät erhoben werden, können sie für eine Optimierung nicht mehr genutzt werden.

Darüber hinaus wird bei diesem Punkt Wert auf die Verwendung »effektiver Verfahren (ibid.)« zur Informationsgenerierung gelegt, was mitunter bedeutet, dass nicht nur möglichst viele für die Qualitätsoptimierung relevante Informationen gefördert werden, sondern auch in einer Weise, die möglichst wenig Ressourcen benötigt.

Daten, die unter anderen als relevant angesehen werden können, sind laut ESG (siehe HRK 2015:25):

 »Leistungsindikatoren (KPI);

 das Profil der Studierendenschaft;

 Studienverläufe, Erfolgs- und Abbruchquoten;

 die Zufriedenheit der Studierenden mit den Studiengängen;

 die verfügbare Ausstattung und Betreuung;

 Berufswege der Absolventinnen und Absolventen«.

Die Daten können laut ESG auf unterschiedliche Weise erhoben werden, jedoch spielt das Miteinbeziehen aller am Lehr- und Lernprozess Beteiligten eine wesentliche Rolle – nicht nur beim Generieren der Daten, sondern auch bei deren Auswertung und bei sämtlichen Folgeaktivitäten (vgl. ibid.).

2.3.1.1.8 Fortlaufende Beobachtung und Überprüfung der Studiengänge

Zentral bei diesem Standard ist (siehe HRK 2015:26), dass Universitäten ihre Studiengänge kontinuierlich beobachten und sie – unter Einbeziehung der Studierenden – regelmäßig überprüfen und überarbeiten, damit gewährleistet werden kann, dass »sie die gesteckten Ziele erreichen und die Bedürfnisse der Studierenden und der Gesellschaft erfüllen«. Dies führt zu einer »kontinuierlichen Verbesserung der Studiengänge«. Ein besonders wichtiger Aspekt, der hier angeführt wird, ist, dass »die Erwartungen und Bedürfnisse sowie die Zufriedenheit der Studierenden mit den Studiengängen« berücksichtigt werden.

2.3.1.2 Fazit

Vergleicht man die ursprünglichen ESG mit jenen aus dem Jahr 2015, kann festgestellt werden, dass sich diese inhaltlich kaum verändert haben, dass sie jedoch an manchen Stellen detaillierter und mit stärkerem Nachdruck formuliert wurden. In beiden Fällen können sie zweifellos einen wesentlichen Beitrag zur Qualitätsoptimierung liefern und sollten daher auch in Modellen zur Qualitätsverbesserung berücksichtigt werden.

Hinsichtlich ihres Umfangs wurden bei den ESG 2015 jene Veränderungen berücksichtigt, die im Europäischen Hochschulraum in den Jahren 2005 bis 2015 stattgefunden haben. Damit einhergehend und besonders wichtig im Hinblick auf die vorliegende Arbeit ist, dass in den ESG 2015 der studierendenfokussierte Lernansatz stärker als davor im Vordergrund steht. Darüber hinaus sollen flexible Bildungswege vermehrt berücksichtigt werden und Kompetenzen stärkere Anerkennung finden, die außerhalb formaler Bildung erworben werden. Zudem wird neben dem bisherigen Fokus auf Qualitätssicherung beim Lehren und Lernen ein Bezug zur Lernumgebung sowie zur Forschung und Innovation hergestellt (vgl. BFUG 2015).

Neben zahlreichen weiteren und eher kleineren Veränderungen sind folgende Grundsätze der ESG 20151 für Qualitätssicherung von immenser Wichtigkeit: die Forderung, dass Qualitätssicherung keine Formsache sein darf, sondern eine Qualitätskultur fördern soll und, dass Qualitätssicherung die Bedürfnisse und Erwartungen der Studierenden, der übrigen Interessengruppen und der Gesellschaft berücksichtigt. Entscheidend ist in diesem Zusammenhang auch die Feststellung, dass Studierende zu den institutionellen Akteuren zählen und eine Verantwortung bei der Qualitätssicherung haben und diese auch wahrnehmen müssen, dass sie vielmehr noch, in den Qualitätssicherungsprozess aktiv miteinbezogen werden müssen. Eine weitere Schlüsselpassage ist die Forderung, dass Qualitätssicherung kontinuierlich und nicht punktuell erfolgen soll.

Sämtliche dieser Forderungen decken sich auch mit Ansätzen aus dem Qualitätsmanagement, der Evaluationsforschung und der Fremdsprachendidaktik, wie in den folgenden Kapiteln noch ausgeführt wird.

2.3.2 Methoden aus dem Qualitätsmanagement

In den vergangenen 15 Jahren wurden von der ENQA drei1 umfangreiche Erhebungen zum Thema qualitätssichernde Maßnahmen an europäischen Hochschulen durchgeführt. Die erste aus dem Jahr 2003 (siehe The Danish Evaluation Institute 2003) untersuchte die einzelnen Verfahren, die diesbezüglich an den Universitäten der 23 partizipierenden Länder zum Einsatz kamen und versuchte neben den Ebenen und dem Umfang auch Ähnlichkeiten bzw. Unterschiede bei diesen Verfahren festzustellen. Die primären Ergebnisse dieser Befragung waren u.a., dass die unterschiedlichen Maßnahmen sowohl im Umfang als auch vom Typus seit den späten 1990er Jahren komplexer wurden, dass eine Zunahme von Qualitätssicherungsagenturen in Europa zu verzeichnen war und dass die Maßnahmen der einzelnen Länder im Wesentlichen auf den gleichen methodologischen Prinzipien aufbauen. Gleichzeitig wurde auch festgestellt, dass es mitunter nach wie vor erhebliche Unterschiede bei der Implementierung der einzelnen Methoden in den verschiedenen Ländern gab, wenngleich im Allgemeinen den Empfehlungen des Rates der Europäischen Union (Vier-Phasen-Modell) aus dem Jahr 1998 (siehe Amtsblatt L 270/59 vom 7.10.1998) Folge geleistet wird.

Die Untersuchung zeigte zudem, dass an den europäischen Hochschulen hauptsächlich vier – zumeist mehrstufige – Methoden der Qualitätssicherung eingesetzt werden. Diese sind – geordnet nach Häufigkeit des Einsatzes – in aufsteigender Reihenfolge: (1) Benchmarking, (2) Audit, (3) Akkreditierung und als wichtigstes Verfahren (4) Evaluation (siehe The Danish Evaluation Institute 2003:17ff). Da die ersten drei nicht direkte Bestandteile dieses Buches sind, werden sie nur in aller Kürze behandelt. Auf Evaluation soll jedoch in weiterer Folge – vor allem in Kapitel 3 – im Detail eingegangen werden.

2.3.2.1 Benchmarking

Im Qualitätsmanagement versteht man unter Benchmarking, wie Kamiske/Brauer (2008:10ff) ausführen, den »Prozess des Vergleichens und Messens der eigenen Produkte und Prozesse mit den besten Wettbewerbern oder mit den anerkannten Marktführern«. Dabei werden jene Unternehmen bzw. Organisationen, die einen zu untersuchenden Prozess, ein Produkt oder eine Dienstleistung hervorragend beherrschen, als sogenannte Klassenbeste (Best in Class) bezeichnet, und im Vergleich zu diesen sollen Unterschiede zum eigenen Unternehmen erkannt und Möglichkeiten zur Verbesserung aufgezeigt werden. Das bedeutet: Primäres Ziel eines Benchmarkings im herkömmlichen Sinn ist, aus dem Vergleich mit den Besten zu lernen, die wirkungsvollsten Methoden (Best Practice) herauszufinden, zu adaptieren und dadurch die eigene Leistungsfähigkeit zu steigern, um selbst die Spitzenposition (Best of the Best) zu erreichen (vgl. ibid.). Als Orientierungspunkte hierfür dienen sogenannte Benchmarks, also Normen bzw. Referenzgrößen, die als Bezugspunkte herangezogen werden.

Auch im Hochschulkontext wird diese Methode in den unterschiedlichsten Bereichen – von der Forschung bis zur Lehre – eingesetzt und funktioniert im Prinzip ähnlich wie im Qualitätsmanagement in der Wirtschaft: Eine Universität sucht bei anderen Hochschulen nach Vorbildern in bestimmten Bereichen, die dann übernommen werden können, orientiert sich somit an dieser Hochschule, oder es wird gemeinsam nach Lösungen für ähnliche Probleme gesucht. Das zentrale Anliegen ist in jedem Fall, durch Vergleiche voneinander zu lernen (vgl. HRK 2007:21).

Während Benchmarking im Jahr 2003 von keiner, an der ENQA-Befragung teilnehmenden Hochschulen als primäre Methode der Qualitätssicherung angeführt wurde und im Wesentlichen nur im Bereich der Bewertung von Studiengängen (programme benchmarking) bzw. Fachgebieten (subject benchmarking) einen kleinen Prozentsatz ausmachte, aber im Allgemeinen bei der überwiegenden Mehrheit der Universitäten überhaupt nicht als qualitätssichernde Maßnahme angeführt wurde1 (vgl. The Danish Evaluation Institute 2003:21), schien diese Methode in den letzten Jahren an Bedeutung zu gewinnen.

So wurden zahlreiche Projekte und Workshops zum Thema Benchmarking an europäischen Hochschulen ins Leben gerufen (siehe z.B. European Centre for Strategic Management of Universities, esmu und ENQA) und 2010 ein Handbuch zu diesem Thema publiziert (siehe van Vught et al. 2010). Zudem entstanden sogenannte Benchmarking-Clubs, denen zahlreiche Universitäten angehören und die gemeinsam an neuen Projekten arbeiten bzw. als Orientierung für andere Universitäten fungieren.

Trotz all dieser Initiativen und Prozesse ist in diesem Bereich im Hochschulkontext noch erheblicher Handlungsspielraum gegeben und die Zahl der Publikationen bzw. die Zahl der dokumentierten Verfahren in diesem Bereich ist überschaubar, wie auch Schröder/Sehl (vgl. 2010:1) festhalten. Dies zeigt auch die ENQA-Umfrage aus dem Jahr 2012 (vgl. 2012:18), aus welcher hervorgeht, dass ein Großteil der befragten Qualitätssicherungsagenturen auf den noch erheblichen Bedarf an Weiterentwicklung der aktuellen internationalen Benchmarks für Qualitätssicherung hinweist.

2.3.2.2 Audit

Die DIN ISO 9000:2005 (3.9.1) definiert Audit als einen systematischen, unabhängigen und dokumentierten Prozess1 zur Erlangung von Auditnachweisen2 und zu deren objektiver Auswertung, um zu ermitteln, inwieweit Auditkriterien3 erfüllt sind«. Dem Prinzip nach ist ein Audit somit »eine besondere Form einer Prüfung, bei der festgestellt wird, inwieweit eine betrachtete Einheit die Forderungen erfüllt, die an sie gestellt werden« (Herrmann 2007:332). Geiger (1994:79) weist diesbezüglich darauf hin, dass man ein Audit nicht mit einer herkömmlichen Qualitätsprüfung verwechseln darf, da es sich bei einem Audit ausdrücklich um »Tätigkeiten und nur auf die damit zusammenhängenden Ergebnisse« handelt, es somit »um das QM4-System und um das ›ob‹ geht« und nicht »um das ›inwieweit‹ und um beliebige Einheiten«, wie dies bei einer »Qualitätsprüfung« der Fall ist. Demgemäß sollen mit einem Audit »Schwachstellen aufgezeigt, Verbesserungsmaßnahmen angeregt und deren Wirkung überwacht werden. Damit ist das Audit auch als Führungsinstrument zu sehen, das zur Vorgabe von Zielen und zur Information des Managements über die Zielerreichung eingesetzt werden kann« (Kamiske/Brauer 2008:5).

Audits werden von unabhängigen AuditorInnen durchgeführt und können unterschieden werden hinsichtlich der zu untersuchenden Einheit (Produkt, Verfahren, System) oder hinsichtlich der Durchführungsart (intern oder extern). Demgemäß spricht man von »Produktaudit«, »Verfahrensaudit« und »Systemaudit«, bzw. deren Hyperonym, dem »Qualitätsaudit«, oder von einem internen bzw. externen Audit. Die Informationen, die man mit Hilfe eines Audits gewinnt, zeigen z.B. der Leitung eines Unternehmens den Verbesserungsbedarf auf und weisen auf jene Bereiche der Organisation hin, in denen sich noch nicht ausgeschöpfte Potentiale befinden. Die Ergebnisse dienen somit als Ausgangspunkt eines kontinuierlichen Verbesserungsprozesses (vgl. Herrmann 2007:332).

An europäischen Universitäten wurden Audits in Großbritannien in den 1990er Jahren eingeführt (vgl. Mittag 2006:5) und zählen daher, vergleicht man sie beispielsweise mit Evaluationen, eher zu jüngeren Verfahren der Qualitätssicherung. Das Audit richtet sich an die Hochschule als Ganzes (vgl. HRK 2007:14) und ist »ein partnerschaftlicher Prozess, an dem sich die Hochschule und kompetente Gutachter/innen beteiligen« (AQ 2013:3). Die AQ definiert Audit als »ein periodisch wiederkehrendes Peer-Verfahren, in dem Organisation und Umsetzung des internen Qualitätsmanagementsystems einer Hochschule durch externe Gutachter/innen beurteilt werden« (ibid.). Es handelt sich um eine Art »kollegiales Feedback« (ibid.) bei welchem man sich an Auditstandards orientiert und zwei primäre Ziele verfolgt: Erstens bestätigt das Audit, »dass eine Hochschule ihr Qualitätsmanagementsystem gemäß den gesetzlichen Bestimmungen eingerichtet hat« und zweitens fördert es die Hochschule »bei der Weiterentwicklung ihres internen Qualitätsmanagementsystems« (ibid.). Infolge kann die Universität, wenn sie die nötigen Standards erfüllt, zertifiziert werden (siehe unten).

Laut The Danish Evaluation Institute (vgl. 2003:8) sind Audits die drittmeist verwendete Methode der Qualitätssicherung an europäischen Universitäten und erfreuen sich besonders im englischsprachigen Raum großer Beliebtheit. Auch im deutschsprachigen Raum, in welchem sie sich anfangs vergleichsweise weniger durchsetzten (vgl. Mittag 2006:5), finden Audits zusehends Eingang. In Österreich beispielsweise wurden Audits mit dem Hochschul-Qualitätssicherungsgesetz 2011 zum fixen Bestandteil der externen Qualitätssicherung.

2.3.2.3 Akkreditierung und Zertifizierung

Im Qualitätsmanagement werden die beiden Begriffe Zertifizierung und Akkreditierung sehr oft in Verbindung miteinander verwendet.

Bei der Zertifizierung handelt es sich laut Wirtschaftslexikon24.com um die »Prüfung eines Unternehmens durch einen unabhängigen Dritten zum Erhalt eines Zertifikats, das die Übereinstimmung (Konformität) der Leistungserstellung […] mit bestimmten Anforderungen und Normen ausdrückt«. Die Zertifizierung stellt somit eine Bewertung und Bestätigung des Qualitätsmanagementsystems durch eine kompetente und unabhängige Stelle dar, und das Zertifikat dient als Nachweis der Qualitätsfähigkeit der Organisation (vgl. Drechsel 2007:344), wobei als Prüfungsgrundlage für die Zertifizierung Normen (z.B. ISO 9000) oder Standards (z.B. ESG) herangezogen werden.

Laut ISO/IEC 17011:2004 (zit. nach Drechsel 2007:345) versteht man unter Akkreditierung »die Bestätigung durch eine dritte Stelle, die formal darlegt, dass eine Konformitätsbewertungsstelle1 die Kompetenz besitzt, bestimmte Konformitätsbewertungsaufgaben durchzuführen«. Mit anderen Worten: Eine allgemein anerkannte Instanz (Akkreditierungsstelle) bescheinigt einer anderen (Zertifizierungsstelle), dass sie gemäß nationaler oder internationaler Normen bestimmte Anforderungen2 in einem bestimmten Bereich erfüllt.

Bei einem Akkreditierungsverfahren handelt es sich somit um eine »Prüfung der Prüfer«, (Drechsel 2007:345) wobei die Zertifizierungsstelle nachweisen muss, »dass sie die einschlägigen Regeln befolgt und über kompetentes Personal verfügt«. Das wird von der Akkreditierungsstelle überprüft, »die Audits beim Zertifizierer durchführt und ihn bei ausgewählten Audits begleitet, um sich von dessen Kompetenz zu überzeugen« (ibid.). Vereinfacht gesagt bedeutet dies, dass die Zertifizierungsstelle ein Unternehmen oder eine Organisation prüft und selbst wiederum von einer Akkreditierungsstelle geprüft wird. Die Zertifizierung bestätigt z.B., dass die Produkte oder Dienstleistungen eines Unternehmens qualitativ hochwertig sind, und die Akkreditierung der Zertifizierungsstelle ist dabei wichtig für die Glaubwürdigkeit und Akzeptanz dieses Zertifikats.

Obwohl der Terminus »Akkreditierung« im Kontext der Universitäten nicht immer eindeutig definiert wurde und oftmals doppeldeutig verwendet wird (vgl. The Danish Evaluation Institute 2003:19), gewinnt diese Methode im Rahmen der Qualitätssicherung an Hochschulen auch durch die Schaffung des europäischen Hochschulraums an Bedeutung. Sie dient vor allem der Sicherung von Mindeststandards, der Herstellung von Transparenz, der Förderung der Studierendenmobilität und der internationalen Vergleichbarkeit und Anerkennung der Studienabschlüsse (vgl. Mittag 2006:3). Die AQ definiert Akkreditierung als »ein formales und transparentes Qualitätsprüfverfahren anhand definierter Kriterien und Standards, das zu einer staatlichen Anerkennung einer hochschulischen Bildungseinrichtung und/oder Studien führt« (AQ 2014:3). Demnach handelt es sich bei Akkreditierung um eine summative Betrachtung von Qualität (vgl. HRK 2007:11).

Die erste ENQA-Erhebung (vgl. The Danish Evaluation Institute 2003:19) ergab, dass Akkreditierung vor allem im Zusammenhang mit Studiengängen (accreditation of programme) Anwendung findet. Demgemäß wurde sie 2003 an über 50 % der befragten Institutionen durchgeführt, allen voran an Hochschulen im deutschsprachigen Raum. Auch im Bereich der Institute wurde Akkreditierung von über 20 % der Beteiligten angewandt. Um die oben angesprochene Diffusität des Begriffs »Akkreditierung« zu klären, wurde der Terminus in der ENQA-Erhebung (The Danish Evaluation Institute 2003:20) durch folgende Charakteristika definiert:

1 Akkreditierung erkennt an (oder nicht), dass ein universitärer Kurs, ein Studium oder eine Institution einen gewissen Standard (Minimalstandard oder Exzellenzstandard) erfüllt.

2 Akkreditierung beinhaltet daher immer ein Benchmarking.

3 Die Ergebnisse einer Akkreditierung werden immer auf Basis von Qualitätskriterien und niemals aufgrund politischer Überlegungen getroffen.

4 Akkreditierung beinhaltet ein binäres Element, welches entweder positiv oder negativ ist.

Ganz wesentlich bei der Unterscheidung zwischen Akkreditierung und anderen qualitätssichernden Maßnahmen ist der vierte Punkt, denn am Ende jeder Akkreditierung wird von der durchführenden Agentur ein Zertifikat (Qualitätssiegel) ausgestellt (oder nicht), das darlegt, ob die untersuchte Institution die jeweiligen Standards erfüllt oder nicht, wobei theoretisch die Möglichkeit besteht, dass dies auch mit Auflagen erfolgt und die betreffende Institution die geforderten Nachbesserungen innerhalb einer bestimmten Zeit durchzuführen hat (vgl. HRK 2007:11).

2.3.2.4 Evaluation

Neben den drei bereits genannten Maßnahmen zur Qualitätsoptimierung setzte sich an europäischen Hochschulen seit den 1980er Jahren vor allem eine weitere Methode durch: die Evaluation. Der Terminus Evaluation wird in der Literatur, wie u.a. Gollwitzer/Jäger (vgl. 2009:XI) und Stockmann (vgl. 2010:9) feststellen, geradezu »inflationär« verwendet, und es ist daher in jedem Fall ratsam, darauf zu achten, in welchem Kontext er jeweils wie verwendet wird, bzw. explizit darzulegen, was man selbst meint, wenn man von Evaluation spricht (siehe Kapitel 3).

Im Kontext der universitären Qualitätsverbesserung und -sicherung spricht man verwirrenderweise in zumindest zweierlei Hinsicht von Evaluation: Einerseits als Hyperonym für sämtliche qualitätssichernden Maßnahmen wie Audit, Akkreditierung und Benchmarking, die alle unterschiedliche Evaluationsverfahren sind. Zum anderen wird Evaluation selbst auch als spezielle Methode dieser Verfahren gesehen, was die exakte Unterscheidung oft erschwert. Bei letzterem handelt es sich im Wesentlichen um die Evaluation von Studium, Lehre, Forschung, Verwaltung und Dienstleistungen (vgl. Mittag 2006:2), und man spricht beispielsweise von der Evaluation eines (Studien-)Faches (evaluation of a subject), eines Studienganges/Programms (programme evaluation) oder eines Institutes (institutional evaluation) etc.

Obwohl es in der Evaluationsforschung unterschiedlichste Evaluationstheorien, -ansätze und Modelle gibt (einen Überblick bieten Balzer 2005: Kapitel 4 bzw. Rindermann 2009:12ff), spricht man im Zusammenhang mit Evaluationsverfahren an Hochschulen zumeist von einem sogenannten mehrstufigen Verfahren, welches aus einer internen und einer externen Evaluation, der Veröffentlichung eines Evaluationsberichts und dem sogenannten Follow-up besteht, welches als die Phase der Umsetzung der Evaluationsergebnisse betrachtet werden kann.

Die interne Evaluation ist ihrem Wesen nach eine Selbstevaluation, eine »kritische Bestandsaufnahme durch ein Fach/einen Fachbereich bezüglich des Geleisteten« und in der »externen Evaluation wird dies durch Gutachter (Peers) überprüft« (HRK 2007:7). Die interne Evaluation wird mit einem Bericht (Selbstreport) abgeschlossen, welcher den externen EvaluatorInnen als Basis für ihre Untersuchung dient. Nach einer – üblicherweise zweitägigen – Vor-Ort-Begehung fassen die Peers ihre Empfehlungen und Anregungen in einem schriftlichen Gutachten zusammen (vgl. HRK 2007:7f), welches in der Regel veröffentlicht wird und den eigentlichen Evaluationsprozess beendet. Im Anschluss daran folgt das Follow-up, welches, wie Mittag (vgl. 2006:9) festhält, in den Händen der evaluierten Hochschule liegt und bis dato wenig untersucht wurde (vgl. ibid.:24).

Wie oben bereits kurz angeführt, kann Evaluation als Methode der Qualitätsverbesserung und Qualitätssicherung nicht nur in den verschiedensten Bereichen der Hochschule eingesetzt, sondern auch auf unterschiedliche Weise durchgeführt werden. So kann sie beispielsweise summativ, zur Bewertung von Ergebnissen oder formativ, zur Begleitung und Beratung Verwendung finden. Je nachdem, welche Ziele mit einer Evaluation verfolgt werden, sind unterschiedliche Evaluationstypen und Abläufe zu nennen.

Evaluiert kann grundsätzlich alles werden, von einzelnen Lehrveranstaltungen, Studienrichtungen, über Lehrgänge bis hin zur Universität als Ganzes. Ergebnisse sind dann neben Evaluationsberichten und eventuellen Veränderungen z.B. auch Universitätsrankings, wie etwa die oben genannten vom Magazin Times Higher Education. Die Bandbreite, wie, was und wann evaluiert wird, ist dabei sehr unterschiedlich, ebenso wie potenzielle Schritte und Entscheidungen, die nach der Evaluation getroffen werden.

Nachdem die Institution Universität primär der Gewinnung und Bewahrung von Erkenntnis und der akademischen Bildung und Ausbildung von Studierenden dient (vgl. Rindermann 2009:24), wird neben der Forschung in erster Linie auch die Qualität der Lehre evaluiert. Obwohl allein die Nennung von Evaluation, Qualität und Lehre in einem Atemzug an sich bereits oftmals für explosiven Diskussionsstoff sorgt, der mehrere Bände füllen könnte, so haben sich dennoch Methoden etabliert, die darauf abzielen, die Qualität der Lehre zu messen bzw. zu optimieren. Als eines der wichtigsten (vgl. Alphei 2006:7) aber zugleich auch eines der umstrittensten Verfahren (vgl. z.B. McKeachie 1997), welches hierzu eingesetzt wird, gilt die Evaluation von Lehrveranstaltungen durch Studierende (student ratings), die das Herzstück dieses Buches darstellt. Dass bei der Messung von Lehrqualität auch immer wieder Fallstricke zu finden sind, darauf weist Wolbring (2013) im Detail hin.

2.4 Zusammenfassung

Dieses einführende Kapitel verfolgte primär die Intention, den Leser/die Leserin auf die Wichtigkeit qualitätsoptimierender Maßnahmen hinzuweisen, wie diese nicht nur im Alltag und in der Wirtschaft, sondern auch im universitären Kontext zusehends an Bedeutung gewinnen. Darüber hinaus wurde versucht, einen Überblick über die gängigsten Verfahren der Qualitätsoptimierung zu geben, die im Hochschulbereich aktuell zum Einsatz kommen und auch für den Inhalt und weiteren Aufbau dieses Buches entscheidend sind. Dazu zählen zum einen Standards und Leitlinien, die vor allem der Orientierung dienen, und zum anderen explizite Verfahren wie Benchmarking, Audit, Akkreditierung/Zertifizierung und Evaluation. Ein weiteres Ziel dieses Kapitels war auch, auf die komplexe Verknüpfung von Universität, Wirtschaft und Politik hinzuweisen und auf den Eindruck, den man diesbezüglich in Verbindung mit einigen Modellen qualitätsoptimierender Maßnahmen gewinnen kann, dass nämlich manche eher der Rechtfertigung nach Außen dienen bzw. formalen Status haben als tatsächlich Verbesserungen zu bewirken, was bei vielen Beteiligten nicht selten zur bereits genannten Evaluitis führt.

3 Evaluation und Fremdsprachenunterricht

»Evaluation is like a lock and key,

if you have the right key

you can open the lock and make it work.

If you have the right information

you can make the thing work«

Patton (1997:36).

In Kapitel 1 wurden die Evaluationsstandards angeführt, die vom Joint Commitee on Standards for Educational Evaluation konzipiert wurden und beim Planen, Durchführen und Bewerten von Evaluationen als Orientierung dienen sollen. Darüber hinaus wurden die Evaluationsmodelle von fünf österreichischen Sprachenzentren in aller Kürze auf Basis dieser Standards analysiert und einige Bedenken geäußert, die daraus resultierend, mit diesen und ähnlichen Lehrveranstaltungsevaluationen in Hinblick auf die Qualitätsoptimierung des universitären Fremdsprachenunterrichts einhergehen.

In Folge wurde die primäre Zielsetzung dieser Arbeit angeführt, der Entwurf eines theoriebasierten Evaluationsmodells, KDE (Komplexe Dynamische Evaluation), welches zum einen auf den ESG und den Evaluationsstandards basiert, und zum anderen intendiert, den universitären Fremdsprachenunterricht in einer umfassenderen als der bisher durchgeführten Weise zu optimieren, indem auch Lehrende und Studierende in die Konzeption miteingebunden werden.

Um dies zu realisieren, werden im aktuellen Kapitel zentrale Evaluationsansätze angeführt und vor dem Hintergrund des universitären Fremdsprachenunterrichts diskutiert, da diese – bzw. Aspekte davon – in Folge bei der Konzeption der KDE zum Einsatz kommen (siehe Kapitel 6). Davor wird jedoch erörtert, was im vorliegenden Ansatz genau unter Evaluation verstanden wird und wie sich der Terminus von anderen ähnlichen Konzepten unterscheidet. Dies ist unabdingbar, da sonst Missverständnisse nicht auszuschließen sind.

3.1 Der Begriff »Evaluation«

Evaluation ist ein »außerordentlich vielfältiger Begriff« (Wottawa/Thierau 1998:13), ein schillerndes »Allerweltswort« (Kromrey 2005:33), dem »unterschiedliche Verständnisse« (Götz 1999:9) zugrunde liegen. Bereits Suchman (vgl. 1967:27) stellte vor 50 Jahren fest, dass dieser Terminus – abgesehen von seiner verbreiteten Beliebtheit – mangelhaft definiert und oftmals unpassend verwendet wird, geradezu »inflationär«, wie u.a. Spiel/Gössler (2001:9) und Stockmann (2010:9) dies bezeichnen. Das hat sich seither kaum verändert und es ist in der Tat schwer, in wenigen Worten exakt zu definieren, was Evaluation ist bzw. nicht ist, vor allem auch deshalb, weil je nach Kontext, in welchem der Terminus verwendet werden kann, Unterschiedliches damit verbunden scheint. Daher ist man »gut beraten, genau zu prüfen, ob dort, wo Evaluation draufsteht auch Evaluation drin ist« (Stockmann 2010:9), denn dieser Begriff gehört, wie es Liessmann (vgl. 2005:17) ausdrückt, zu jenen »Zauberwörtern«, die nie das bezeichnen, was die Wortbedeutung nahelegt, und das verbergen, was durch sie tatsächlich indiziert wird.

Während Guba/Lincoln (vgl. 1989:21) überhaupt die Ansicht vertreten, dass es keinen »richtigen« Weg gibt, Evaluation zu definieren, und sie meinen, dass die Frage »Was ist denn nun Evaluation wirklich?1« nicht nur nicht beantwortet werden kann, sondern es auch keinen Sinn macht, diese Frage überhaupt zu stellen, versucht Kromrey (vgl. 2005:33–36) sich diesem Begriff von zwei Richtungen aus anzunähern: Zum einen unterscheidet er die Verwendung von Evaluation hinsichtlich der unterschiedlichen Referenzebenen und zum anderen hinsichtlich der verschiedenen Kontexte, in welchen der Terminus Verwendung findet. Diese Unterscheidung ist plausibel und notwendig, denn selbst wenn man die Frage, was Evaluation letztendlich ist, nicht im Allgemeinen, sondern nur in der jeweiligen Situation und dem gegebenen Kontext beantworten kann, benötigt man einen Signifikanten, um über dieses Phänomen sprechen zu können, denn sonst befindet man sich schnell in jenem Dilemma, auf welches bereits Suchman (1967:27) hinwies:

»For the most part, its meaning is taken for granted and very few attempts have been made, even by those most concerned, to formulate any conceptually rigorous definition or to analyze the main principles of its use. The result is wide disagreement, with many other terms such as ’assessment’, ’appraisal’ and ’judgment’ often being used interchangeably with evaluation«.

3.1.1 Drei Referenzebenen von Evaluation

Die erste Gruppe von Referenzobjekten befindet sich, Kromreys Einteilung nach, auf der symbolischen und gedanklichen Ebene, wo Evaluation zum einen synonym mit Bewerten bzw. Bewertung verwendet wird und zum anderen für ein spezifisches […] Denkmodell eines nachprüfbaren Verfahrens des Bewertens steht (vgl. Kromrey 2005:33).

Diese Verwendung kann man aller Voraussicht nach etymologisch erklären, denn der deutsche Terminus Evaluation lässt sich auf lateinische1 Wurzeln zurückführen. Evaluation kann, wie u.a. bereits Stockmann (vgl. 2004:2) und Balzer (vgl. 2005:9f) feststellen, vom lateinischen Nomen »valor« (Wert) und der Vorsilbe »e/ex« (aus, heraus) hergeleitet werden, was man in weiterer Folge mit »einen Wert aus etwas ziehen« übersetzen kann, oder vom lateinischen Verb »valere« (wert sein). Ähnlich führen Gollwitzer/Jäger (vgl. 2009:XI) Evaluation auf das lateinische Verb »valuere« zurück, was auch dem deutschen Verb »wert sein« entspricht.

In diesem Kontext wird folglich z.B. der Wert bzw. die Qualität oder Güte von etwas vor dem Hintergrund bestimmter Vergleichswerte (Standards) beurteilt. Das beurteilte Etwas kann dabei ein Produkt, ein Prozess, ein Projekt, Programm etc. sein. Voraussetzung für die Beurteilung ist zum einen das Vorhandensein bestimmter Kriterien, die zur Bewertung herangezogen werden und zum anderen das Einholen von Informationen hinsichtlich des zu bewertenden Gegenstandes. Die gewonnene Information wird mit den vorhandenen Kriterien verglichen, was in weiterer Folge zu einer Bewertung bzw. Beurteilung führt. Der Terminus Evaluation stellt folglich ein Fremdwort im Deutschen dar, wenngleich das, was damit gemeint ist, alltäglich ist und überall stattfindet (vgl. Nuissl 2013:9).

Die zweite Begriffsebene bezieht Kromrey (vgl. 2005:33) auf ein spezifisches Handeln, auf die Durchführung eines Evaluationsprojektes, auf zielorientiertes Informationsmanagement. Evaluationsprojekte können auf unterschiedlichste Art durchgeführt werden und verschiedenste Intentionen verfolgen (siehe unten). So können z.B. die Lehrenden, die Studierenden, die Universität, einzelne Studienrichtungen oder Lehrveranstaltungen evaluiert werden. Dabei kann man das Augenmerk auf bestimmte Prozesse, Ergebnisse, Materialien u.Ä. richten.

Als dritte Begriffsebene versteht Kromrey (vgl. 2005:34) das Ergebnis des oben angeführten spezifischen Handelns, also das Resultat eines Evaluationsprozesses, etwas Punktuelles, welches z.B. in einem Evaluationsbericht oder Evaluationsgutachten dargestellt werden kann und für das Nachvollziehen des Evaluationsvorgangs besonders wichtig ist.

Resümierend kann Evaluation demnach für ein spezifisches Handeln stehen, welches sowohl die Gewinnung als auch die Bewertung von Informationen zum Ziel hat. Zudem kann sie auch das Ergebnis dieses Prozesses bezeichnen (vgl. Stockmann 2006:65). Diese Vielschichtigkeit führt mitunter zu Missverständnissen, wenn nicht genau expliziert wird, worauf man sich in einem bestimmten Kontext bezieht. Um dies zu vermeiden, werden in Folge verschiedene Kontexte von Evaluation diskutiert und festgestellt, was im vorliegenden Buch explizit darunter verstanden wird. Im Anschluss daran wird der Begriff von anderen, ähnlich wirkenden Konzepten abgegrenzt, um Unklarheiten zu vermeiden.

3.1.2 Unterschiedliche Kontexte von Evaluation

Im Hinblick auf die unterschiedlichen Kontexte, in welchen Evaluation verwendet werden kann, führt Kromrey (vgl. 2005:34) (1) den alltäglichen Sprachgebrauch, (2) die politische Argumentation, (3) die empirische Methodologie und (4) ihre Verwendung im Zusammenhang mit »gewöhnlicher« Umfrageforschung an. Das alleinige Vorhandensein dieser unterschiedlichen Kontexte wäre, wie er ausführt, grundsätzlich nicht problematisch, wenn sich nicht – je nach Zusammenhang – mitunter völlig unterschiedliche Konzepte hinter dem Terminus verbergen würden.

Er expliziert (vgl. Kromrey 2005:34f), dass Evaluation im alltäglichen Sprachgebrauch »ausgesprochen unspezifisch« ist und im Wesentlichen nicht mehr ausdrückt, als dass irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet wird. Das führt zur Problematik, dass derselbe Sachverhalt von unterschiedlichen Individuen sehr unterschiedlich bis gegensätzlich eingeschätzt und beurteilt werden kann, wie er fortführt. Im Kontrast hierzu wird der Begriff in politischen Argumentationen Kromreys Ansicht nach wesentlich spezifischer, wenngleich auch vielfältiger verwendet, und erstreckt sich z.B. von Effizienzmessungen in ökonomischen Zusammenhängen über von Sachverständigen durchgeführten Analysen der Funktionsfähigkeit von Organisationen bis hin zur beratenden Funktion im Bereich der Entwicklung und Optimierung von Handlungsprogrammen etc. In der empirischen Methodologie versteht man hingegen das Design für einen spezifischen Typ von Sozialforschung, der die Informationsbeschaffung mit expliziten Zielen und Instrumenten zum Gegenstand hat, während Evaluation im Zusammenhang mit Umfrageforschung die Erhebung und Auswertung bewertender (evaluierender) Aussagen von Befragten meint, die in einem bestimmten Verhältnis zum evaluierenden Gegenstand stehen (vgl. Kromrey 2005:35). Diese Ausführungen Kromreys verdeutlichen die Komplexität, die mit der Verwendung des Terminus Evaluation einhergeht.

Auf eine ähnliche Vielschichtigkeit des Begriffs im Hochschulkontext wurde auch in diesem Buch bereits hingewiesen, weil Evaluation in diesem Zusammenhang einerseits oft als Oberbegriff für sämtliche qualitätssichernde Maßnahmen wie Audit, Akkreditierung und Benchmarking verwendet wird, und andererseits, weil Evaluation i.e.S. auch eine spezielle Methode dieser Verfahren ist – z.B. die Evaluation von Lehrveranstaltungen.

Zudem kann man feststellen, wenn man die Literatur zu diesem Begriff analysiert, dass er häufig nicht korrekt oder nicht explizit genug von anderen Begriffen, wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. abgegrenzt wird, was die Problematik, eine exakte Definition zu finden, erschwert, wie in Folge erläutert wird.

3.2 Abgrenzung zu anderen Begriffen

Eine detaillierte Abgrenzung des Begriffs Evaluation von Begriffen wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. stellt nicht nur eine große Herausforderung dar, sondern kann nicht in wenigen Worten erfolgen. Da dies auch nicht die Intention dieses Buches ist, genügt für den gegebenen Kontext eine überblicksartige Skizze, wenngleich auf die jeweiligen Werke, die diese Analyse in größerem Umfang ermöglichen, in den einzelnen Abschnitten verwiesen wird.

3.2.1 Evaluation vs. Evaluationsforschung, Programmevaluation und Evaluierung

Ein Grund, warum die Verwendung des Begriffes Evaluation oftmals unklar erscheint, ist, weil dieser in der Literatur nicht selten synonym zu anderen Begriffen wie Evaluationsforschung, Programmevaluation, Evaluierung etc. verwendet wird. Obwohl bereits Suchman (vgl. 1967) versuchte, eine klare Abgrenzung zwischen Evaluation und Evaluationsforschung herzustellen, konnte sich diese Bemühung in der scientific community bis dato nicht durchsetzen und auch in neueren Auflagen von Standardwerken (siehe z.B. Rossi/Lipsey/Freeman, 2004:6) werden diese Begriffe nach wie vor bzw. wieder weitgehend synonym verwendet.

Suchman (vgl. 1976) verstand unter Evaluation im Wesentlichen den Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder Programms. Dabei sind seiner Ansicht nach keine systematischen und wissenschaftlichen Verfahren oder datengestützten Beweise zur Untermauerung einer Beurteilung nötig. Unter Evaluationsforschung hingegen verstand er die explizite Verwendung dieser wissenschaftlichen Methoden bzw. Verfahren bei einer Beurteilung. Auf diese Weise ist seiner Ansicht nach die Trennung zwischen einer reinen Behauptung und einer auf Beweisen basierenden Bewertung möglich. Für mich kommt diese erste Unterscheidung der Abgrenzung zwischen allgemeiner und wissenschaftlicher Evaluation gleich, auf die noch näher eingegangen wird (siehe 3.2.5).

Wenngleich der Ansatz von Suchman zweifelsfrei seine Berechtigung hat und ein erneuter allgemeiner Versuch sämtliche, mit Evaluation in Verbindung stehenden Termini klar zu definieren und voneinander abzugrenzen auch heute noch sehr sinnvoll ist, so kann bezweifelt werden, dass dieser Versuch aktuell mehr Erfolg hätte als jener von 1967. Daher wird dies im vorliegenden Buch nicht intendiert, sondern lediglich expliziert, was hier konkret unter den jeweiligen Begriffen im jeweiligen Kontext verstanden wird:

Evaluation wird in diesem Buch im Allgemeinen und in ihrer simpelsten Form als das Sammeln, Analysieren und Bewerten von Informationen gesehen und ist synonym zu Evaluierung. Letzteres wird als Nomen von evaluieren verstanden und wird dann verwendet, wenn explizit der Prozess des Bewertens vor dem Hintergrund bestimmter Kriterien betont werden soll. Dies kann bei einer allgemeinen Evaluation ohne wissenschaftliche Methoden erfolgen oder bei einer wissenschaftlichen Evaluation auf Basis dieser. Im Zusammenhang mit dem Kontext dieses Buches muss bereits hier darauf hingewiesen werden, dass im erweiterten Rahmen des pädagogischen Handelns bzw. der Optimierung von Lehr- bzw. Lernsituationen etc. weitere Definitionen von Evaluation folgen, sie jedoch im gegebenen Kontext erörtert und demgemäß an den jeweiligen Stellen angeführt und besprochen werden.

Das Ergebnis einer Evaluation wird hier nicht als Evaluation bezeichnet, sondern als Evaluationsergebnis bzw. Ergebnis der Evaluation. Unter Programmevaluation wird eine konkrete Form der Evaluation verstanden, die sich auf das Evaluieren eines Programms (z.B. eines Fremdsprachenkurses) bezieht.

Evaluationsforschung betont nicht nur den wissenschaftlichen Kontext einer Evaluation, sondern sie ist als eine eigenständige Wissenschaftsdisziplin zu verstehen (wenngleich sie in der Regel nur als Teildisziplin der Sozialforschung betrachtet wird), die sich der üblichen wissenschaftlichen Methoden und Techniken bedient, um wissenschaftliche Evaluationen zu beschreiben und durchzuführen. Sie stellt das theoretische Grundgerüst für professionelle Evaluationen zur Verfügung bzw. zieht sie aus den Ergebnissen von Evaluationen Rückschlüsse, auf deren Basis erneut Erkenntnisse gewonnen und verallgemeinert werden können, die in Folge eine Weiterentwicklung von Evaluation(-sforschung) ermöglichen. Daher wird dieser Begriff im vorliegenden Buch explizit nicht synonym zu Evaluation gesehen.

3.2.2 Evaluation vs. Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung

Im Kontext dieses Buches ist auch explizit zwischen Evaluation, Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung zu unterscheiden. Evaluation kann, wie bereits unter Abschnitt 2.3.2.4 angeführt, zum einen als Hyperonym zu diesen Begriffen gesehen werden und stellt zum anderen das Generieren, Analysieren und Bewerten – das Evaluieren – von Informationen dar. Unter Lehrveranstaltungsevaluation wird das Evaluieren einer expliziten Lehrveranstaltung (in der Regel) durch die Studierenden verstanden. Alternativ bzw. zusätzlich zur Lehrveranstaltungsevaluation durch Studierende könnte diese auch von KollegInnen evaluiert werden, was dann als Peer-Evaluation bezeichnet wird (siehe Abschnitt 3.3.2.4.2). Wird die gesamte Lehre eines Studiums oder eine Universität evaluiert, spricht man von Lehrevaluation oder Evaluation der Lehre.

Feedback wird als Synonym zu Rückmeldung gesehen und stellt nicht nur einen wichtigen Bestandteil herkömmlicher Kommunikationssituationen dar (siehe z.B. Watzlawick et. al. 2007:29ff), sondern ist auch essentiell im Unterricht – in der Kommunikation zwischen Lehrenden und Studierenden. In diesem Zusammenhang können Feedbacks/Rückmeldungen im Rahmen der Lehrveranstaltungsevaluation oder auf andere Weise gegeben und demnach auch als Teil eines Evaluationsvorgangs bzw. -prozesses aufgefasst werden, weil jedem Feedback/jeder Rückmeldung in der Regel eine Evaluation vorangeht und/oder eine weitere daran anschließt, wie die folgende Grafik verdeutlicht.

Abb. 2: Beispiel einer Kommunikationssituation im Unterricht mit Feedback

Allgemein versteht man unter Feedbacks Rückübermittlungen von Informationen, die vom Empfänger/von der Empfängerin einer Nachricht an den Sender/die Senderin der Nachricht übertragen werden. Diese Rückmeldungen können zum einen Informationen enthalten, ob – und wenn – wie und was von der jeweils gesendeten Nachricht der Empfänger/die Empfängerin wahrgenommen bzw. verstanden hat und welche Reaktionen dies bei ihm/ihr auslöste. Durch diese Information ist es dem Sender/der Senderin möglich, in geeigneter Weise auf diese Rückmeldungen zu reagieren.

Rückmeldungen können die unterschiedlichsten Formen aufweisen, indirekt oder direkt sein und im Unterrichtsgeschehen von der Lehrperson oder von den Studierenden ausgehen. Indirekte Feedbacks wären z.B. körpersprachlicher Natur, könnten durch Gestik oder Mimik zum Ausdruck gebracht werden und sind oft schwieriger zu deuten als direkte Feedbacks, da sie vielfach nur unbewusst wahrgenommen werden und oftmals eher zu Vermutungen anregen als zu konkreten Rückschlüssen zu führen. Direkte Feedbacks können, ausgehend von der Lehrperson, zum Beispiel durch mündliche oder schriftliche Korrekturen erfolgen oder durch Stellungnahmen zu diversen Arbeiten, die von den Studierenden abgegeben wurden. Die Lehrperson evaluiert die Performanz der Studierenden in den unterschiedlichsten Situationen und gibt ihnen Rückmeldung. Von den LernerInnen ausgehend sind direkte Feedbacks z.B. konkrete Äußerungen zu einzelnen Themen im Unterricht, wie beispielsweise Aufforderungen an die Lehrperson, etwas erneut zu erklären bzw. zu wiederholen oder Fragen, die sie während oder nach dem Unterricht stellen. Gerade diese direkten Feedbacks sind für mich als Lehrender im Hinblick auf gute Lehre und damit den Lehr- bzw. Lernerfolg von größter Bedeutung, da man als LehrendeR ohne diese Rückmeldungen von den Studierenden keine (akkurate) oder nur sehr wenig Auskunft darüber hat, ob und wie das vermeintliche input aufgenommen bzw. was davon zum tatsächlichen intake wurde.

3.2.3 Evaluation vs. Qualitätsmanagement

Für weitere Verwirrung sorgt die oftmals unzureichende terminologische Trennung von Evaluation und Qualitätsmanagement bzw. Total Quality Management (TQM). Wenngleich Evaluation und Qualitätsmanagement Gemeinsamkeiten aufweisen und die beiden Termini oft in einem Atemzug genannt werden, sind zwischen diesen beiden Begriffen zahlreiche Unterschiede zu verzeichnen, die für eine exakte Unterscheidung und gegen eine potentiell synonyme Verwendung der Termini sprechen. Einen detaillierten Überblick zu diesem Thema geben Stockmann (2006: Kap. 2.4), Ernst (2008: Kap. 2.1) und Ditton (2010), deren Ausführungen als Basis für die untenstehenden Tabellen dienen, in welchen Gemeinsamkeiten und Unterschiede in aller Kürze aufgezeigt werden sollen:

3.2.3.1 Gemeinsamkeiten

	Qualitätsmanagement	Evaluation
Ziele	zur Qualitätsoptimierung eines Produktes bzw. einer Dienstleistung beitragen
Ursprung	USA (1950er Jahre)	USA (frühes 19. bis Mitte 20. Jh.)
Einsatz	in moderner, rationaler Unternehmensführung als Entscheidungshilfe und zur nachvollziehbaren Begründung von Entscheidungen
Probleme	bei Akzeptanz und Umsetzung; oftmals sind Verfahren sehr aufwendig und wenig beliebt und die aus den Untersuchungen abgeleiteten Empfehlungen werden aus unterschiedlichsten Gründen (Wille, Organisation, Bürokratie etc.) nicht umgesetzt.

Tab. 3: Gemeinsamkeiten zwischen Qualitätsmanagement und Evaluation

3.2.3.2 Unterschiede

	Qualitätsmanagement	Evaluation
Herkunft	Betriebswirtschaft privatwirtschaftlicher Sektor	Sozialwissenschaften öffentlicher Sektor
Anwendungsfelder	Unternehmen Gewinnorientierung Wettbewerb	Nonprofit-Organisationen keine Gewinnorientierung kaum Wettbewerb
Orientierung	KundInnen Zielgruppen	Beteiligte, Betroffene Zielgruppen
Ausrichtung	total, komplex, klärend umfassend berücksichtigt alle Mitglieder einer Organisation, interne Strukturen, Abläufe und das Organisationsfeld Managementaufgabe top-down intern	partiell, fokussiert nicht umfassend, weil Entscheidungskomponente fehlt; es werden nur Informationen geliefert und bewertet bzw. Empfehlungen definiert; die Umsetzungsentscheidung bleibt beim Management selbstbestimmte Methode top-down, bottom-up intern und/oder extern
Beteiligung der Mitarbeiter	i.d.R. alle MitarbeiterInnen MitarbeiterInnen sollen von TQM überzeugt sein und dies in täglicher Arbeit umsetzen Einbindung v.a. bei Umsetzung	je nach Typ stärkere bis schwächere Einbindung keine Einbindung bei wissenschaftl. Evaluation wenn Einbindung: dann vor allem bei Design-, Bewertungs-, und Verwertungsphase
Funktion	Kontrollinstrument der Leitung	Beratung, Unterstützung, Überwachung
Primäre Intention	Optimierung der Qualität zur Steigerung der Nachfrage und des Gewinns shareholder value1	Evaluationsziele frei bestimmbar stakeholder value2
Bewertungskriterien	festgelegt (z.B. ISO) Änderungen nicht vorgesehen	frei bestimmbar Änderungen möglich Orientierung an Standards Definiert durch: EntscheidungsträgerInnen bzw. AuftraggeberInnen (direktiv) EvaluatorInnen (wissenschafts-/ erfahrungsbasiert) Zielgruppen/StakeholderInnen (emanzipativ) alle zusammen (partizipativ)
Aktivität	kontinuierlich	zumeist periodisch und befristet kann kontinuierlich sein
Reichweite/ Tiefe des Untersuchungsfeldes	schmal, auf KundInnen bezogen (Kosten-Nutzen) Effizienz/Effektivität von Programmen Ursache-Wirkungszusammenhänge auf Unternehmen begrenzt	breit Beschaffung/ Bewertung von Informationen, Transparenz Effizienz/Effektivität, Nachhaltigkeit bezieht gesamten gesellschaftlichen Kontext mit ein (Kausalanalyse)

Tab. 4: Unterschiede zwischen Qualitätsmanagement und Evaluation

Wie die vorangehenden Tabellen verdeutlichen, sind die Unterschiede zwischen Qualitätsmanagement und Evaluation somit gravierender als die Gemeinsamkeiten. Wenngleich beide grundsätzlich dasselbe Ziel verfolgen, zur Qualitätsverbesserung beizutragen, so sind die dahinterstehenden Konzepte und Herangehensweisen doch sehr verschieden voneinander. TQM kann als ein umfassendes und kontinuierliches System der Qualitätssicherung gesehen werden, welches von der Informationsbeschaffung bis zur Umsetzung der Ergebnisse sämtliche Bereiche abdeckt, während bei der Evaluation vor allem die Informationsbeschaffung und deren Bewertung im Vordergrund steht. Die Umsetzung der Ergebnisse ist explizit nicht mehr Bestandteil einer Evaluation, die zudem hinsichtlich der Durchführungsart in der Regel zeitlich befristet bzw. periodisch ist.

Wichtiger als die einzelnen Unterschiede detailliert zu diskutieren, scheint, wie Stockmann (2006:93) ausführt, die Erkenntnis, dass diese beiden Verfahren keine sich gegenseitig ausschließenden Konzepte sind, sondern sich ergänzen, und dass die Evaluation von TQM-Konzepten lernen kann, damit sie effektiver und effizienter gestaltbar ist. Ein Hauptpunkt, der in diesem Zusammenhang von Stockmann (ibid.) genannt wird und auch ganz besonders vor dem Kontext des universitären Fremdsprachenunterrichts hervorzuheben wäre, ist die Forderung, dass Evaluation nicht als periodische Aktivität gesehen werden soll, sondern als prozessbegleitender, kontinuierlicher Vorgang. Diese Überlegung ist zentral bei der Konzeption der KDE, wie in Kapitel 6 im Detail ausgeführt wird.

3.2.4 Evaluations- vs. Grundlagenforschung

Neben den bisher genannten Gründen, warum der Terminus Evaluation oft missverständlich verwendet wird, kommt ein weiterer hinzu: Evaluationsforschung wird nicht immer korrekt von Grundlagenforschung unterschieden. Dies liegt darin begründet, dass, obwohl die meisten Unterschiede zwischen den beiden in der Regel relativ eindeutig sind, auch ein Graubereich vorhanden ist, der eine exakte Unterscheidung in manchen Bereichen erschwert.

Keine prinzipiellen Unterschiede zwischen Evaluations- und Grundlagenforschung sind, wie auch Stockmann (vgl. 2010:58) feststellt, in Hinblick auf (1) die Auswahl des Untersuchungsgegenstandes sowie (2) die Verwendung von Datenerhebungs- und Analysemethoden zur Identifizierung von Wirkungen und der Bearbeitung der Kausalitätsfrage (Ursache-Wirkungszusammenhänge) zu erkennen. In beiden Bereichen können und werden sowohl quantitative als auch qualitative Forschungsmethoden eingesetzt. Hinsichtlich des Untersuchungsgegenstandes ist jedoch zu vermerken, dass im Bereich der Evaluationsforschung die Fragestellung oftmals von einem Auftraggeber bzw. einer Auftraggeberin kommt, während diese in der Grundlagenforschung in der Regel von den WissenschaftlerInnen selbst formuliert wird. In beiden Fällen ist aber auch das Gegenteil möglich. Untersucht können somit in beiden Fällen prinzipiell die gleichen Gegenstände werden.

Im Hinblick auf die Unterschiede zwischen Evaluations- und Grundlagenforschung gibt Balzer (vgl. 2005:17ff) einen guten Überblick, der – zusammen mit Analysen von Stockmann (vgl. 2010:57ff) – die Basis für untenstehende Tabelle bildet, die Gemeinsamkeiten und Unterschiede zwischen Evaluation- und Grundlagenforschung aufzeigen soll.

	Evaluationsforschung	Grundlagenforschung
Methoden	qualitativ, quantitativ, gemischt	qualitativ, quantitativ, gemischt
Gegenstand	theoretisch frei, in d. Praxis meist definiert	zumeist frei, kann definiert sein
Ziele	Wissensgenerierung als Basis für Entscheidungen verwertungsorientiert Verbesserung v. Praxis	Wissensgenerierung als Basis für Theoriebildung theorieorientiert Verifizieren, Falsifizieren v. Theorien
Zweck	zweckbestimmt	zweckfrei
Ergebnisse	Nützlichkeit für konkretes Projekt müssen stimmen sollten handlungsrelevant sein	Generalisierbarkeit dürfen falsch sein sollten wertvoll für Wahrheitsfindung sein; Basis für weitere Forschung
Bewertung	Vergleich Ist-Sollzustand Differenz = Grundlage für Bewertung Interpretation und Bewertung	untersucht, beschreibt, erklärt aktuellen Ist-Zustand (kein Vergleich) nur Interpretation, keine Bewertung
Urteilskriterien	davor festgelegt nötig für Vergleich	keine
Fragestellung	in der Regel von AuftraggeberIn festgelegt (fremdbestimmt) von Zielsetzung geleitet	in der Regel durch ForscherIn bestimmt (selbstbestimmt) von Suche nach Erkenntnisgewinn geleitet
Erkenntnisgewinn	zum Treffen konkr. Entscheidungen	für die Gesellschaft
Rolle	potentielle Eingebundenheit in ein System kontrollierter, fester Rahmen oft in politische Settings eingebunden nach rechtsverbindlichem Auftrag abgewickelt	dem Erkenntnisgewinn verpflichtet freier Rahmen der scientific community verpflichtet kann an Verträge gebunden sein
Zeitrahmen	Deadline (zeitgebunden) Verspätete Ergebnisse für z.B. Entscheidungen sind nach Entscheidungstermin nicht mehr verwertbar	i.d.R zeitungebunden bei Bedarf mehr Zeit bzw. Deklarieren weiteren Forschungsbedarfs neue Erkenntnisse lassen sich nicht mit Terminkalender erzwingen
Empfänger von Ergebnissen	Programmverantwortliche konkretes Publikum Beteiligte	andere ForscherInnen interessiertes Fachpublikum für alle Interessierten
Veröffentlichung	zumeist keine (freie) Veröffentlichung	Publikation ist ein zentrales Anliegen
Ergebnisnutzung	ist ein Hauptanliegen	nicht zwingend; Ergebnisse können aber nützlich sein
Ressourcen	i.d.R AuftraggeberInnen	i.d.R. öffentlich
Kontext	eher politisch sensibel	zumeist pol. unproblematisch

Tab. 5: Gemeinsamkeiten und Unterschiede zw. Evaluation und Grundlagenforschung

Während die Grundlagenforschung demnach überwiegend zweckfrei nach (neuen) Erkenntnissen sucht und die Frage nach ihrer Nützlichkeit in der Regel kaum gestellt wird, zeichnet sich die Evaluationsforschung gerade dadurch aus, dass sie, wenngleich sie sich auch der Methoden und Theorien der Sozialforschung bedient, nützlich sein soll und Informationen zur Verfügung stellt, auf Basis welcher Entscheidungen getroffen werden. Diese Gratwanderung zwischen Wissenschaft und Nützlichkeit bezeichnet Stockmann (2010:59) als die »besondere Dualität« der Evaluationsforschung.

Die Tatsache, dass Evaluationsforschung im Gegensatz zur Grundlagenforschung praxisorientiert ist (vgl. Rindermann 2009:14) und auch der Nützlichkeitsaspekt von Evaluationen im Vordergrund steht bzw. eine enge Verknüpfung zwischen den Evaluationsergebnissen und (politischen) Entscheidungen nicht immer negiert werden kann, hat nicht selten zur Folge, dass Evaluationsforschung von grundlagen- bzw. disziplinorientierten ForscherInnen nicht immer als vollwertige Wissenschaft anerkannt wird, wie Stockmann (vgl. 2010:57) anführt. Dies geht auch mit oft konträren Anforderungen einher, mit welchen sich viele EvaluatorInnen in der Praxis konfrontiert sehen.

Evaluation, wie sie im Rahmen der KDE gesehen wird, schafft gewissermaßen eine Gratwanderung, weil sie zum einen Informationen generiert, auf Basis welcher Optimierungen im Fremdsprachenunterricht erwirkt werden können, und weil diese Informationen bzw. Veränderungen zugleich als Ausgangspunkt für neue Theorien und fremdsprachen-didaktische Überlegungen genutzt werden können.

3.2.5 Allgemeinsprachliche vs. wissenschaftliche Evaluation

Ein weiterer wichtiger Aspekt, der im Hinblick auf die Verwendung des Begriffs Evaluation Klarheit schaffen soll, ist die Abgrenzung der allgemeinsprachlichen Evaluation von der wissenschaftlichen Evaluation. Spricht man von einer allgemeinsprachlichen Evaluation, wie etwa jener im oben angeführten Zitat von Kromrey (vgl. 2001:21) bei welcher irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet wird, oder handelt es sich um eine Evaluation im wissenschaftlichen Kontext, die auch wissenschaftlichen Kriterien und Standards gerecht werden muss? Für letztere sind, wie Stockmann (2004:2) ausführt, »empirische Methoden zur Informationsgewinnung und systematische Verfahren zu Informationsbewertung anhand offengelegter Kriterien« erforderlich, »die eine intersubjektive Nachprüfbarkeit möglich machen«.

Kromrey (2001:22) verdeutlicht diesbezüglich, dass bei einer wissenschaftlichen Evaluation nicht irgendetwas beurteilt werden soll, sondern »ein eindeutig zu definierender und empirisch abgrenzbarer Gegenstand oder Sachverhalt«. Zudem ist nicht irgendjemand für die Informationssammlung und Analyse zuständig, sondern »eine mit der notwendigen Kompetenz versehene Evaluations-Instanz«. Darüber hinaus soll nicht nach irgendwelchen Kriterien und nicht in irgendeiner Weise evaluiert werden, sondern »nach explizit auf den Sachverhalt bezogenen und begründeten Beurteilungskriterien und Standards, sowie in einem objektivierten Verfahren im Rahmen eines im Detail geplanten Evaluationsdesigns«.

Demgemäß müssen, wenn es sich bei einer Evaluation nicht nur um die einfache Abgabe eines subjektiven Werturteils handeln soll, wie dies bei den in 1.3 analysierten Evaluationsmodellen vielfach der Fall war, sondern wenn es sich um eine Evaluation im wissenschaftlichen Kontext handelt, wesentliche Kennzeichen und Kriterien erfüllt bzw. Standards berücksichtigt werden, die eine empirisch-wissenschaftliche Evaluation von einer Alltagsbewertung unterscheiden.

3.2.5.1 Kennzeichen wissenschaftlicher Evaluation

Wottawa/Thierau (vgl. 1998:14) führen folgende Kennzeichen für eine wissenschaftliche Evaluation an:

1 Evaluation dient als Planungs- und Entscheidungshilfe und hat daher etwas mit der Bewertung von Handlungsalternativen zu tun.

2 Evaluation ist ziel- und zweckorientiert. Ihr primäres Ziel besteht darin, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.

3 Evaluationsmaßnahmen sollten dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein.

Neben den drei genannten Kennzeichen führen sie (ibid.) zudem an, dass ethisch-moralische Überlegungen nicht vernachlässigt werden dürfen, denn EvaluatorInnen »verändern durch ihre Arbeit beratend (manchmal sogar als Entscheider) die Lebensumstände anderer Menschen gezielt und erheben dabei den Anspruch, aufgrund ihrer ›Wissenschaftlichkeit‹ über Kompetenzen zu verfügen, die dem ›Laien‹ fehlen«.

3.2.5.2 Kriterien wissenschaftlicher Evaluation

Für Stockmann (vgl. 2010:66) zeichnet sich eine wissenschaftliche Evaluation durch folgende Kriterien aus:

1 Die Evaluation ist auf einen klar definierten Gegenstand bezogen.

2 Für die Informationsgenerierung werden objektivierende empirische Datenerhebungsmethoden eingesetzt.

3 Die Bewertung erfolgt explizit auf den zu evaluierenden Sachverhalt und anhand präzise festgelegter und offengelegter Kriterien.

4 Die Bewertung wird mit Hilfe systematischer Verfahren vorgenommen.

5 Die Evaluation wird von dafür besonders befähigten Personen (EvaluatorInnen) durchgeführt.

6 Ziel der Evaluation ist, auf den Evaluationsgegenstand bezogene Entscheidungen zu treffen.

Zudem stellen Evaluationen keinen Selbstzweck dar und sind nicht nur dem puren Erkenntnisinteresse verpflichtet, sondern sollen einen Nutzen stiften und dazu beitragen, Prozesse transparent zu machen, Wirkungen zu dokumentieren und Zusammenhänge aufzuzeigen, um dadurch Entscheidungen treffen zu können, die dazu beitragen, die Qualität einer Maßnahme, eines Programms oder einer Dienstleistung zu optimieren (vgl. Stockmann 2006:65).

Ist im wissenschaftlichen Kontext der systematische Zugang essentiell, stellt dieser im Alltag keine Notwendigkeit dar. In beiden Fällen verfolgt die Evaluation jedoch ein bestimmtes Ziel oder einen bestimmten Zweck, wie z.B. auf Basis der aus der Evaluation gewonnenen Erkenntnisse eine Entscheidung zu treffen, die zu einer Optimierung eines Prozesses oder Produktes – im konkreten Fall, des universitären Fremdsprachenunterrichts – führt.

Damit eine wissenschaftliche Evaluation auch die für jede andere wissenschaftliche Untersuchung geforderten Kriterien der Neutralität, Objektivität, Validität und Reliabilität erfüllt, ist eine Herangehensweise zu wählen, die man auch für andere wissenschaftliche Untersuchungen anwenden würde: Zuerst ist eine Fragestellung zu formulieren, dann muss eine Methode gewählt und beschrieben werden, die jene Daten erhebt, die zur Beantwortung der Frage führen. Der bewertende Aspekt, der bei einer Evaluation besonders stark im Vordergrund steht, darf jedoch nicht mit der Abgabe eines subjektiven Werturteils verwechselt werden. Hier ist von eminenter Wichtigkeit, dass die Kriterien, anhand welcher der Ist-Soll-Vergleich durchgeführt wird, sich auf wissenschaftliche Erkenntnisse stützen, exakt festgelegt werden und nicht nur für alle nachvollziehbar sind, sondern sich auch auf etablierte Standards beziehen, wie beispielsweise die Evaluationsstandards und die ESG.

3.3 Evaluationsmodelle

Neben dem jeweiligen Kontext, der bei jeder Evaluation zu berücksichtigen ist, ist stets auch eine konkrete Fragestellung zu formulieren. Diese beinhaltet nicht nur, was evaluiert werden soll, sondern auch, warum man dies tut und welche Ergebnisse man erwartet bzw. welche Methoden sich für eine bestimmte Evaluation am besten eignen. Je nachdem, welcher Kontext gegeben ist und wie die Frage(n) beantwortet wird/werden, ergibt sich ein Evaluationsansatz (oder mehrere), der für die bestimmte Situation besser geeignet ist als andere.

3.3.1 Allgemeine Evaluationsmodelle

Nachdem WissenschaftlerInnen zu bestimmten Fragestellungen unterschiedliche Zugänge haben bzw. aus unterschiedlichen Disziplinen kommen und zudem die Absichten, die sie mit einer Evaluation verbinden, höchst verschieden sein können, hat sich im Laufe der letzten 60 Jahre eine Vielzahl an Evaluationszugängen und -ansätzen entwickelt (für eine Übersicht siehe z.B. Balzer 2005, Kapitel 4), die die Basis jeglicher Evaluationsforschung bilden – oder um es in den Worten von Gollwitzer/Jäger (vgl. 2009:32) zu sagen: Evaluationsforschung kommt ohne Evaluationsmodelle bzw. Theorien nicht aus. Ihr würde dann der Begründungszusammenhang fehlen.

Mittlerweile zeichnen sich die Evaluationsansätze bzw. -modelle jedoch durch eine »immense Vielfalt« aus, wie auch Meyer/Stockmann (2010:101) feststellen, und das, obwohl die Evaluationsforschung als eigenes Forschungsgebiet im Vergleich zu anderen wissenschaftlichen Disziplinen eine relativ kurze Geschichte hat, wie Rindermann (vgl. 2009:11) festhält. Zudem differieren die einzelnen Evaluationsansätze mitunter relativ stark voneinander, verfügen aber zugleich auch über einige Gemeinsamkeiten und Überschneidungen, was eine einwandfreie Abgrenzung bzw. Klassifizierung erschwert.

Nicht nur, dass die einzelnen Evaluationsansätze sehr zahlreich sind – Stockmann (vgl. 2010:11) spricht sogar davon, dass es wahrscheinlich so viele Evaluationsansätze wie EvaluatorInnen gibt, auch die Zugänge hinsichtlich deren Klassifizierungen in bestimmte Gruppen sind aufgrund ihrer Anzahl mittlerweile nur mehr schwer zu überblicken. Analysiert man die Literatur zu den einzelnen Evaluationsmodellen bzw. den Klassifizierungen, so lässt sich feststellen, dass sich im Laufe der Zeit unterschiedlichste Systematisierungsvorschläge etablierten, die jedoch aufgrund der Komplexität und Menge an Evaluationsmodellen vielfach nicht unproblematisch sind und die eigentlichen Herausforderungen, die mit Evaluationen einhergehen, nicht erleichtern.

Aufgrund dessen, des Umfangs der Evaluationstheorien und Ansätze und der Tatsache, dass das zentrale Thema dieses Buches das Evaluieren von Lehrveranstaltungen durch Studierende darstellt, wird an dieser Stelle nicht näher auf die allgemeinen Evaluationsmodelle eingegangen, sondern der Fokus auf die unterschiedlichsten Ansätze bei Lehrveranstaltungsevaluationen gelegt, von denen in Folge einige der wichtigsten diskutiert werden.

3.3.2 Lehrveranstaltungsbezogene Modelle

Der exakte Typ der Evaluation, der bei Lehrveranstaltungsevaluationen zum Einsatz kommt, kann von Institut zu Institut unterschiedlich sein und je nach gewähltem inhaltlichen Schwerpunkt unterschiedlichen Modellen zugeordnet werden (vgl. Rindermann 2009:27). Vielfach ist es auch nicht zu 100 Prozent möglich, einen bestimmten Ansatz festzulegen, weil es sich oftmals um eine Kombination mehrerer Evaluationsansätze, um sogenannte Mischtypen, handelt.

Lehrveranstaltungsevaluationen haben daher in der Regel keinen fixen Typus und könnten, wenn man dies so will, u.U. sogar als eigener Evaluationstyp betrachtet werden. Dies kann auch durch die Tatsache begründet werden, dass sie sich von herkömmlichen Evaluationen in einigen Belangen unterscheiden und in der Weise, wie sie in den in Kapitel 1 analysierten universitären Fremdsprachenzentren zum Einsatz kommen, eher eine Rückmeldung, ein Feedback an die Lehrpersonen darstellen, als eine Evaluation im eigentlichen Sinne.

Rindermann (vgl. 2009:27) stellt fest, dass hauptsächlich folgende Evaluationstypen bei Lehrveranstaltungsevaluationen zum Einsatz kommen:

1 Lernzielgesteuerte Evaluation,

2 Entscheidungsgesteuerte Evaluation,

3 Nutzenorientierte Evaluation,

4 Kennerschaftsgesteuerte Evaluation,

5 Beteiligteninteressensgesteuerte Evaluation,

6 Qualitätsentwickelnde Evaluation.

Auf diese Evaluationstypen soll nun detailliert eingegangen werden, weil sie bzw. einzelne ihrer Elemente auch als Basis für das in diesem Buch konzipierte Modell der Komplexen Dynamischen Evaluation zu sehen sind. In diesem Kapitel werden zuerst die einzelnen Modelle und Ansätze vorgestellt und deren potentielle Anwendung auf den universitären Fremdsprachenunterricht diskutiert, bevor im Anschluss daran (siehe Abschnitt 3.4) jene Aspekte angeführt werden, die im Rahmen der KDE zum Einsatz kommen.

3.3.2.1 Lernzielgesteuerte Evaluation

Die lernzielgesteuerte oder auch programmzielorientierte Evaluation kann als der klassische Evaluationsansatz gesehen werden, anhand welcher die Resultate eines bestimmten Programms mit konkreten, zuvor bestimmten Zielen verglichen werden.

Einer der ersten und vielleicht wichtigsten Vertreter der zielorientierten/zielgesteuerten Evaluation war Ralph Tyler, dessen Forschungsschwerpunkt in der Curriculumforschung bzw. in der Entwicklung der lernzielorientierten Evaluation lag. Da das Curriculum auch im modernen universitären Fremdsprachenunterricht vor allem auch beim Planen von Lehr- bzw. Lernzielen und beim Organisieren des Unterrichtsgeschehens zentral ist, muss dieser Evaluationstyp im Zusammenhang mit der Konzeption der KDE etwas detaillierter vorgestellt werden. Tyler (vgl. 1942:492ff) nennt folgende Ziele, die mit Evaluationen im Bildungskontext in Verbindung stehen:

3.3.2.1.1 Ziele

1 Periodische Überprüfung der Effektivität einer Bildungseinrichtung und damit in Zusammenhang das Aufzeigen jener Bereiche, die Verbesserungspotential aufweisen.

2 Validieren der Hypothesen, auf Basis welcher die Bildungseinrichtung arbeitet. Dies beinhaltet vor allem den Plan, nach welchem das Curriculum an einem Institut erstellt wird und fußt in der Regel auf Überlegungen der Lehrenden und ist, wie er festhält, in manchen Fällen nicht optimal begründet, was in Folge zu einem schlecht konzipierten Curriculum führen kann, das über viele Jahre hinweg Verwendung findet.

3 Informationsgenerierung zur effektiven Begleitung der einzelnen Studierenden. Dies beinhaltet eine möglichst genaue Bewertung der Leistungen und Entwicklung der Studierenden. Je genauer man als Lehrperson über die Studierenden Bescheid weiß, desto effektiver sind die Hilfestellungen, die man ihnen geben kann, besonders, wenn man die Schwierigkeiten kennt, mit denen sie zu kämpfen haben.

4 Bereitstellen psychologischer Sicherheit für Lehrpersonen und Studierende. Dieser Aspekt würde heute als Coaching bezeichnet werden und begleitet Lehrende und Studierende in und auch außerhalb des Unterrichts. Für (unerfahrene) Lehrende kann dies z.B. im Rahmen von Gesprächen mit anderen (erfahrenen) Lehrenden oder SupervisorInnen stattfinden und für Studierende in der Form einer Sprachlernbegleitung, wie dies beispielsweise seit dem Sommersemester 2014 am treffpunkt sprachen angeboten wird.

5 Öffentlichkeitsarbeit. Hier meint Tyler das Informieren über bzw. die Offenlegung der Tätigkeiten eines Institutes und deren Begründung, damit die Öffentlichkeit darüber informiert wird, was das Institut leistet und warum es eine bestimmte Herangehensweise wählt.

6 Evaluation als Hilfestellung für Lehrende und Studierende bei der Klärung der Lehr/-Lernziele und der Richtungsbestimmung, die z.B. im Rahmen eines Fremdsprachenkurses eingeschlagen wird. Hier spielt die Kollaboration der beiden am Unterrichtgeschehen Hauptbeteiligten eine zentrale Rolle.

Die von Tyler vor über 70 Jahren angeführten Punkte sind in Verbindung mit qualitativ hochwertigem Unterricht und bei der Erstellung von Lehrplänen auch heute noch genauso wichtig und müssen, wie Tyler dies (1942:495) darlegt, beim Planen und Entwickeln eines Programms »kontinuierlich vor Augen geführt werden«. Nur so ist ein fortlaufendes Optimieren der eigenen Handlungen möglich, was als Basis für Qualitätsverbesserung und -sicherung anzusehen ist.

3.3.2.1.2 Annahmen bzw. Voraussetzungen

Tyler (vgl. 1942:495ff) basiert seinen Evaluationsansatz auf sechs Annahmen bzw. Voraussetzungen, die mit Evaluation im Unterricht in Zusammenhang stehen:

1 Lernen ist ein Prozess, der eine Verhaltensänderung bei Menschen nach sich zieht.

2 Die Verhaltensänderungen, die durch Bildungseinrichtungen hervorgerufen werden, stehen mit Bildungszielen in Verbindung. Diese Ziele sind vor Kursbeginn zu definieren und richten sich nicht nur nach dem Inhalt des Programms oder den Methoden der Lehrenden, sondern ganz wesentlich auch nach den Studierenden.

3 Ein Lehrprogramm wird anhand des tatsächlichen Erreichens der gesteckten Ziele bewertet. Hier kommt es zu einer Gegenüberstellung von intendierten und erreichten Zielen.

4 Die Art und Weise, wie LernerInnen ihr Verhalten organisieren, ist zentral. Dabei darf nicht vergessen werden, dass eine Verhaltensveränderung holistisch erfolgt. Die einzelnen Ziele dürfen nicht nur isoliert voneinander gesehen, sondern müssen ganzheitlich betrachtet werden.

5 Die Methoden der Evaluation sind nicht auf paper-and-pencil-Verfahren beschränkt.

6 Das Miteinbeziehen aller am Lehr-/Lernprozess Beteiligten an der Evaluation führt zu einer Nutzenmaximierung.

3.3.2.1.3 Anwendung auf den Fremdsprachenunterricht

Punkt eins trifft im Kontext des universitären Fremdsprachenunterrichts definitiv zu, nicht nur weil die Tatsache, dass das Erlernen einer neuen Sprache bzw. das Verbessern bereits vorhandener Kompetenzen beim Fremdsprachenunterricht auch mit dem (intensiveren) Kennenlernen anderer Kulturen und Denkweisen, die sich auch in der Sprachbildung widerspiegeln, einhergeht, sondern auch, weil das Lernen bzw. Lehren einen (Weiter-)Entwicklungsprozess auslöst. Durch das Lernen und Lehren werden auch andere Kompetenzen entwickelt und geschult, die vorher nicht vorhanden waren. Dies trifft auf LernerInnen auf gleiche Weise zu wie auf Lehrende.

Punkt zwei ist ganz besonders wichtig, da neben den verobjektivierten Lehrzielen und den Methoden, die Lehrpersonen im Laufe ihrer Unterrichtsjahre entwickelt haben, die individuellen Lernziele der Studierenden berücksichtigt werden müssen. Die LernerInnen sollten im Unterricht im Zentrum des Geschehens sein, wie dies VertreterInnen der teilnehmerorientierten Didaktik (siehe z.B. Breloer et. al. 1980, Luchte 2001) fordern. Diese Forderung wird auch durch den shift from teaching to learning und die ESG (ganz besonders 2015) gestützt.

Punkt drei scheint so trivial wie essentiell. Die Tatsache, dass kein Weg der richtige ist, wenn man den Hafen nicht kennt, in den man segeln will, war bereits Seneca (epist. 71:3) bekannt. Dennoch wird diese Trivialität bei vielen Lehrveranstaltungsevaluationen aktuell nicht berücksichtigt. In den analysierten Modellen wird in der Regel nur evaluiert, ob und wie man angekommen bzw. gereist ist. Nie wurde jedoch davor explizit der Ort festgelegt, wohin die Reise gehen soll bzw. welche Transportmittel hierfür als geeignet erscheinen. Daher ist eine sinnvolle Evaluation am Ende des Semesters auch nicht möglich, wenn nicht zu Beginn des Kurses gemeinsam die Ziele bzw. Methoden zum Erreichen dieser Ziele definiert wurden.

Punkt vier kann z.B. so interpretiert werden – wie dies der modernen Fremdsprachendidaktik durchaus bekannt ist – dass die einzelnen sprachlichen Fertigkeiten der LernerInnen nicht getrennt voneinander behandelt werden sollen, sondern dass z.B. bei der Vermittlung von Grammatik gleichzeitig auch andere Kompetenzen, Fähigkeiten und Fertigkeiten trainiert, und dass diese auch aktiv in Kommunikationssituationen integriert werden können (siehe z.B. Newby 2008). Hier ist auf jeden Fall auch zu berücksichtigen, welche Unterrichtsmethoden angewandt werden, denn diese sollten auch – soweit wie möglich – auf die jeweiligen LernerInnen abgestimmt werden.

Punkt fünf scheint, wenn von Tyler auch im Hinblick auf Leistungsbeurteilung von Studierenden verwendet, im Kontext mit aktuell durchgeführten Lehrveranstaltungsevaluationen ebenso wesentlich, denn die überwiegende Mehrheit der Evaluationen, ganz besonders jener, die an den im Vorfeld für diese Arbeit untersuchten Fremdsprachenzentren durchgeführt wurden, fanden zum Untersuchungszeitpunkt nach wie vor mit Papier und Bleistift statt. Während vor 70 Jahren die Methoden und Mittel nicht so vielfältig waren wie heute, und diese Methode damals wahrscheinlich vor allem aus Mangel an Alternativen zu den beliebtesten zählte, muss dies heute, im PC- und Internetzeitalter, überdacht werden.

Punkt sechs scheint nicht nur im Zusammenhang mit Lehrveranstaltungsevaluation wesentlich, er würde auch neueren Ansätzen der Didaktik (z.B. kooperatives Lernen; siehe z.B. Konrad/Traub 2005) entsprechen und mit den ESG harmonieren. Wenn sich alle AktantInnen an der Konzeption des Unterrichtsgeschehens beteiligen, könnten vor allem auch die Studierenden mehr Gefühl für ihre Schlüsselrolle im Lerngeschehen und ihre Verantwortung im Unterricht entwickeln. Evaluation, wenn geschickt ausgeführt, kann diesen Prozess unterstützen. Dies würde auch Selbstevaluation einschließen, wie Tyler (vgl. 1942:497) betont. Letztere wird auch im vorliegenden Ansatz als wesentlicher Bestandteil eines umfassenden Evaluationsinstrumentes verstanden.

Die zentrale Idee von Tyler, der mit seinem Ansatz als Begründer der modernen Programm-Evaluation gesehen werden kann, war »der Vergleich von gut begründeten Bildungszielen (educational objects) mit den tatsächlich erzielten Ergebnissen«, wie Balzer (2005:29) resümiert und auch das gemeinsame Gestalten bzw. die kooperative Verantwortung des Unterrichtsgeschehens, die damit einhergehen. Eine Evaluation nach seinen Überlegungen ist aktuell genauso zielführend wie vor 70 Jahren. Zusätzlich gibt es heute ein viel größeres Potential an Durchführungsmöglichkeiten, was wiederum den Prozess der Bewerkstelligung der von Tyler geforderten Maßnahmen heute leichter ablaufen lässt als in den dreißiger und vierziger Jahren des 20. Jahrhunderts.