Kitabı oku: «Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts», sayfa 7

3.2 Abgrenzung zu anderen Begriffen

Eine detaillierte Abgrenzung des Begriffs Evaluation von Begriffen wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. stellt nicht nur eine große Herausforderung dar, sondern kann nicht in wenigen Worten erfolgen. Da dies auch nicht die Intention dieses Buches ist, genügt für den gegebenen Kontext eine überblicksartige Skizze, wenngleich auf die jeweiligen Werke, die diese Analyse in größerem Umfang ermöglichen, in den einzelnen Abschnitten verwiesen wird.

3.2.1 Evaluation vs. Evaluationsforschung, Programmevaluation und Evaluierung

Ein Grund, warum die Verwendung des Begriffes Evaluation oftmals unklar erscheint, ist, weil dieser in der Literatur nicht selten synonym zu anderen Begriffen wie Evaluationsforschung, Programmevaluation, Evaluierung etc. verwendet wird. Obwohl bereits Suchman (vgl. 1967) versuchte, eine klare Abgrenzung zwischen Evaluation und Evaluationsforschung herzustellen, konnte sich diese Bemühung in der scientific community bis dato nicht durchsetzen und auch in neueren Auflagen von Standardwerken (siehe z.B. Rossi/Lipsey/Freeman, 2004:6) werden diese Begriffe nach wie vor bzw. wieder weitgehend synonym verwendet.

Suchman (vgl. 1976) verstand unter Evaluation im Wesentlichen den Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder Programms. Dabei sind seiner Ansicht nach keine systematischen und wissenschaftlichen Verfahren oder datengestützten Beweise zur Untermauerung einer Beurteilung nötig. Unter Evaluationsforschung hingegen verstand er die explizite Verwendung dieser wissenschaftlichen Methoden bzw. Verfahren bei einer Beurteilung. Auf diese Weise ist seiner Ansicht nach die Trennung zwischen einer reinen Behauptung und einer auf Beweisen basierenden Bewertung möglich. Für mich kommt diese erste Unterscheidung der Abgrenzung zwischen allgemeiner und wissenschaftlicher Evaluation gleich, auf die noch näher eingegangen wird (siehe 3.2.5).

Wenngleich der Ansatz von Suchman zweifelsfrei seine Berechtigung hat und ein erneuter allgemeiner Versuch sämtliche, mit Evaluation in Verbindung stehenden Termini klar zu definieren und voneinander abzugrenzen auch heute noch sehr sinnvoll ist, so kann bezweifelt werden, dass dieser Versuch aktuell mehr Erfolg hätte als jener von 1967. Daher wird dies im vorliegenden Buch nicht intendiert, sondern lediglich expliziert, was hier konkret unter den jeweiligen Begriffen im jeweiligen Kontext verstanden wird:

Evaluation wird in diesem Buch im Allgemeinen und in ihrer simpelsten Form als das Sammeln, Analysieren und Bewerten von Informationen gesehen und ist synonym zu Evaluierung. Letzteres wird als Nomen von evaluieren verstanden und wird dann verwendet, wenn explizit der Prozess des Bewertens vor dem Hintergrund bestimmter Kriterien betont werden soll. Dies kann bei einer allgemeinen Evaluation ohne wissenschaftliche Methoden erfolgen oder bei einer wissenschaftlichen Evaluation auf Basis dieser. Im Zusammenhang mit dem Kontext dieses Buches muss bereits hier darauf hingewiesen werden, dass im erweiterten Rahmen des pädagogischen Handelns bzw. der Optimierung von Lehr- bzw. Lernsituationen etc. weitere Definitionen von Evaluation folgen, sie jedoch im gegebenen Kontext erörtert und demgemäß an den jeweiligen Stellen angeführt und besprochen werden.

Das Ergebnis einer Evaluation wird hier nicht als Evaluation bezeichnet, sondern als Evaluationsergebnis bzw. Ergebnis der Evaluation. Unter Programmevaluation wird eine konkrete Form der Evaluation verstanden, die sich auf das Evaluieren eines Programms (z.B. eines Fremdsprachenkurses) bezieht.

Evaluationsforschung betont nicht nur den wissenschaftlichen Kontext einer Evaluation, sondern sie ist als eine eigenständige Wissenschaftsdisziplin zu verstehen (wenngleich sie in der Regel nur als Teildisziplin der Sozialforschung betrachtet wird), die sich der üblichen wissenschaftlichen Methoden und Techniken bedient, um wissenschaftliche Evaluationen zu beschreiben und durchzuführen. Sie stellt das theoretische Grundgerüst für professionelle Evaluationen zur Verfügung bzw. zieht sie aus den Ergebnissen von Evaluationen Rückschlüsse, auf deren Basis erneut Erkenntnisse gewonnen und verallgemeinert werden können, die in Folge eine Weiterentwicklung von Evaluation(-sforschung) ermöglichen. Daher wird dieser Begriff im vorliegenden Buch explizit nicht synonym zu Evaluation gesehen.

3.2.2 Evaluation vs. Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung

Im Kontext dieses Buches ist auch explizit zwischen Evaluation, Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung zu unterscheiden. Evaluation kann, wie bereits unter Abschnitt 2.3.2.4 angeführt, zum einen als Hyperonym zu diesen Begriffen gesehen werden und stellt zum anderen das Generieren, Analysieren und Bewerten – das Evaluieren – von Informationen dar. Unter Lehrveranstaltungsevaluation wird das Evaluieren einer expliziten Lehrveranstaltung (in der Regel) durch die Studierenden verstanden. Alternativ bzw. zusätzlich zur Lehrveranstaltungsevaluation durch Studierende könnte diese auch von KollegInnen evaluiert werden, was dann als Peer-Evaluation bezeichnet wird (siehe Abschnitt 3.3.2.4.2). Wird die gesamte Lehre eines Studiums oder eine Universität evaluiert, spricht man von Lehrevaluation oder Evaluation der Lehre.

Feedback wird als Synonym zu Rückmeldung gesehen und stellt nicht nur einen wichtigen Bestandteil herkömmlicher Kommunikationssituationen dar (siehe z.B. Watzlawick et. al. 2007:29ff), sondern ist auch essentiell im Unterricht – in der Kommunikation zwischen Lehrenden und Studierenden. In diesem Zusammenhang können Feedbacks/Rückmeldungen im Rahmen der Lehrveranstaltungsevaluation oder auf andere Weise gegeben und demnach auch als Teil eines Evaluationsvorgangs bzw. -prozesses aufgefasst werden, weil jedem Feedback/jeder Rückmeldung in der Regel eine Evaluation vorangeht und/oder eine weitere daran anschließt, wie die folgende Grafik verdeutlicht.

Abb. 2: Beispiel einer Kommunikationssituation im Unterricht mit Feedback

Allgemein versteht man unter Feedbacks Rückübermittlungen von Informationen, die vom Empfänger/von der Empfängerin einer Nachricht an den Sender/die Senderin der Nachricht übertragen werden. Diese Rückmeldungen können zum einen Informationen enthalten, ob – und wenn – wie und was von der jeweils gesendeten Nachricht der Empfänger/die Empfängerin wahrgenommen bzw. verstanden hat und welche Reaktionen dies bei ihm/ihr auslöste. Durch diese Information ist es dem Sender/der Senderin möglich, in geeigneter Weise auf diese Rückmeldungen zu reagieren.

Rückmeldungen können die unterschiedlichsten Formen aufweisen, indirekt oder direkt sein und im Unterrichtsgeschehen von der Lehrperson oder von den Studierenden ausgehen. Indirekte Feedbacks wären z.B. körpersprachlicher Natur, könnten durch Gestik oder Mimik zum Ausdruck gebracht werden und sind oft schwieriger zu deuten als direkte Feedbacks, da sie vielfach nur unbewusst wahrgenommen werden und oftmals eher zu Vermutungen anregen als zu konkreten Rückschlüssen zu führen. Direkte Feedbacks können, ausgehend von der Lehrperson, zum Beispiel durch mündliche oder schriftliche Korrekturen erfolgen oder durch Stellungnahmen zu diversen Arbeiten, die von den Studierenden abgegeben wurden. Die Lehrperson evaluiert die Performanz der Studierenden in den unterschiedlichsten Situationen und gibt ihnen Rückmeldung. Von den LernerInnen ausgehend sind direkte Feedbacks z.B. konkrete Äußerungen zu einzelnen Themen im Unterricht, wie beispielsweise Aufforderungen an die Lehrperson, etwas erneut zu erklären bzw. zu wiederholen oder Fragen, die sie während oder nach dem Unterricht stellen. Gerade diese direkten Feedbacks sind für mich als Lehrender im Hinblick auf gute Lehre und damit den Lehr- bzw. Lernerfolg von größter Bedeutung, da man als LehrendeR ohne diese Rückmeldungen von den Studierenden keine (akkurate) oder nur sehr wenig Auskunft darüber hat, ob und wie das vermeintliche input aufgenommen bzw. was davon zum tatsächlichen intake wurde.

3.2.3 Evaluation vs. Qualitätsmanagement

Für weitere Verwirrung sorgt die oftmals unzureichende terminologische Trennung von Evaluation und Qualitätsmanagement bzw. Total Quality Management (TQM). Wenngleich Evaluation und Qualitätsmanagement Gemeinsamkeiten aufweisen und die beiden Termini oft in einem Atemzug genannt werden, sind zwischen diesen beiden Begriffen zahlreiche Unterschiede zu verzeichnen, die für eine exakte Unterscheidung und gegen eine potentiell synonyme Verwendung der Termini sprechen. Einen detaillierten Überblick zu diesem Thema geben Stockmann (2006: Kap. 2.4), Ernst (2008: Kap. 2.1) und Ditton (2010), deren Ausführungen als Basis für die untenstehenden Tabellen dienen, in welchen Gemeinsamkeiten und Unterschiede in aller Kürze aufgezeigt werden sollen:

3.2.3.1 Gemeinsamkeiten

Tab. 3: Gemeinsamkeiten zwischen Qualitätsmanagement und Evaluation

3.2.3.2 Unterschiede

Tab. 4: Unterschiede zwischen Qualitätsmanagement und Evaluation

Wie die vorangehenden Tabellen verdeutlichen, sind die Unterschiede zwischen Qualitätsmanagement und Evaluation somit gravierender als die Gemeinsamkeiten. Wenngleich beide grundsätzlich dasselbe Ziel verfolgen, zur Qualitätsverbesserung beizutragen, so sind die dahinterstehenden Konzepte und Herangehensweisen doch sehr verschieden voneinander. TQM kann als ein umfassendes und kontinuierliches System der Qualitätssicherung gesehen werden, welches von der Informationsbeschaffung bis zur Umsetzung der Ergebnisse sämtliche Bereiche abdeckt, während bei der Evaluation vor allem die Informationsbeschaffung und deren Bewertung im Vordergrund steht. Die Umsetzung der Ergebnisse ist explizit nicht mehr Bestandteil einer Evaluation, die zudem hinsichtlich der Durchführungsart in der Regel zeitlich befristet bzw. periodisch ist.

Wichtiger als die einzelnen Unterschiede detailliert zu diskutieren, scheint, wie Stockmann (2006:93) ausführt, die Erkenntnis, dass diese beiden Verfahren keine sich gegenseitig ausschließenden Konzepte sind, sondern sich ergänzen, und dass die Evaluation von TQM-Konzepten lernen kann, damit sie effektiver und effizienter gestaltbar ist. Ein Hauptpunkt, der in diesem Zusammenhang von Stockmann (ibid.) genannt wird und auch ganz besonders vor dem Kontext des universitären Fremdsprachenunterrichts hervorzuheben wäre, ist die Forderung, dass Evaluation nicht als periodische Aktivität gesehen werden soll, sondern als prozessbegleitender, kontinuierlicher Vorgang. Diese Überlegung ist zentral bei der Konzeption der KDE, wie in Kapitel 6 im Detail ausgeführt wird.

3.2.4 Evaluations- vs. Grundlagenforschung

Neben den bisher genannten Gründen, warum der Terminus Evaluation oft missverständlich verwendet wird, kommt ein weiterer hinzu: Evaluationsforschung wird nicht immer korrekt von Grundlagenforschung unterschieden. Dies liegt darin begründet, dass, obwohl die meisten Unterschiede zwischen den beiden in der Regel relativ eindeutig sind, auch ein Graubereich vorhanden ist, der eine exakte Unterscheidung in manchen Bereichen erschwert.

Keine prinzipiellen Unterschiede zwischen Evaluations- und Grundlagenforschung sind, wie auch Stockmann (vgl. 2010:58) feststellt, in Hinblick auf (1) die Auswahl des Untersuchungsgegenstandes sowie (2) die Verwendung von Datenerhebungs- und Analysemethoden zur Identifizierung von Wirkungen und der Bearbeitung der Kausalitätsfrage (Ursache-Wirkungszusammenhänge) zu erkennen. In beiden Bereichen können und werden sowohl quantitative als auch qualitative Forschungsmethoden eingesetzt. Hinsichtlich des Untersuchungsgegenstandes ist jedoch zu vermerken, dass im Bereich der Evaluationsforschung die Fragestellung oftmals von einem Auftraggeber bzw. einer Auftraggeberin kommt, während diese in der Grundlagenforschung in der Regel von den WissenschaftlerInnen selbst formuliert wird. In beiden Fällen ist aber auch das Gegenteil möglich. Untersucht können somit in beiden Fällen prinzipiell die gleichen Gegenstände werden.

Im Hinblick auf die Unterschiede zwischen Evaluations- und Grundlagenforschung gibt Balzer (vgl. 2005:17ff) einen guten Überblick, der – zusammen mit Analysen von Stockmann (vgl. 2010:57ff) – die Basis für untenstehende Tabelle bildet, die Gemeinsamkeiten und Unterschiede zwischen Evaluation- und Grundlagenforschung aufzeigen soll.

Tab. 5: Gemeinsamkeiten und Unterschiede zw. Evaluation und Grundlagenforschung

Während die Grundlagenforschung demnach überwiegend zweckfrei nach (neuen) Erkenntnissen sucht und die Frage nach ihrer Nützlichkeit in der Regel kaum gestellt wird, zeichnet sich die Evaluationsforschung gerade dadurch aus, dass sie, wenngleich sie sich auch der Methoden und Theorien der Sozialforschung bedient, nützlich sein soll und Informationen zur Verfügung stellt, auf Basis welcher Entscheidungen getroffen werden. Diese Gratwanderung zwischen Wissenschaft und Nützlichkeit bezeichnet Stockmann (2010:59) als die »besondere Dualität« der Evaluationsforschung.

Die Tatsache, dass Evaluationsforschung im Gegensatz zur Grundlagenforschung praxisorientiert ist (vgl. Rindermann 2009:14) und auch der Nützlichkeitsaspekt von Evaluationen im Vordergrund steht bzw. eine enge Verknüpfung zwischen den Evaluationsergebnissen und (politischen) Entscheidungen nicht immer negiert werden kann, hat nicht selten zur Folge, dass Evaluationsforschung von grundlagen- bzw. disziplinorientierten ForscherInnen nicht immer als vollwertige Wissenschaft anerkannt wird, wie Stockmann (vgl. 2010:57) anführt. Dies geht auch mit oft konträren Anforderungen einher, mit welchen sich viele EvaluatorInnen in der Praxis konfrontiert sehen.

Evaluation, wie sie im Rahmen der KDE gesehen wird, schafft gewissermaßen eine Gratwanderung, weil sie zum einen Informationen generiert, auf Basis welcher Optimierungen im Fremdsprachenunterricht erwirkt werden können, und weil diese Informationen bzw. Veränderungen zugleich als Ausgangspunkt für neue Theorien und fremdsprachen-didaktische Überlegungen genutzt werden können.