Kitabı oku: «Lehre.Lernen.Digital»

E-Assessment in der Hochschule
Alexander Sperl¹, FernUniversität in Hagen

Der Begriff „E-Assessment“ beschreibt eine Reihe von Bewertungsmethoden, die mit Hilfe digitaler Werkzeuge umgesetzt werden. Häufig wird E-Assessment mit E-Klausuren gleichgesetzt, allerdings gibt es eine Vielzahl unterschiedlicher Szenarien, die ebenfalls darunter zusammengefasst werden und häufig übersehen werden. Der Beitrag stellt einige vor.

1.Was ist E-Assessment?

E-Assessment setzt sich zusammen aus dem englischen Wort „assessment“ (dt. Bewertung, Einschätzung, Prüfung, Beurteilung etc.) und einem E, das für „elektronisch“ steht. Es bezeichnet alle Prüfungs- und Bewertungsszenarien, die mit digitalen Werkzeugen umgesetzt werden.

Die unterschiedlichen Übersetzungsmöglichkeiten des englischen Worts deuten bereits darauf hin, dass es sich dabei um einen Sammelbegriff handelt, der sich nicht nur auf Prüfungen im eigentlichen Sinn beschränkt.

2.Wie können unterschiedliche E-Assessmentvarianten eingeteilt werden?

Es gibt unterschiedliche Dimensionen von Prüfungen und Bewertungen, die als Grundlage einer Einordnung dienen können. Die häufigste ist dabei der Zeitpunkt, an dem ein Assessment eingesetzt wird. Unterschieden wird hier in:

•diagnostisches Assessment zu Beginn einer Phase,

•formatives Assessment während einer Phase und

•summatives Assessment am Ende einer Phase.

Mit „Phase“ können unterschiedliche Zeiteinheiten gemeint sein, wie sie an Hochschulen definiert werden, z. B. eine Einzelveranstaltung, ein Kurs über ein ganzes Semester oder ein Modul.

Diagnostisches Assessment bezieht sich etwa auf Einstufungstests oder das Abfragen von Vorwissen. Formatives Assessment versammelt alle Formen, die über einen längeren Zeitraum punktuell oder langfristig eingesetzt werden, z. B. E-Portfolios. Schließlich gruppiert summatives Assessment alle abschließenden Formen, z. B. (E-)Klausuren oder Hausarbeiten.

Abbildung 1: Darstellung traditioneller Leistungsnachweise und ihrer digitalen Umsetzungen in Anlehnung an Ruedel (2010).

In der Literatur finden sich auch noch andere Einteilungsvarianten, die nach dem Zweck der Prüfung oder Bewertung fragen oder danach, wer eine Prüfung abnimmt.

Die meisten „analogen“ Prüfungs- und Bewertungsszenarien können auch mit Hilfe von digitalen Werkzeugen umgesetzt werden. Cornelia Ruedel hat dazu eine Übersicht (Abbildung 1) zusammengestellt. Blau hinterlegte Boxen zeigen solche Formen, die direkt ins Digitale übersetzt werden können, bei den hellen Boxen hat sie Vorschläge für alternative digitale Formen gemacht. Diese Darstellung ist beispielhaft und kann durch viele Formen ergänzt werden.

3.Welche Vor- und Nachteile gibt es bei E-Assessment?

Dass E-Assessment mit Zeitersparnis bei Prüfungen gleichzusetzen ist, ist leider ein Aspekt, der nicht immer bestätigt werden kann. Zwar fällt die Zeit für die Korrektur bei automatisch auswertbaren Aufgabenformaten wesentlich kürzer aus. Die Konzeption dieser Aufgabenformate nimmt aber einiges an Zeit in Anspruch. Manche Expert*innen veranschlagen für die Konzeption einer guten Multiple-Choice-Frage eine Stunde. Wenn dann ein Pool von 200 Fragen für eine Klausur erstellt werden soll, aus dem 50 per Zufall ausgewählt werden, ist die Erstellung entsprechend aufwändig.

Nicht alle Inhalte können darüber hinaus mit Multiple-Choice-Fragen abgeprüft werden. Hier sind Prüfende oft abhängig von der Funktionalität, die ein Prüfungssystem anbietet. Wenn z. B. die Unterstützung für mathematische Formeln fehlt, gerät man bei dieser Art von Inhalten schnell an die Grenzen des Machbaren. Daher ist es wichtig, im Vorfeld zu klären, welche Funktionen bereitstehen. Ganz abgesehen davon, dass bestimmte Fragenformate wie Freitextfragen natürlich zusätzlich per Hand korrigiert werden müssen.

Die Abhängigkeit von einem Prüfungssystem ist in besonderem Maße gegeben, wenn sich die Hochschule für eine externe Lösung entscheidet. Hier sollte sehr genau analysiert werden, welche Funktionen bereitstehen, wie Updates und Wartung gehandhabt werden und wie mit Sonderwünschen umgegangen wird, die in der Hochschule bestehen.

Ein weiterer Nachteil sind die teilweise hohen Anschaffungs- und Betriebskosten für digitale Prüfungssysteme. Damit die Rechtssicherheit und Fehlerfreiheit der Systeme gewährleistet ist, müssen dezidierte Server betrieben werden, die in besonderem Maße gegen Angriffe von außen abgesichert werden. Aufwändig ist auch die Archivierung von Prüfungsergebnissen auf speziellen Systemen.

Es gibt allerdings eine ganze Reihe von Vorteilen, die für einen Einsatz digital gestützter Prüfungen sprechen.

Die automatische Korrektur, die bei vielen Fragenformaten möglich ist, wurde bereits erwähnt. Der Aufwand bei der Erstellung eines Fragenpools relativiert sich ein wenig, wenn bedacht wird, dass viele Personen am gleichen Pool arbeiten können. Eventuell kann der Fragenpool auch für eine ganze Reihe von Klausuren und nicht nur für eine genutzt werden. Das ist allerdings abhängig von dem Themengebiet und der Art der Klausurfragen.

Viele Prüfungssysteme bieten die Möglichkeit, nicht nur die Reihenfolge der Fragen und Antworten zu randomisieren. Bei einigen Aufgabentypen können auch Anfangswerte per Zufall generiert werden, sodass nicht nur eine sondern gegebenenfalls viele tausend Aufgaben entstehen. Dadurch nimmt das System den Lehrenden die Arbeit ab, eine Vielzahl von unterschiedlichen Aufgaben zu erstellen, die nicht so leicht von Kohorte zu Kohorte weitergegeben werden können und die vom Niveau her vergleichbar sind.

Abgesehen von E-Klausuren gibt es eine Menge digital gestützter Prüfungsformate, die für Studierende eine größere Flexibilität bedeuten. Wenn es nicht mehr von Bedeutung ist, dass eine Prüfung zu einem festgelegten Zeitpunkt abgelegt wird, kommt dies Studierenden entgegen, die neben dem Studium beruflichen oder familiären Verpflichtungen nachgehen müssen.

Ein sehr großer Vorteil von E-Assessment ist im Hinblick auf die Gütekriterien, die Prüfungen erfüllen müssen, die höhere Objektivität bei der Korrektur von automisch auswertbaren Aufgabenformaten. Dadurch kommt es auch zu weniger Nachfragen und Beschwerden von Studierenden, die von vornherein wissen, dass der Computer weniger überzeugbar ist als die Dozierenden. Außerdem bekommen die Studierenden ein schnelleres Feedback zu ihrem Abschneiden in einer Prüfung.

Viele digitale Prüfungssysteme erlauben es, unterschiedliche Medien in die Aufgaben einzubinden. Dadurch entsteht die Möglichkeit, ganz andere inhaltliche Aspekte abzudecken. So können z. B. mikroskopische Aufnahmen gezoomt und annotiert werden oder Videos in einer Aufgabe eingebunden werden, die dann durch die Studierenden ausgewertet werden müssen. Dadurch entsteht in vielen Fachgebieten ein größerer Praxisbezug als dies bei rein textlichen Prüfungen der Fall ist.

Bei einigen Aufgabentypen ist eine Qualitätssicherung in Form von Itemanalysen möglich. Das bedeutet, dass die Klausursysteme Statistiken zum Abschneiden bei einzelnen Aufgaben bereitstellen, aus denen auf die Qualität der Aufgabe geschlossen werden kann. Schneiden z. B. bei einer Aufgabe mehr Studierende schlecht ab, als dies bei einer Normalverteilung zu erwarten ist, ist die Wahrscheinlichkeit groß, dass die Aufgabe zu schwer oder vielleicht sogar unverständlich war.

Bereits die Übersicht von Prüfungsergebnissen, die viele Prüfungssysteme bieten, stellt eine Erleichterung für Dozierende dar. Statt der Zettelwirtschaft kann in Tabellen strukturiert eingesehen werden, wie die Prüfung ausgefallen ist.

Abgesehen von den bereits erwähnten Vorteilen, die größtenteils für E-Klausuren zum Tragen kommen, gibt es auch didaktische Aspekte, die bei alternativen Prüfungsformaten jenseits von Klausur und Hausarbeit Vorteile bringen. Ein Beispiel dafür ist die Anwendung von formativen Prüfungen und Bewertungen, die während eines Zeitraums punktuell Feedback darüber geben, wo die Studierenden stehen. Zum einen können Dozierende sich so einen Überblick verschaffen, welche Inhalte sie gegebenenfalls wiederholen müssen, weil bei vielen Studierenden Verständnisschwierigkeiten vorliegen. Zum anderen wissen die Studierenden durch das Feedback durch die formativen Aufgaben, wo sie noch Lücken haben und was sie bereits gut beherrschen.

Dadurch wird zusätzlich vermieden, dass sich Studierende erst kurz vor einer Klausur mit dem Thema beschäftigen, das sie bereits im ganzen Semester behandelt haben sollten. Das sogenannte „Binge Learning“, also das exzessive Lernen in einem kurzen Zeitraum und das damit einhergehende Phänomen, dass kurz danach alles wieder vergessen wird, kann durch die kontinuierliche Beschäftigung vermieden werden.

Alles in allem müssen die Assessment-Formate mit den Rahmenbedingungen der Hochschule und der Studien- und Prüfungsordnungen abgeglichen werden. Beispiele aus der Praxis zeigen, dass in einer Prüfungsordnung z. B. Klausuren vorgeschrieben werden und daher nicht durch alternative Formate ersetzt werden können. Generell ist es ratsam, die Rechtsabteilungen, die für prüfungsrechtliche Fragen zuständig sind, bei der Umstellung miteinzubeziehen.

4.Beispiele für E-Assessment

Um einen Eindruck zu bekommen, welche unterschiedlichen Konzepte im Begriff „E-Assessment“ versammelt werden, sollen im Folgenden einige Beispiele für Prüfungsformate vorgestellt werden, die besonders für eine Umsetzung mit digitalen Werkzeugen geeignet sind. Dabei wurde darauf geachtet, die zeitliche Einordnung aus dem Abschnitt 2 aufzugreifen und Beispiele für diagnostisches, formatives und summatives Assessment zu beschreiben.

4.1. Tests, Quiz und Abstimmungen

Diagnostisches Assessment hat die Einschätzung des Wissensstands von Lernenden zum Ziel. Häufig lassen sich dazu klar umrissene Fragen aufstellen, die wiederum klar beantwortet werden können. Diese Fragen bieten sich für eine Umsetzung in einem automatisch auswertbaren Format an. Dadurch können schnell und unkompliziert Ergebnisse generiert werden, auf die die Dozierenden im weiteren Verlauf eingehen können.

Ein Ziel des diagnostischen Assessment kann es auch sein, Studierende in Gruppen einzuteilen. Ein bekanntes Beispiel dafür sind Sprachtests, die Sprachlernende in Niveaus einstufen. Durch die Einordnung in diese Niveaus können Lehrende besser auf die Bedürfnisse der Lernenden eingehen.

Aus didaktischer Sicht könnte aber auch die Zuordnung in heterogene Gruppen sinnvoll sein. Studierende, die bereits ein großes Wissen zu einem Themengebiet besitzen, können dann den Studierenden helfen, bei denen das nicht der Fall ist.

Diagnostische Bewertungen werden häufig als Tests, Quiz oder Abstimmungen realisiert. Der Unterschied zwischen den ersten beiden Formaten ist fließend, generell kann aber festgestellt werden, dass die Ergebnisse von Tests eher ein Feedback für die Lehrenden darstellen, wohingegen Quiz – daher auch die eher informelle Bezeichnung – für die Studierenden Informationen liefern, was sie z. B. für ein Seminar wissen sollten. Bei Abstimmungen steht ein Echtzeit-Feedback im Vordergrund. Daher werden sie häufig am Beginn oder während einer synchronen Veranstaltung genutzt.

Abbildung 2: Beispiel für eine Test-Aktivität in Moodle

Tests und Quiz können mit den Bordmitteln gängiger Lernmanagementsysteme (LMS) wie Moodle oder ILIAS umgesetzt werden. Dort werden dann Aktivitäten erzeugt, die unterschiedliche Fragenformate wie Single Choice, Multiple-Choice, Zuordnungsaufgaben, Markieraufgaben usw. bieten. Manchmal sind die Bordmittel etwas langweilig in der Umsetzung, sodass gerade bei den Quiz auch auf externe Anbieter wie Learning Apps oder Kahoot! ausgewichen wird. Erwähnenswert ist außerdem noch H5P, dass als Plug-In in vielen Systemen genutzt werden kann. Beim Thema „Quiz“ ergibt sich eine Schnittmenge mit einem anderen Themenbereich des Lehrens und Lernen mit digitalen Medien, der sogenannten Gamification, also der Anreicherung didaktischer Konzepte durch spielerische Ansätze.

Auch Abstimmungen können in manchen LMS mit Bordmitteln umgesetzt werden. Häufiger ist allerdings der Einsatz von explizit dazu erstellten Anwendungen. Im Hochschulkontext kommen oft das an der Universität Paderborn entstandene und mittlerweile ausgegründete PINGO und das an der Technischen Hochschule Mittelhessen entwickelte ARSnova zum Einsatz. Manche Videokonferenzsysteme wie Adobe Connect, Microsoft Teams oder Zoom bieten die Möglichkeit, Abstimmungen während eines Meetings zu starten. Der Vorteil der Hochschullösungen ist dabei, dass das Thema Datenschutz eine geringere Rolle spielt als bei den kommerziellen Anbietern.

Abbildung 3: Beispiel für ein Abstimmungsergebnis in PINGO, Frage: “Welche Prüfungen werden an Ihrer Hochschule eingesetzt?”

Bei Abstimmungen steht, wie erwähnt, die synchrone Anwendung im Vordergrund. Lehrende können z. B. zu Beginn oder während einer Veranstaltung eine Frage stellen und die Studierenden stimmen dann mit einem mobilen Gerät ab. Die Ergebnisse werden in Form von Diagrammen angezeigt, auf die die Lehrenden in unterschiedlicher Form eingehen können.

Tests, Quiz und Abstimmungen eignen sich zur Lernstandserhebung, Motivation und Aktivierung von Lernenden. Lehrende können entweder auf die Bordmittel von LMS zurückgreifen oder unter Berücksichtigung der Rahmenbedingungen auf externe Werkzeuge.

Übrigens können die drei Formate auch bei formativen Prüfungs- und Bewertungsformaten eingeordnet werden, weil sie punktuell über einen längeren Zeitraum hinweg eingesetzt werden können.

4.2. E-Portfolios

Ein Beispiel für eine formative Assessmentmethode stellen E-Portfolios dar. Darunter versteht man die Sammlung unterschiedlicher Produkte in einer digitalen Anwendung. Lernende füllen ein E-Portfolio über einen längeren Zeitraum (z. B. während eines Semesters oder des gesamten Studiums) mit von ihnen erstellten Werken. Zu den Produkten können z. B. Essays, Bescheinigungen, Erklärvideos usw. sein.

Wichtig ist dabei, dass die Produkte zu den jeweiligen Inhalten passen. Lehrende müssen bei der Aufgabenstellung entscheiden, ob ein Thema mit einem bestimmten Werk besonders gut umzusetzen ist oder ob den Lernenden die Auswahl des Mediums überlassen werden kann. Grundbegriffe aus einer Disziplin können etwa als Erklärvideo oder als Lernkarten mit einem Begriff auf der Vorder- und der Definition auf der Rückseite umgesetzt werden. Natürlich sollte auch darauf geachtet werden, dass es den Studierenden grundsätzlich möglich ist, bestimmte Medien für die Umsetzung zu nutzen.

Abbildung 4: Beispiel für ein E-Portfolio

Ein häufig verwendetes System für E-Portfolios ist Mahara. Aber auch andere Content Managementsysteme wie WordPress oder ein Wiki können für die Portfolioarbeit genutzt werden. Mahara hat im Zusammenspiel mit Moodle den Vorteil, dass über die Aktivität „Übung“ sogenannte Ansichten eingereicht werden können und dann ähnlich wie Dokumente zur Bewertung zur Verfügung stehen. In ILIAS ist eine Portfolio-Funktion bereits integriert.

Bei der Verwendung einer Anwendung für die Portfolio-Arbeit sollte entschieden werden, wie kreativ die Lernenden werden sollen. Während die Layout- und Designvorgaben im ILIAS-Portfolio nur rudimentär geändert werden können, bieten andere Content Managementsysteme eine Vielzahl von Vorlagen an.

Grundsätzlich sind E-Portfolios persönliche Werke der Lernenden. Sowohl über die einzelnen Produkte wie auch über die Gestaltung der gesamten Website reflektieren sie ihren individuellen Lernprozess. Gleichzeitig bieten sie aber auch die Möglichkeit, die Beschäftigung der Studierenden mit einem Thema über einen längeren Zeitraum aufrecht zu erhalten. Erreicht werden kann dies eben durch die individuelle Ausgestaltung, aber natürlich auch über die Bewertung sowohl der einzelnen Produkte als auch des Gesamtportfolios.

Die Portfolioarbeit hat das Potential, dass sich Lernende über einen längeren Zeitraum mit einem Themengebiet beschäftigen. Die individuelle Ausgestaltung steigert häufig die Motivation. Außerdem wird der Workload durch viele kleinere Aufgaben verteilt und sammelt sich nicht erst zum Schluss, wenn es etwa darum geht, sich auf die Klausur vorzubereiten.

E-Portfolios können auch als summative Prüfungsleistung betrachtet werden, wenn sie erst als Gesamtprodukt am Ende einer Phase eingereicht und bewertet werden.