E-Prüfungen mit bwLehrpool (Lehrpersonen)

bwLehrpool bietet aufgrund der zeitlichen Flexibilität der Poolraumnutzung, der Konfigurations-, Update- und freien Anpassungsmöglichkeiten und natürlich des speziell abgesicherten Prüfungsmodus insbesondere für Dozierende ein für E-Prüfungen hervorragend geeignetes Umfeld.

Die nachfolgend verwendete Abkürzung „LMS“ bedeutet „Learning Management System“. Häufig eingesetzte LMS sind ILIAS und Moodle. Selbstverständlich können auch beliebige andere LMS-Systeme eingesetzt werden; erfragen Sie bei Ihrer Institution, welches System genutzt wird.

Da verschiedene Prüfungsarten möglich sind, kann hier nur eine schematische Auflistung erfolgen. Die aufgelisteten Arten können selbstverständlich nach Gusto untereinander kombiniert werden.

Die „klassische“ E-Prüfung sei hier so benannt, da sie in gewisser Weise Papierklausuren am ähnlichsten ist. Die Klausur wird auf dem Prüfungs-LMS erstellt und dort durchgeführt. Die bwLehrpool-Umgebung wird nur zum Zugriff, auf die ansonsten webbasierte Prüfung genutzt. Multimedia-Inhalte können per LMS und Browser angezeigt werden. Die Antworten erfolgen gewöhnlich über Texteingabefelder und „Multiple choice“. Da die Anmeldung der Prüflinge zur Prüfung hierbei am LMS erfolgt, ist empfehlenswert, die Autologin-Möglichkeit bwLehrpools zu nutzen und Ihre Prüfungsveranstaltung automatisiert starten zu lassen. Beliebige Browser können eingesetzt werden, wenn in der Veranstaltung sämtlicher Netzzugriff verboten und nur der LMS als Ausnahme definiert wird. Wenn gewünscht, kann statt dessen oder zusätzlich der SEB (Safe exam browser) verwendet werden.

Diese Form der Prüfung erweitert die oben beschriebene „klassische“ E-Prüfung. Zusätzlich wird entweder eine abgespeckte VM verwendet, die lediglich einen Browser und weitere gewünschte Software wie beispielsweise „R“¹⁾, Office-Programme usw. enthält, oder ein SEB eingesetzt, unter dem erlaubte Software freigeschaltet wird. Zur Abgabe der Ergebnisse wird entweder das Prüfungs-LMS verwendet, oder entsprechende Aufgaben werden mit weiteren Fragetypen der Prüfungsplattform kombiniert.

Analog zur „klassischen“ E-Prüfung bzw. E-Prüfung „plus“ unter Verwendung institutionseigener LMS können beliebige externe (LMS-)Server verwendet werden, auf denen die Prüfung stattfindet. Dies bietet sich insbesondere im Falle der „Fern-Lehre“ bzw. zur Prüfung Externer an, wenn die eigentlich prüfende Institution räumlich entfernt liegt. Zur Absicherung der Verbindung zum externen Prüfungsserver dienen wie beschrieben die Firewall-Einstellungen per bwLehrpool-Suite, oder auch der SEB.

Bei einer VM-basierten E-Prüfung kann direkt und ohne weitere Modifikation die zur Ausbildung verwendete virtuelle Maschine zur Prüfung eingesetzt werden. Die Prüfung wird so im unveränderten, gewohnten Lern- und Arbeitsumfeld abgelegt. Diese Möglichkeit empfiehlt sich insbesondere für Prüfungen an Spezialsoftware wie etwa GIS-Programmen oder für Programmieraufgaben unter Verwendung der gewohnten Entwicklungsumgebung (IDE). Die Prüfung wird so im gewohnten Lern- und Arbeitsumfeld abgelegt.

VM-Prüfung: links wie gewohnt, rechts Prüfungsmodes (Laufwerk „Abgabe“

Eine Sperrung des (Inter-)Netzugriffs erfolgt - wenn überhaupt gewünscht²⁾ - über die Firewall-Mechanismen der bwLehrpool-Suite.

Generell gilt, dass bei Abgaben sichergestellt sein sollte, dass

• Geeignet aufgezeichnet werden sollte, welche Abgabe bzw. wann erfolgt (Logging),
• Fremdabgaben, also Abgaben durch andere Personen als Prüflinge, durch geeignete Mittel verhindert werden müssen, beispielsweise durch Zugriffsbeschränkungen auf LMS- , Web- und Dateiservern aufgrund Quell-IP-Adressen usw.,
• Rechtliche Vorgaben Ihrer Institution bzw. Ihres Bundeslandes beachtet werden.

Rechnen Sie zudem nach Möglichkeit auch schon vor dem Zeitpunkt der Abgabe mit unvorhergesehenen Ereignissen von Stromausfällen bis zu absichtlicher oder unabsichtlicher Fehlbedienung der Prüflinge und planen mögliche Reaktionen darauf ein.

Die einfachste Möglichkeit (insbesondere bei Prüfungen die ein LMS nutzen) besteht im Upload der gesammelten Ergenbisse auf ein LMS. Bei den üblichen zur „klassischen“ E-Prüfung verwendeten LMS entfällt die gesonderte Abgabe der Ergebnisse gewöhnlich ganz, da sämtliche Eingaben der Prüflinge automatisch gespeichert werden. Ein LMS kann natürlich auch zum Hochladen der Ergebnisse bei im Vergleich zur „klassischen“ E-Prüfung erweiterten Prüfungsformen verwendet werden.

Die Abgabe per LMS stellt im Normalfall die unkomplizierteste Möglichkeit dar, da LMS gewöhnlich mit dem Authentifizierungsdienst Ihrer Institution verbunden sind und so die Notwendigkeit der Verwendung und Vergabe gesonderter Logindaten an die Prüflinge entfällt.

Einige LMS bieten auch die Möglichkeit, je nach Sitzplatz unterschiedliche Prüfungsfragen aus einem Fragenpool zu stellen - auf diese Weise können nebeneinanderliegenden Plätzen unterschiedliche Fragen oder auch einfach in unterschiedlicher Reihenfolge gestellt werden³⁾.

„Einfache“ Webserver können ebenso wie ein LMS zur Abgabe verwendet werden, wenn gesonderte Logindaten vergeben wurde oder dieser mit dem Authentifizierungsdienst Ihrer Institution verbunden ist. Ein login-loses Hochladen und Erkennung der Teilnehmenden anhand Dateinamen o.ä. kann zur Verhinderung von Fremdabgaben nicht empfohlen werden, stellt jedoch ein einfaches Mittel zur Vereinfachung evtl. durchgeführter Testprüfungen dar. Vergeben Sie daher Logins zum Hochladen oder binden Sie den Webserver an den Authetifizierungsdienst Ihrer Institution an. Die Ausgabe der Aufgaben kann analog erfolgen.

Geeignet konfigurierte Netzlaufwerke stellen insbesondere bei VM-basierten Prüfungen ein gutes Mittel zur Abgabe dar. Netzlaufwerke können über die bwLehrpool-Suite definiert und automatisch mit übergebener Userkennung eingehängt werden. Es besteht zudem die Möglichkeit, eventuelle Arbeits- und temporär zur Zwischenspeicherung der betreffenden Programme auf das Netzlaufwerk zu konfigurieren, um Zwischenschritte der Aufgabenlösung automatisch mitzuerfassen und bei eventuellem Absturz⁴⁾ der Rechner an gleicher Stelle weiterarbeiten zu können.

Ein solches Netzlaufwerk muß jedoch serverseitig geeignet konfiguriert bzw. mit passendem Rechtesystem versehen werden, um zu vermeiden, daß absichtlich oder versehentlich Ergebnisse überschrieben oder verfälscht werden können. Von Prüflingen erstellte Verzeichnisse und Dateinamen sollten natürlich von anderen Prüflingen nicht überschreibbar sein; Datei- und Verzeichnisnamen dürfen zudem für andere Prüflinge nicht sichtbar sein, um unerwünschten Informationsfluß der Art „Antwort_Frage_1_ist_2323.txt“ o.ä. zu verhindern.

Die Verwendung beispielsweise von USB-Sticks kann besonders von externen Prüfenden gewünscht werden. In diesem Fall muss die Verwendung externer Datenträger in den Einstellungen der Veranstaltung erlaubt sein. Wir raten jedoch, das Lehrpersonal auf die Fehleranfälligkeit von USB-Sticks hinzuweisen, dass durch geeignete Aufsicht sichergestellt werden sollte, dass keine USB-Sticks weitergereicht werden und bei der Abgabe nicht ausgetauscht werden usw. Es ist empfehlenswert, die zur Abgabe verwendeten Datenträger vorher zu testen und eindeutig zu markieren.

Aus diesen Gründen raten wir von dieser Möglichkeit eher ab.

Die Ausgabe der Prüfungsaufgaben kann natürlich auch über die verwendete VM geschehen, indem die verwendeten Aufgaben einfach in geeigneter Form im Dateisystem der VM abgelegt werden.

Der Vollständigkeit halber sei hier noch die Abgabe per Email aufgeführt, die in seltenen Fällen insbesondere von externem Lehrpersonal nachgefragt wurde. In diesem Fall muß ein Emailserver mit Webinterface zur Verfügung stehen. Problematisch ist die Vergabe funktionierender Kennungen, die Schwierigkeit, Fremdabgaben zu verhindern usw. Aus diesen Gründen raten wir von dieser Möglichkeit generell ab.

Vereinfachtes Flußdiagramm Ablauf E-Prüfungen

(Eventuell hilft nebenstehendes Flußdiagramm bei dem Ablauf einer E-Prüfung. Eine druckbare pdf-Version kann hier heruntergeladen werden.)

Zuerst sollten Sie sich überlegen, welche Art der Prüfung Sie durchführen wollen:

• Sind Sie mit LMS bereits vertraut und Ihre Prüfung ist mit Text- und Multiple-Choice-Antworten abdeckbar, ist der Einsatz eines LMS eine gute und einfache Möglichkeit (siehe „klassische“ E-Prüfung).
• Besteht Ihre Prüfung aus LMS-basierter Aufgabenstellung mit relativ wenig notwendiger Zusatzsoftware, wäre eine E-Prüfung „plus“ mit SEB oder geeigneter bwLehrpool-Suite-Konfiguration zu bedenken.
• Wollen Sie schließlich praxisnah unter gleichen Umständen wie in der Lehre unter Verwendung des gewohnten Arbeitsumfeldes prüfen, böte eine VM-Prüfung das geeignete Mittel.
• Prüfen Sie letztendlich für eine entfernte Institution, sind Sie wahrscheinlich an eine Prüfung auf externem Server inklusive der dortigen Vorgaben gebunden. Es dürfte sich dann meistens um eine „klassische“ E-Prüfung handeln.

Wie immer ist empfehlenswert, wenn irgend möglich von einer von Ihrer Institution zur Verfügung gestellten Vorlagen-VM auszugehen, diese herunterzuladen, geeignet anzupassen und hochzuladen. Sollten Sie trotzdem eine eigene VM erstellen wollen oder müssen, sollten Sie unbedingt die Hinweise unter Erstellen neuer Virtueller Maschinen beachten, um sicherzugehen, dass eventuelle Dienste, die im Poolumfeld keinen Sinn ergeben oder gar schaden, abgestellt sind.

• „klassische“ E-Prüfung und - wenn nicht anders gefordert - Prüfung auf externem Server: Deinstallieren Sie alle Programme, auf die Sie keinen Zugriff gestatten wollen, und belassen oder installieren Sie einen Browser Ihrer Wahl (SEB unter Windows empfehlenswert). Sorgen Sie über die Angabe eines Startskriptes oder über Autostartmechanismen des Betriebssystems Ihrer VM dafür, daß der zur Prüfung verwendete Browser automatisch gestartet wird. Konfigurieren Sie den von Ihnen verwendeten Browser so, dass als Startseite direkt die passende (Login-)Seite Ihres verwendeten LMS angezeigt wird, und beschränken Sie den Netzwerkzugriffso, dass ausschließlich Zugriff auf den (Prüfungs-)LMS bzw. den externen Server möglich ist.
• E-Prüfung „plus“: Belassen Sie zu verwendende Programme auf der VM (bzw. installieren diese); beschränken Sie den Netzzugriff. Ansonsten gilt sinngemäß dasselbe wie im Falle einer „klassischen“ E-Prüfung. Wenn Sie SEB verwenden, gestatten Sie dort die Ausführung der benötigten Programme.
• VM-Prüfung: Eine gesonderte Vorbereitung der VM ist nicht notwendig; Netzwerkzugriff nach Gusto.

Erstellen Sie wie üblich eine Veranstaltung, vergeben eine aussagekräftige Beschreibung, setzen angemessene Start- und Enddaten und verweisen auf Ihre Prüfungs-VM. Prüfungsveranstaltungen unterscheiden sich prinzipiell nicht von normalen Veranstaltungen; sie müssen jedoch unbedingt als Prüfung („Veranstaltung ist eine Prüfung“) markiert werden, da sie nur dann im abgesicherten Prüfungsmodus verfügbar sind. Dieses Sicherheitsmerkmal verhindert den Start Ihrer Prüfungs-VM in nicht im Prüfungsmodus gebooteten Poolräumen.

Zwar können Sie direkt im Erstellungsdialog einige Punkte teilweise konfigurieren, da Sie aber meistens um eine Nachkonfiguration nicht herumkommen, empfieht es sich, den Erstellungsdialog bei erster Gelegenheit mit „Fertigstellen“ zu beenden und die erstellte Veranstaltung mit Doppelklick oder Rechtsklick, „Detailansicht“ erneut aufzugreifen - dann stehen Ihnen sämtliche Optionen zur Verfügung.

Im Reiter Beschränkungen finden Sie zwei wesentliche Angaben:

• „als Prüfung markieren“: Vergessen Sie nicht, jetzt oder abschließend diesen Haken zu setzen, da Ihre Veranstaltung sonst nicht im abgesicherten Prüfungsmodus gestartet werden kann!
• „externe Speichermedien zulassen“: Aktivieren bzw. deaktivieren Sie hier die Verwendung externer Speichermedien a la USB-Sticks, externe Platten, DVD/CDROM usw.

Die Raumauswahl bietet eine weitere Möglichkeit der Absicherung: Wenn Sie die zur Prüfung verwendeten Räume markieren und das Häkchen bei „Veranstaltung ausschließlich in den ausgewählten Räumen anzeigen“ setzen, kann die Prüfungsveranstaltung auch nur in diesen Räumen gestartet werden. Achten Sie jedoch darauf, daß die markierten Räume auch korrekt sind, da sonst Ihre Prüfung ggf. nicht gestartet werden kann bzw. nicht zur Auswahl steht!

Zur Prüfung verwendete Netzlaufwerke können auf nahezu beliebige Arten angesprochen werden: Sie können diese mit Mitteln des in der VM enthaltenen Betriebssystem sozusagen „fest verdrahten“ oder ein Skript zum Einhängen des Netzlaufwerks direkt in der VM ablegen. Die bequemste Lösung aber dürfte sein, die bwLehrpool-eigene Netzlaufwerk-Einbindung zu verwenden, die User-Logins direkt weitergeben und so doppeltes Einloggen ersparen kann. Ausführliche Informationen dazu finden Sie hier.

Sollte Ihnen in speziellen Fällen die bwLehrpool-eigene Netzlaufwerk-Einbindung nicht genügen, könnten Sie auch den unten beschriebenen Mechanismus zum Skriptstart nutzen.

Unter VM-Start können Sie die Audiovorgaben Ihrer Veranstaltung einstellen. Zur Auswahl stehen folgende Möglichkeiten:

• Die Audioausgabe nach Vorgabe des Poolraums verwenden. Wenn Ihnen diese Vorgabe nicht bekannt ist, können Sie die Audioausgabe auch direkt
• stummschalten, oder
• aktivieren.

Empfehlenswert wäre, die Ausgabe stummzuschalten, außer natürlich eine Tonausgabe (z.B. Kopfhörer) ist Bestandteil Ihrer Prüfung.

Die unterhalb der Audioeinstellungen gegebene Ablage eines Skriptes, das beim VM-Start ausgeführt wird, stellt eine mächtige Möglichkeit zur flexiblen Kontrolle Ihrer Prüfungsveranstaltung dar, da Sie bei Änderungen⁵⁾ Ihres Skriptes nicht jedesmal die VM neu bearbeiten müssen.

Natürlich kann hier kein Abriß über Skriptprogrammierung geliefert werden. Daher nur ein kurzes Beispiel, wie auch sehr kurze Skripte angewendet werden können. Folgendes Skript startet einfach einen Browser mit vorgegebener Loginseite, dazu eine Python-Shell und eine IDE:

start "" firefox.exe "https://klausuren.uni-freiburg.de/goto.php?target=prf_1234&client_id=pruef"
start "" pythonw.exe
start "" "C:\Users\student\AppData\Local\Programs\Microsoft VS Code\code.exe"
exit

Netzwerkbeschränkungen stellen einen integralen Baustein der Prüfungssicherheit dar. Mit ihrer Hilfe werden die zur Prüfung verwendeten VMs wirkungsvoll nach außen abgeschottet. Die Absicherung erfolgt nicht innerhalb einer VM, sondern auf Ebene des bwLehrpool-Grundsystems; sie kann daher auch bei Fehlkonfiguration oder Versagen der VM-Mechanismen, des SEB usw. nicht überwunden werden.

Prinzipiell sind zwei Arten der Absicherung möglich:

• „alles erlauben, ausgewähltes“ (Blacklist) - aus nachvollziehbaren Gründen im Prüfungsbetrieb nur sehr eingeschränkt sinnvoll.
• „alles verbieten, ausgewähltes erlauben“ (Whitelist). Wichtig ist hierbei natürlich, die für Ihre Prüfung notwendigen Server bzw. Netzwerkdienste zu kennen.

Weiterhin muß beachtet werden, daß gegebene Domains (URLs, Netzwerklaufwerksbezeichner usw.) z.B. bei Lastverteilung bei jedem Aufruf auf andere IP-Adressen weisen können. Da ein gegebener Domainname nur einmal vor dem Start der VM zu einer IP-Adresse aufgelöst und damit nur eine IP erlaubt wird, kann dies ein Problem werden, wenn per DNS später andere IPs zurückgeliefert werden - diese sind dann nicht mehr erlaubt und werden blockiert.

Das A und O einer nervenschonenden Prüfung liegt im Testen - testen Sie mit zeitlichem Vorlauf in Ruhe, damit Sie ohne Hektik nachkorrigieren können. Sie können Ihre Prüfungsveranstaltung durchaus auch im normalen bwLehrpool-Modus testen und sollten dies natürlich nutzen. Praktisch ist, wenn Sie in einem der später zur Prüfung verwendeten Räume testen können; Sie können aber auch an einem beliebigen anderen Ort testen. Natürlich sollten die verwendeten Server (LMS/Webserver/Dateiserver) dann auch aus Ihrem Testraum erreichbar sein.

• Passen Sie die Raumauswahl der Veranstaltung so an, daß die Prüfungs-VM nur in Ihrem Testraum gestartet werden kann.
• Entfernen Sie die Markierung „als Prüfung markieren“ (Veranstaltungsdetails, Beschränkungen).
• Testen Sie, was in der Prüfung benötigt wird; führen Sie eventuelle Korrekturen der VM aus. Wenn die Tests zu Ihrer Zufriedenheit verlaufen,
• setzen Sie die Markierung bei „als Prüfung markieren“ neu, und
• aktivieren die ursprünglichen Räume in der Raumauswahl.

Optimal ist natürlich, wenn Sie von vornherein einen ausreichenden Zeitblock für das Testen in einem der später zur Prüfung verwendeten Räume einplanen und diesen auch der Satellitenserveradmin nennen, damit der Raum für diesen Zeitraum in den Prüfungsmodus geschaltet werden kann.

Zum reibungslosen Ablauf bei Beginn der Prüfung stehen Ihnen noch zwei Möglichkeiten zur Verfügung, die Sie kombinieren können:

• Soll Ihre Veranstaltung automatisch gestartet werden?
• Soll ein Login vor dem Start der Veranstaltung erfolgen?

Im Normalfall empfiehlt es sich, die Prüfungsveranstaltung automatisch starten zu lassen, es sei denn, Sie wollen gleichzeitig zwei oder mehr Prüfungsveranstaltungen in einem Raum anbieten. Wenn Ihre Veranstaltung nicht automatisch gestartet wird, werden alle für den betreffenden Raum zur Zeit als Prüfungen markierte Veranstaltungen angezeigt. Eine automatisch startende Veranstaltung erspart eine Interaktion zu Beginn und mögliche Fehlbedienung.

Die Frage des Logins ergibt sich aus Ihrer Prüfungart. Wenn Sie beispielsweise ein LMS verwenden, an dem sowieso ein Login erfolgen muß, können Sie Ihren Prüflingen eine zusätzliche Anmeldung beim Veranstaltungsstart ersparen; in diesem Fall kann das User-Login übersprungen und die Veranstaltung mit einem generischen demo-Zugang gestartet werden. Entsprechendes gilt natürlich für Prüfungen, die externe (Web-)Server verwenden.

Wenn Ihre Prüflinge aber beispielsweise ein Abgabenetzlaufwerk benötigen, das beim Veranstaltungsstart automatisch eingebunden werden soll und die instutionseigenene Nutzerkennung benötigt, sollte ein Login vor dem Start der Veranstaltung erfolgen.

• Mitunter akzeptieren (Prüfungs-)LMS, Dateiserver etc. aus Sicherheitsgründen nur Verbindungen aus bestimmten Subnetzen / IP-Ranges. Erfragen Sie beim technischen Personal, ob dies der Fall ist, und nennen Sie ggf. die zur Prüfung gebuchten Räume.

Abschließend muß nur noch das (bwLehrpool-)Administrationspersonal informiert werden, damit die von Ihnen benötigten Poolräume für die betreffenden Zeiten in den abgesicherten Prüfungsmodus geschaltet werden können. Folgende Informationen werden benötigt:

• Die Bezeichnung der zur Prüfung benötigten Veranstaltung,
• die Startweise (automatischer Start, Login überspringen?),
• die benötigten Räume,
• die Prüfungszeiten von-bis.