Reiter
KI und Prüfungen an der PH Zürich
Die rasante Entwicklung und Verfügbarkeit von generativer künstlicher Intelligenz (KI), insbesondere in Bereichen wie Text- und Inhaltsproduktion, stellt Hochschulen vor eine Reihe von Herausforderungen, besonders im Kontext von Prüfungen und Leistungsnachweisen. Diese Technologien ermöglichen es Studierenden, qualitativ gute Inhalte in kurzer Zeit zu erzeugen, was traditionelle Methoden der Leistungsbewertung und -überprüfung infrage stellt. Gerade mit dem Aufkommen von GPT-4, welches gegenüber dem Vorgängermodell (GPT-3.5) eine verbesserte Sprachverarbeitung und eine erweiterte und aktuelle Wissensbasis aufweist, hat sich diese Entwicklung verstärkt. https://openai.com/gpt-4
Symbolbild für den Ausschluss von KI in Prüfungen (DALL E, Dez.2023)
Auf die PH Zürich hat dies unterschiedliche Auswirkungen. Einerseits müssen bekannte Prüfungsszenarien hinsichtlich der Betrugsgefahr durch den Einsatz von KI geprüft werden, anderseits erfolgt eine Neubewertung von Lernzielen, Szenarien und Bewertungskriterien.
Für die Prüfung und die Leistungsnachweise an der PH Zürich gilt deswegen Folgendes:
Problemlos sind:
Elektronische Tests mit offenen und geschlossenen Fragen @PHZH
Wenn E-Tests an der PHZH stattfinden, kann innerhalb der PHZH-Infrastruktur der Einsatz von KI während der Prüfung ausgeschlossen werden. Die E-Tests finden mit Prüfungsgeräten der PH und im Safe-Exam-Browser (SEB) statt. Diese technischen Voraussetzungen verhindern den Zugriff auf KI-Hilfsmittel während der Dauer der Prüfung. Darüber hinaus überwachen Aufsichtspersonen die Studierenden und verhindern somit den Gebrauch von anderen Geräten (Smartphone, Smartwatch usw.).
Paper and Pencil Prüfungen/Leistungsnachweise
Beim vollständigen Verzicht auf digitale Hilfsmittel in Prüfungsszenarien ist die Gefahr des Betrugs mit einer generativen KI sehr klein. Dies gilt aber nur bei Prüfungen und Leistungsnachweisen, die durch eine Aufsichtsperson betreut werden.
Praktische Prüfungen/Leistungsnachweisen, bei welchen die Prozesse dokumentiert werden.
An der PHZH gibt es verschiedene Prüfungsszenarien, die in Form von praktischen Prüfungen stattfinden, wie beispielsweise im Bereich Sport, Musik, Werken oder Hauswirtschaft. Darüber hinaus sind auch Settings, in denen der Prozess dokumentiert wird, zum Beispiel mit Fotos oder Videos, weniger betrugsgefährdet durch den Einsatz von KI. So kann es beispielsweise sinnvoll sein, dass in der Informatik nicht mehr der Code als Resultat einer Aufgabe bewertet wird, sondern ein Video, das die Studierenden aufnehmen und erklären, wie sie programmiert haben.
Mündliche Einzelprüfungen
Mündliche Prüfungen an der PHZH sind weiterhin problemlos möglich. Dort kann das Setting so gestaltet werden, dass der Einsatz von KI ausgeschlossen ist. Wenn mündliche Prüfungen zu Hause zum Beispiel per Teams stattfinden, dann ist der Einsatz von KI ebenfalls schwierig, kann aber nicht zu 100 Prozent ausgeschlossen werden.
Problematisch sind:
Schriftlichen Arbeiten und Prüfungen @Home
Die Nutzung schriftlicher Arbeiten als Leistungsnachweise an Hochschulen wird problematisch, wenn der Einsatz von KI-Tools wie GPT nicht ausgeschlossen werden kann. Die Authentizität und Originalität von Studierendenarbeiten sind schwer zu überprüfen, was die akademische Integrität und Fairness gefährdet. Zudem erschwert die kaum erkennbare Unterscheidung zwischen KI-generierten und eigenständig verfassten Texten eine objektive Bewertung der Studierendenleistung.
Mit unterschiedlichen Massnahmen kann in diesem Szenario die Gefahr für den missbräuchlichen Einsatz von KI verringert werden:
- Eine Möglichkeit ist die Kombination schriftlicher Arbeiten mit einer anschliessenden mündlichen oder schriftlichen Abfrage oder Präsentation des Hintergrundwissens, um die Eigenleistung der Studierenden besser beurteilen zu können.
- Des Weiteren sind Fragestellungen vorteilhaft, die zu reflexiven und persönlichen Überlegungen anregen oder Bezüge zum Schulfeld herstellen.
- Das konsequente Einfordern und Überprüfen von Quellenangaben ist eine weitere Strategie, um mit KI verfasste Texte zu erkennen. GPT-4 ist zwar fähig zu zitieren, allerdings ist die Qualität der Quellen noch bescheiden.
- Zusätzlich kann eine grundlegende Anpassung von Prüfungsformaten, Aufgabenstellungen, Lehrmethoden und Bewertungskriterien hin zu einem kompetenzorientierten Prüfen die Gefahr des unerlaubten Täuschens mit KI deutlich verringern. (Erläuterungen siehe unten)
Prüfungen/Leistungsnachweise mit BYOD ohne SEB @PHZH
- Dieses Szenario ist deutlich weniger sicher als die Verwendung der PH-Geräte. Studierende könnnen auf ihren Geräten verschiedene KI-Programme so installieren, dass sie diese in unterschiedlichen Prüfungen/Leistungsnachweisen unauffällig verwenden können.
- Mit unterschiedlichen Massnahmen kann in diesem Szenario die Gefahr für den missbräuchlichen Einsatz von KI verringert werden:
- Eine intensivere Prüfungsaufsicht, die genau auf die Bildschirme der Studierenden achtet und sicherstellt, dass keine unzulässigen Drittprogramme genutzt werden, ist eine Möglichkeit.
- Eine weitere Option könnte die Verkürzung der Prüfungszeit sein, um den Studierenden weniger Spielraum für die Nutzung von KI-Tools zu lassen. Allerdings sollte dabei beachtet werden, dass eine solche Massnahme aus didaktischer Perspektive nicht ratsam ist, da sie zusätzlichen Stress in der Prüfungssituation erzeugen kann.
- Die Installation von Safe Exam Browser (SEB) auf BYOD-Geräten der Studierenden könnte die Nutzung nicht erlaubter Tools weitgehend unterbinden. Dabei muss jedoch die rechtliche Situation im Vorfeld geklärt werden, und es muss sichergestellt werden, dass alle Geräte der Studierenden technisch kompatibel sind.
- Schliesslich könnte eine Anpassung der Bewertungskriterien und der Fragenstellung ebenfalls dazu beitragen, den unerwünschten Einsatz von KI bei Prüfungen zu verhindern. (Erläuterung siehe unten)
Grundsätzliche Überlegungen zu Prüfungen mit KI
Im Zuge der fortschreitenden Integration von künstlicher Intelligenz (KI) in Bildungsbereiche stehen wir vor der Herausforderung, die Art und das Ausmass ihres Einsatzes in Prüfungen zu überdenken. Verschiedene Prüfungsformate werfen dabei unterschiedliche Fragestellungen auf, insbesondere im Hinblick auf die Eigenleistung der Studierenden in summativen Prüfungen. Hierbei besteht das Risiko, dass Studierende durch den Einsatz von KI ihre Leistungen verfälschen, was eine grundsätzliche Anpassung der Prüfungsformate und -aufgaben erforderlich macht.
Einfache Eigenständigkeitserklärungen der Studierenden können zwar ein Bewusstsein für dieses Problem schaffen, bieten jedoch keine umfassende Lösung. Vielmehr sollte der Fokus darauf liegen, die Prüfungsformate und Bewertungskriterien so anzupassen, dass sie die tatsächlichen Kompetenzen und Lernziele der Studierenden widerspiegeln und zugleich die unerwünschte Verwendung von KI minimieren. Ein kompetenzorientierter Prüfungsansatz kann hierbei effektiv sein. Dabei wird zunächst geprüft, welche Kompetenzen und Lernergebnisse eigentlich im Rahmen der Prüfung bewertet werden sollen. Darauf aufbauend stellt sich die Frage, ob das zu bewertende Produkt der Prüfung diese Kompetenzen auch tatsächlich abbildet. Beispielsweise ist die Überprüfung von Rechtschreibkompetenz anhand einer zu Hause geschriebenen Arbeit problematisch, da hier die Eigenleistung nicht eindeutig nachweisbar ist.
Um dem entgegenzuwirken, könnte der Fokus verstärkt auf Projektarbeiten, Präsentationen, Audio- oder Videoprodukte, Lerntagebücher zur Reflexion oder mündliche Prüfungen gelegt werden. Solche Formate ermöglichen es, die Rolle und den Einfluss von KI explizit zu reflektieren und in die Bewertung einfliessen zu lassen. Eine weitere Möglichkeit, die Kompetenzentwicklung der Studierenden besser zu erfassen, besteht darin, den Lernprozess stärker in die Bewertung einzubeziehen. Unterschiedliche Prüfungsformate und Zeitpunkte können ein klareres Bild des Kompetenzstandes der Studierenden liefern. Methoden wie Zwischengespräche, Beratungen oder nachträgliche mündliche Reflexionen können dabei helfen, die angestrebten Kompetenzen zu bewerten.
Abschliessend ist es wichtig, die Bewertungskriterien so anzupassen, dass sie die Eigenleistung der Studierenden im Hinblick auf die überprüften Kompetenzen bestmöglich widerspiegeln. Eine nützliche Ressource für die Überarbeitung von Bewertungsmethoden ist der Ansatz des «Specific Grading» von Macie Hall, zu finden unter: What is Specifications Grading and Why Should You Consider Using It?. Ziel ist es, faire und kompetenzorientierte Prüfungsformate zu entwickeln, die sowohl eine adäquate Bewertung der Studierenden ermöglichen als auch einen verantwortungsvollen Umgang mit KI fördern.
Zuletzt geändert: 08. Feb 2024, 14:43, [iris_leutert@stud.phzh.ch]