Wie alte Technik den KI-Betrug im Klassenzimmer vereitelt

Vor fast zwei Jahren lösten die KI-Schreibfähigkeiten von ChatGPT eine hitzige Debatte in Schulen und Universitäten aus. Wie sollten Lehrer und Professoren feststellen können, welche Hausarbeiten tatsächlich von einem Schüler oder von einer KI verfasst wurden? Eine Vielzahl von KI-gestützten Diensten hat nun auf diesen Hilfeschrei reagiert.

Mittlerweile gibt es eine Vielzahl an Diensten, die versprechen, KI-Schummler ertappen zu können. Doch nicht in allen Schulen springen die Lehrer auf diesen Zug auf. Viele von Ihnen kehren stattdessen zu einer traditionellen Lösung zurück: Stift und Papier. In Klassenarbeiten und Tests sind kurzerhand keine Smartphones, Tablets und Laptops mehr erlaubt. Die Schüler müssen sich also ganz auf ihre grauen Zellen verlassen.

Die KI-Detektoren

Warum also zu altmodischen Methoden greifen, wenn es auch eine Reihe von KI-Detektoren gibt? Die , und . Classifier wurde von OpenAI nach der Veröffentlichung von ChatGPT entwickelt und identifizierte bei Tests 26 Prozent der von KI verfassten Texte als menschlich. Das Tool konnte getäuscht werden, ob von KI verfasster Text bearbeitet oder verändert wurde. “Unser Classifier ist nicht völlig zuverlässig”, sagte OpenAI selbst über seine Software. Classifier wurde nur sieben Monate nach der Veröffentlichung aufgrund seiner “geringen Genauigkeit” wieder eingestellt.

Erst vor Kurzem hat OpenAI einen weiteren Versuch zur Erkennung unternommen und zwei Methoden als mögliche Lösungen genannt: Das Anbringen von Wasserzeichen und die Kennzeichnung von KI-Inhalten mit Metadaten. Wasserzeichen lassen sich jedoch vermeiden, indem man den Inhalt einfach umschreibt, so das Unternehmen. Anwendungen zur Kennzeichnung der KI-Beteiligung in den Metadaten wurden noch nicht veröffentlicht.

Diese Ungenauigkeit hat viele Schulen und Universitäten vor dem Einsatz der KI-Erkennung zurückschrecken lassen. Bill Vacca, Direktor für Unterrichtstechnologie am Mohonasen Central School District in New York, sagt, er habe keine qualifizierten KI-Prüfer gefunden. “Und ich habe sie alle ausprobiert”, so Vacca.

Es gibt laut Vacca zahlreiche Probleme. Zum einen bedeutet die ständige Aktualisierung von ChatGPT und anderen KI-Tools, dass die KI-Prüfer kontinuierlich reagieren müssen. Einige Websites bleiben bestehen und verschwinden dann unerwartet wieder, sagte er.

Außerdem sind die Ergebnisse der Detektoren nicht immer vertrauenerweckend. Anstatt definitiv zu sagen, dass ein Inhalt “100 Prozent KI-generiert” ist, sprechen viele Seiten auch eine schwammige Einschätzung von 25 oder 50 Prozent Wahrscheinlichkeit aus.

Laut Vacca sind diese Werte nicht gut genug, um die Nutzung einer KI-Prüfseite zu rechtfertigen. “Es ist zu schwer zu bestimmen. Und da haben wir festgestellt, dass es nicht so einfach ist, wie wir dachten.”

John Behrens, der Leiter des Büros für digitale Strategie am College of Arts and Letters an der Universität von Notre Dame, stimmt dem zu. “Man muss sich über die statistischen Fähigkeiten dieser Detektoren im Klaren sein, und ich habe einige dieser Detektoren gesehen, die schlechter als gar keine Kontrolle sind,” sagte er.

Ein weiterer Faktor ist, dass das Hochladen von Inhalten eines Schülers ohne Erlaubnis gegen schulische, staatliche oder sogar bundesstaatliche Vorschriften verstoßen kann, wie zum Beispiel in den USA gegen den Family Educational Rights and Privacy Act, oder , , der , der , der und versucht beispielsweise, zu erkennen, welche Wörter original sind, welche von der KI generiert wurden und welche von der KI bearbeitet wurden – mit der Idee, dass Studenten Elemente aus beiden Bereichen kombinieren könnten.

Ein besserer Weg, KI zu erkennen: Arbeiten Sie mit den Studenten zusammen

Wie bekämpft man also KI? Lehrer sagen, der beste Weg, um zu erkennen, ob ein Schüler mit KI betrügt, ist, den Schüler und seine Arbeit zu verstehen. Und im Zweifelsfall sollten Sie ihn bitten, es zu beweisen. “Die einfache Lösung war, ein Stück Papier herauszunehmen und sie zu bitten, mir zu zeigen, wie sie das Problem lösen,” erklärt Vacca. “Das hat viele der Schüler vom Schummeln abgehalten.”

“Sie haben versucht, ihre Antworten zu vereinfachen, aber es ist immer noch leicht genug, zu erkennen, wenn es nicht ihre Schrift ist,” fügte Vacca hinzu. Perez stimmte zu. “Wenn es Bedenken über den unethischen Einsatz von KI im Unterricht gibt, sollten wir bei unseren Untersuchungen die nötige Sorgfalt walten lassen,” sagte sie.

“Zunächst müssen wir uns mit der Arbeit jedes einzelnen Schülers vertraut machen. Zweitens sollten wir das Material, das wir für KI-generiert halten, mit der ursprünglichen Arbeit vergleichen, um zu sehen, ob die Grammatik, die Satzstruktur und der Schreibstil mit dem der Schüler übereinstimmen. Drittens müssen wir uns entweder persönlich oder per E-Mail mit dem Schüler unterhalten, damit wir seine Version des Geschehens erfahren.”

Perez sagte, sie habe eine Studienarbeit gelesen, die laut einem KI-Tool mit 90-prozentiger Wahrscheinlichkeit KI-generierte Inhalte enthielt, und sie klang “sehr mechanisch.” Sie schickte dem Studenten eine E-Mail und bat ihn um eine Erklärung, woraufhin der Student bestritt, KI zu verwenden. Daraufhin setzte sie sich per Videochat mit ihm in Verbindung.

“Während des Videoanrufs bat ich den Studenten, über den Inhalt der Arbeit zu sprechen, und er konnte nichts über die Arbeit oder den Inhalt des Kurses sagen, was mir bewies, dass die KI-Erkennung korrekt war,” fügte Perez hinzu. “Ich habe den Studenten aufgefordert, die Arbeit mit eigenen Worten neu zu schreiben, und er wurde der Universität gemeldet, um weitere Sanktionen zu verhängen.”

Die Lehrer, mit denen ich gesprochen habe, sagten, dass sie es nicht mögen, in eine gegnerische Rolle gedrängt zu werden und sich lieber auf das konzentrieren, was sie am besten können: Lehren.

Nathaniel Myers, ein Professor in Notre Dame, sagte, er würde lieber “einen Raum schaffen, in dem sich Studierende wohlfühlen, wenn sie transparent sind, sodass wir diese Dinge gemeinsam durchdenken können.”

Perez von der SJSU sagte, dass eine Reihe von Professoren, die an Facebook-Gruppen zum Thema KI im Klassenzimmer beteiligt waren, über psychische Probleme berichtet haben und dass es demoralisierend sei, so viel unethischen KI-Einsatz im Klassenzimmer zu sehen, was zu noch weniger Arbeitszufriedenheit führt.

Der Druck lastet jedoch sowohl auf den Lehrern als auch auf ihren Schülern. Beide wenden sich ebenfalls der KI zu, um ihre Last zu erleichtern. “Sie versuchen, KI gegen KI auszuspielen,” sagte Nitesh Chawla, Professor für Informatik und Ingenieurwesen in Notre Dame. “Die eine KI erstellt Inhalte. Die andere KI versucht zu erkennen, ob eine andere KI diese Inhalte erstellt hat. Sie lassen sie gegeneinander antreten. Ich weiß nicht einmal, was das bedeutet!”