Eedi, ein Online-Nachhilfeangebot fuer Mathematik, laesst neue Nutzerinnen und Nutzer zunaechst einen dynamischen Quiz mit zehn diagnostischen Multiple-Choice-Fragen bearbeiten. Das System nutzt ein von Forschenden im Microsoft Research Lab in Cambridge entwickeltes KI-Modell, um auf Grundlage jeder Antwort vorherzusagen, mit welcher Wahrscheinlichkeit eine Schuelerin oder ein Schueler Tausende moeglicher Folgefragen richtig beantworten wuerde. Daraus waehlt es jeweils die naechste Frage aus, um Wissensluecken und Fehlvorstellungen moeglichst gezielt zu bestimmen.
Nach Angaben der Beteiligten soll der Informationsgewinn dem entsprechen, was eine Lehrkraft in einem Eins-zu-eins-Gespraech ueber den Lernstand erfahren koennte. Wenn eine Schuelerin oder ein Schueler etwa eine grundlegende Multiplikationsaufgabe nicht loesen kann, passt das System die weitere Abfolge der Fragen entsprechend an. Anschliessend ordnet Eedi die Lernenden einem Lernpfad zu, der auf die identifizierten Fehlvorstellungen ausgerichtet ist.
Die Grundlage des Modells sind Tausende gepruefte diagnostische Fragen aus dem Eedi-Bestand. Laut Microsoft-Forscherin Cheng Zhang haengt der Erfolg des Next-Best-Question-Modells wesentlich von den Trainingsdaten ab. Eedi verwendet dazu Multiple-Choice-Fragen mit einer richtigen und drei falschen Antworten, wobei jede falsche Antwort auf eine bestimmte Fehlvorstellung abzielt.
Craig Barton, Mitgruender von Eedi und Director of Education, beschreibt solche diagnostischen Fragen als klar, eindeutig und auf genau einen Aspekt ausgerichtet. Sie sollten in etwa 20 Sekunden beantwortbar sein, jede falsche Antwort mit einer Fehlvorstellung verknuepfen und so gestaltet sein, dass ein Schueler oder eine Schuelerin mit einer zentralen Fehlvorstellung nicht trotzdem zufaellig zur richtigen Loesung gelangt. Als Beispiel nennt er eine Frage zu Vielfachen von 6, die zwar auf den ersten Blick brauchbar sei, aber die haeufige Verwechslung von Faktoren und Vielfachen nicht sauber erfasse. Eine alternative Frage zu Vielfachen von 15 bilde diese Unterscheidung besser ab.
Der Ursprung von Eedi lag in einer Online-Datenbank mit diagnostischen Fragen fuer Lehrkraefte. Barton hatte die Fragen zunaechst im eigenen Unterricht erprobt und spaeter zusammen mit Mitgruender Simon Woodhead eine Plattform aufgebaut, ueber die Lehrkraefte auf Tausende solcher Fragen zugreifen konnten. Aus den dabei gesammelten Daten entstand die Idee, die Antworten der Lernenden online auszuwerten und daraus konkrete Hinweise auf Problemfelder abzuleiten.
Der Kontakt zu Microsoft entstand ueber einen Berater, der Eedis Datensatz mit Forschungsarbeiten zum Next-Best-Question-Algorithmus verknuepfte. Das Verfahren war damals zunaechst fuer den Gesundheitsbereich untersucht worden, um aerztliche Entscheidungen ueber sinnvolle naechste Fragen oder Tests effizienter zu machen. Fuer Eedi wurde das Modell auf diagnostische Mathefragen trainiert, um den Informationsgewinn aus einem Tutor-Gespraech teilweise zu automatisieren.
Nach Angaben von Simon Woodhead, Chief Data Scientist bei Eedi, arbeitet das Modell ohne personenbezogene Identifikationsdaten. Es benoetige weder Namen noch E-Mail-Adressen, sondern suche nach Mustern in den Antworten. Auf dieser Basis koenne das System passende Lektionen und Einstiege in den Lernstoff empfehlen. Laut Eedi hilft das Familien und Lernenden dabei, einen sinnvollen Ausgangspunkt zu finden, statt nur bestehende Strategien aus dem Schulunterricht zu wiederholen.
Eedi verweist auf interne Daten, wonach 95 % der Fehlvorstellungen von Schuelerinnen und Schuelern ueber die Plattform aufgeloest werden. Zudem aeusserten Nutzerinnen und Nutzer ueberwiegend mehr Selbstvertrauen in Mathematik. Als Beispiel wird die 14-jaehrige Eithne aus Chorley im Vereinigten Koenigreich beschrieben, die nach pandemiebedingten Unterbrechungen ueber ein Sommerprogramm von Eedi Themen aus Year 8 nacharbeitete und auf Year 9 vorbereitet wurde, unter anderem in Geometrie.
Microsoft und Eedi arbeiten nach eigenen Angaben inzwischen an einem naechsten Machine-Learning-Modell, das auf einem Deep End-to-End Causal Inference Algorithm aufbaut. Dieses Modell soll fuer einzelne Schuelerinnen und Schueler personalisierte Lernpfade empfehlen. Dabei geht es um die Frage, ob die Reihenfolge von Themen je nach Person unterschiedlich sein sollte und ob bestimmte Inhalte frueher oder spaeter erneut aufgegriffen werden muessen.
