MOOCs sind ja jetzt schon eine ganze Zeit in aller Munde; quasi DER aktuelle Trend im E-Learning. Die Vorteile und Chancen sind nicht von der Hand zu weisen; aber bisherige Erfahrungen zeigen auch die Fallstricke bei der Entwicklung und Umsetzung von MOOCs (Qualität, „Vorlesungsaufzeichnungen“, Drop-Out, was heißt „open“?,…).

Ein Thema, das mich besonders beschäftigt, ist die Qualität des Feedbacks in MOOCs. Wie kann man auch für große Teilnehmerzahlen Rückmeldungsprozesse gestalten, die tatsächlich lernförderlich sind? Zu unterscheiden ist dabei zunächst, ob der Lernende ein formatives Feedback im Lernprozess erhält (zur Verbesserung) und/oder eine summative Rückmeldung zu Bewertungszwecken. Grundsätzlich ist beides denkbar; formatives Feedback ist aber unabdingbar, denn sonst weiß der Teilnehmer ja gar nicht, wie gut oder schlecht er sich bereits in der Thematik auskennt. Aber wie werden solche Feedback-Prozesse konkret gestaltet?

Angeregt durch den Wettbewerb „MOOC Production Fellowship“, bei dem vom Stifterverband der Deutschen Wirtschaft und iversity ingesamt 250.000 € für die Entwicklung von zehn Kursen bereit gestellt werden, habe ich mich mal näher damit beschäftigt, wie Feedback-Prozesse in MOOCs konzeptioniert sind. In den „Guidelines“ liefern die Veranstalter des Wettbewerbs folgende Info, wie sie sich das Feedback in den MOOCs vorstellen:

Ein weiteres Schlüsselkonzept für Online-Kurse ist das direkte Feedback. Hierbei werden nach den Videos oder der Lektüre von Texten kurze Tests geschaltet, um das Verständnis der Inhalte abzufragen.

An diesem Punkt sind wir also wieder bei den Anfängen des Feedbacks im E-Learning angelangt: automatisierte Rückmeldungen; wie z.B. „knowledge of performance“ (z.B. „85 % richtig“), „knowledge of result“ („falsch“), „knowledge of correct result“ (aka Musterlösung). Ich beschäftige mich ja schon seit einigen Jahren mit Feedback – auch und gerade in E-Learning-Szenarien – und hätte ehrlich gesagt nicht erwartet, dass das Thema nochmal so auf die Agenda kommt. Aber ich muss einräumen, dass es für MOOCs ein sinnvolles Tool zum Self-Assessment Studierender ist, sofern man sich der Grenzen dieser Rückmeldungen bewusst ist. Denn im Prinzip kann dadurch nur Fakten- (und ein bisschen) Konzeptwissen überprüft werden.

Was also tun, sobald es um komplexere Wissensformen geht? Auch hier machen die Initiatoren des Wettbewerbs unter dem Stichwort „Prüfungsverfahren“ (naja… lieber wäre mir der Begriff „Assessment“) einen Vorschlag:

Peer Review: Dies ist eine Möglichkeit, wie Aufgaben, die sich nicht automatisierbar bewerten lassen – z.B. Eassys – auch bei Kursen mit tausenden von Teilnehmern durchgeführt werden können. Hierbei müssen die Kursteilnehmer z.B. jeweils fünf Arbeiten ihrer Kommilitonen lesen, nach einem Bewertungsschema beurteilen und Feedback geben. Sowohl die Arbeit als auch die Qualität des Feedbacks werden bewertet.

Und hier ist der Punkt, wo ich so ein bisschen meine Zweifel habe, dass das funktioniert. Erfahrungen aus der eigenen Lehre zeigen, dass es Studierenden sehr schwer fällt, die Qualität der Arbeit anderer zu bewerten und darauf auch noch eine angemessene schriftliche Rückmeldung (mit z.B. Verbesserungstipps) zu geben. Ehrlich gesagt ist das noch nicht mal etwas, was nur Studierende betrifft: Auch so manches Peer Review eines Zeitschriftenbeitrags wirft die Frage auf, ob da z.B. ein Beitrag gründlich gelesen wurde oder ob der Gutachter gute inhaltliche Kenntnisse zum Thema hat. Und verschärft trifft das natürlich auf MOOCs zu, wo die Teilnehmerschaft ja äußerst heterogen ist. Steven Krause gibt in seinem Blog ein Beispiel dafür, wie unterschiedlich die Qualität eines solchen Peer Reviews ausfallen kann.

Natürlich gibt es da schon einige Maßnahmen, um den Prozess des Peer Review zu unterstützen. Z.B., indem man als Lernender die Qualität des erhaltenen Feedbacks bewerten kann (wie es ja auch in den Guidelines oben steht) oder indem man möglichst genaue Vorgaben macht, wie so ein Feedback aussehen soll und diesen Prozess z.B. mit Rubrics (also Bewertungsrastern) unterstützt. Dennoch glaube ich, dass das noch kein Garant ist für eine gute Rückmeldung. Wichtig wäre es aus meiner Sicht noch, dass es auch die Möglichkeit zum Dialog über das Feedback gibt. Zu überlegen wäre auch, was passiert, wenn Teilnehmer nachweislich kein gutes Peer Review verfassen können oder wollen. Gibt es da dann ein ergänzendes Tutorial „Wie geb ich eine Rückmeldung?“ oder hat es Konsequenzen für die weitere Kursteilnahme? Außerdem sollte klar sein, was mit Fragen geschieht, die Lernende sich nicht gegenseitig beantworten können.

In irgendeiner Weise sollte es also doch auch eine Rückmeldung des Lehrteams geben – zumindest, wenn es sich nicht um ein cMOOC (wo es ja primär um den Austausch mit der Community geht), sondern um ein xMOOC handelt, welches eher der Handlungslogik traditioneller Lehrveranstaltungen folgt. In den Guidelines zum Wettbewerb ist auch hier eine Anregung vorhanden:

Der Lehrende kann überdies beispielhaft einige Arbeiten oder eine Musterlösung öffentlich besprechen und so wichtige Punkte illustrieren.

Solche Rückmeldungen im Lernprozess halte ich für einen großen Motivator. Ich kann mich noch gut an die Semi-Virtuelle-Vorlesung bei Gabi erinnern, bei der es darum ging, in Kleingruppen eine problemorientierte Aufgabe zu bearbeiten. Als Ergebnis kamen immer total engagiert gestaltete Powerpoint-Präsentationen (im Sinne von kleinen „Selbstlernmedien“) heraus. Wenn man dann in der folgenden Präsenzsitzung als „Musterbeispiel“ für eine erfolgreiche Aufgabenlösung herangezogen wurde, war dies noch einmal ein Schub für die nächste Aufgabenbearbeitung. Selbstverständlich muss ein solches Vorgehen auch unter Datenschutz-Aspekten durchdacht sein. Dennoch würde ich den Bezug zu den Lösungen der Teilnehmer als wichtiges Kriterium einer solchen Rückmeldung (z.B. in Form einer Videobotschaft) betrachten. Einfache Musterlösungen (z.B. als PDF) erfüllen inhaltlich zwar auch ihren Zweck; das Gefühl sozialer Eingebundenheit können sie allerdings nicht unterstützen.

Soweit also mal ein paar Gedanken zu Feedback in MOOCs. Total spannend fände ich hier natürlich eine empirische Studie, in der man z.B. die Qualität von Peer Reviews (via Dokumentenanalyse und Selbsteinschätzung) untersuchen könnte oder inwiefern Peer Reviews tatsächlich den Lernprozess der Teilnehmer fördern. Ich freue mich jedenfalls über Literatur- und Linktipps, falls es da schon Erkenntnisse gibt.