Wie gut ist das Feedback in MOOCs?

MOOCs sind ja jetzt schon eine ganze Zeit in aller Munde; quasi DER aktuelle Trend im E-Learning. Die Vorteile und Chancen sind nicht von der Hand zu weisen; aber bisherige Erfahrungen zeigen auch die Fallstricke bei der Entwicklung und Umsetzung von MOOCs (Qualität, „Vorlesungsaufzeichnungen“, Drop-Out, was heißt „open“?,…).

Ein Thema, das mich besonders beschäftigt, ist die Qualität des Feedbacks in MOOCs. Wie kann man auch für große Teilnehmerzahlen Rückmeldungsprozesse gestalten, die tatsächlich lernförderlich sind? Zu unterscheiden ist dabei zunächst, ob der Lernende ein formatives Feedback im Lernprozess erhält (zur Verbesserung) und/oder eine summative Rückmeldung zu Bewertungszwecken. Grundsätzlich ist beides denkbar; formatives Feedback ist aber unabdingbar, denn sonst weiß der Teilnehmer ja gar nicht, wie gut oder schlecht er sich bereits in der Thematik auskennt. Aber wie werden solche Feedback-Prozesse konkret gestaltet?

Angeregt durch den Wettbewerb „MOOC Production Fellowship“, bei dem vom Stifterverband der Deutschen Wirtschaft und iversity ingesamt 250.000 € für die Entwicklung von zehn Kursen bereit gestellt werden, habe ich mich mal näher damit beschäftigt, wie Feedback-Prozesse in MOOCs konzeptioniert sind. In den „Guidelines“ liefern die Veranstalter des Wettbewerbs folgende Info, wie sie sich das Feedback in den MOOCs vorstellen:

Ein weiteres Schlüsselkonzept für Online-Kurse ist das direkte Feedback. Hierbei werden nach den Videos oder der Lektüre von Texten kurze Tests geschaltet, um das Verständnis der Inhalte abzufragen.

An diesem Punkt sind wir also wieder bei den Anfängen des Feedbacks im E-Learning angelangt: automatisierte Rückmeldungen; wie z.B. „knowledge of performance“ (z.B. „85 % richtig“), „knowledge of result“ („falsch“), „knowledge of correct result“ (aka Musterlösung). Ich beschäftige mich ja schon seit einigen Jahren mit Feedback – auch und gerade in E-Learning-Szenarien – und hätte ehrlich gesagt nicht erwartet, dass das Thema nochmal so auf die Agenda kommt. Aber ich muss einräumen, dass es für MOOCs ein sinnvolles Tool zum Self-Assessment Studierender ist, sofern man sich der Grenzen dieser Rückmeldungen bewusst ist. Denn im Prinzip kann dadurch nur Fakten- (und ein bisschen) Konzeptwissen überprüft werden.

Was also tun, sobald es um komplexere Wissensformen geht? Auch hier machen die Initiatoren des Wettbewerbs unter dem Stichwort „Prüfungsverfahren“ (naja… lieber wäre mir der Begriff „Assessment“) einen Vorschlag:

Peer Review: Dies ist eine Möglichkeit, wie Aufgaben, die sich nicht automatisierbar bewerten lassen – z.B. Eassys – auch bei Kursen mit tausenden von Teilnehmern durchgeführt werden können. Hierbei müssen die Kursteilnehmer z.B. jeweils fünf Arbeiten ihrer Kommilitonen lesen, nach einem Bewertungsschema beurteilen und Feedback geben. Sowohl die Arbeit als auch die Qualität des Feedbacks werden bewertet.

Und hier ist der Punkt, wo ich so ein bisschen meine Zweifel habe, dass das funktioniert. Erfahrungen aus der eigenen Lehre zeigen, dass es Studierenden sehr schwer fällt, die Qualität der Arbeit anderer zu bewerten und darauf auch noch eine angemessene schriftliche Rückmeldung (mit z.B. Verbesserungstipps) zu geben. Ehrlich gesagt ist das noch nicht mal etwas, was nur Studierende betrifft: Auch so manches Peer Review eines Zeitschriftenbeitrags wirft die Frage auf, ob da z.B. ein Beitrag gründlich gelesen wurde oder ob der Gutachter gute inhaltliche Kenntnisse zum Thema hat. Und verschärft trifft das natürlich auf MOOCs zu, wo die Teilnehmerschaft ja äußerst heterogen ist. Steven Krause gibt in seinem Blog ein Beispiel dafür, wie unterschiedlich die Qualität eines solchen Peer Reviews ausfallen kann.

Natürlich gibt es da schon einige Maßnahmen, um den Prozess des Peer Review zu unterstützen. Z.B., indem man als Lernender die Qualität des erhaltenen Feedbacks bewerten kann (wie es ja auch in den Guidelines oben steht) oder indem man möglichst genaue Vorgaben macht, wie so ein Feedback aussehen soll und diesen Prozess z.B. mit Rubrics (also Bewertungsrastern) unterstützt. Dennoch glaube ich, dass das noch kein Garant ist für eine gute Rückmeldung. Wichtig wäre es aus meiner Sicht noch, dass es auch die Möglichkeit zum Dialog über das Feedback gibt. Zu überlegen wäre auch, was passiert, wenn Teilnehmer nachweislich kein gutes Peer Review verfassen können oder wollen. Gibt es da dann ein ergänzendes Tutorial „Wie geb ich eine Rückmeldung?“ oder hat es Konsequenzen für die weitere Kursteilnahme? Außerdem sollte klar sein, was mit Fragen geschieht, die Lernende sich nicht gegenseitig beantworten können.

In irgendeiner Weise sollte es also doch auch eine Rückmeldung des Lehrteams geben – zumindest, wenn es sich nicht um ein cMOOC (wo es ja primär um den Austausch mit der Community geht), sondern um ein xMOOC handelt, welches eher der Handlungslogik traditioneller Lehrveranstaltungen folgt. In den Guidelines zum Wettbewerb ist auch hier eine Anregung vorhanden:

Der Lehrende kann überdies beispielhaft einige Arbeiten oder eine Musterlösung öffentlich besprechen und so wichtige Punkte illustrieren.

Solche Rückmeldungen im Lernprozess halte ich für einen großen Motivator. Ich kann mich noch gut an die Semi-Virtuelle-Vorlesung bei Gabi erinnern, bei der es darum ging, in Kleingruppen eine problemorientierte Aufgabe zu bearbeiten. Als Ergebnis kamen immer total engagiert gestaltete Powerpoint-Präsentationen (im Sinne von kleinen „Selbstlernmedien“) heraus. Wenn man dann in der folgenden Präsenzsitzung als „Musterbeispiel“ für eine erfolgreiche Aufgabenlösung herangezogen wurde, war dies noch einmal ein Schub für die nächste Aufgabenbearbeitung. Selbstverständlich muss ein solches Vorgehen auch unter Datenschutz-Aspekten durchdacht sein. Dennoch würde ich den Bezug zu den Lösungen der Teilnehmer als wichtiges Kriterium einer solchen Rückmeldung (z.B. in Form einer Videobotschaft) betrachten. Einfache Musterlösungen (z.B. als PDF) erfüllen inhaltlich zwar auch ihren Zweck; das Gefühl sozialer Eingebundenheit können sie allerdings nicht unterstützen.

Soweit also mal ein paar Gedanken zu Feedback in MOOCs. Total spannend fände ich hier natürlich eine empirische Studie, in der man z.B. die Qualität von Peer Reviews (via Dokumentenanalyse und Selbsteinschätzung) untersuchen könnte oder inwiefern Peer Reviews tatsächlich den Lernprozess der Teilnehmer fördern. Ich freue mich jedenfalls über Literatur- und Linktipps, falls es da schon Erkenntnisse gibt.

6 Gedanken zu “Wie gut ist das Feedback in MOOCs?

  1. Hi Silvia, ein sehr spannendes Thema, Feedback in MOOCs. Hier findet man sicher eine Reihe der Probleme wieder, die man auch in normalen Kursen hat, nur verschärft, wegen der großen Zahl der Teilnehmer. Die Frage ist, ob man MOOCs letztlich wie Kurse behandeln sollte oder ob es etwas qualitativ Neues ist, wo gerade die große Zahl zu neuen Chancen führt. Welchen Wert könnten also sehr viele Teilnehmer im Rahmen eines Feedbackprozesses (Rückkopplungsprozesses) übernehmen? Durch Kommentierungen jeglicher Art (Audio, Video, Text) und entsprechenden Visualisierungen dieser Kommentierungen glaube ich, kommt man hier einen Schritt weiter. Grüße! Frank

  2. Lieber Frank, da gebe ich dir Recht: Kommentierungen auf und in Form von Audio, Video und Text können eine ganz wichtige Rolle in Rückmeldungsprozessen einnehmen – und das nicht nur in MOOCs. Die Rolle von stärker formalisierten Rückmeldungsprozessen muss man glaube ich in Abhängigkeit vom Kontext überdenken.

    Für ausreichend halte ich rein „crowd-basiertes“ Feedback in cMOOCs (die ja auch als Prinzip den Konnektivismus zugrunde liegen haben). Sobald ein Angebot aber stärker in formalen Strukturen verankert sein soll (wie das ja glaube ich auch bei vielen Einreichungen für dieses MOOC Fellowship der Fall sein wird; Stichwort = Anerkennung in Studiengängen), reicht das nicht aus, denke ich. Da gehen einfach zu viele Schäfchen verloren. Jetzt kann man sich natürlich darüber streiten, ob das nicht egal ist in so einem MOOC, weil das „open“ sich auch darauf bezieht bzw. beziehen kann, dass es den Teilnehmern selbst überlassen ist, bei welchen Themen eines Kurses sie sich engagieren. (Da würde ich wiederum sagen: Das gilt für cMOOCs, aber nicht für xMOOCs.) Als Argument gegen so viel Unverbindlichkeit und strukturelle Offenheit würde ich allerdings auch noch in den Raum werfen wollen, dass die Selbststudiums- und Selbstorganisationsfähigkeiten von vielen Teilnehmern (gerade die, die sonst vielleicht nicht die Chance zur Teilnahme an so einer Veranstaltung hätten!) vermutlich nicht ausreichen werden, um bei einem ganz offenen MOOC tatsächlich am Ball zu bleiben….

    Und nun nochmal abschließend zu deiner Frage „Welchen Wert könnten also sehr viele Teilnehmer im Rahmen eines Feedbackprozesses übernehmen [haben]?“ Das hängt glaube ich von ganz vielen Faktoren ab: Dem Thema eines MOOCs, dem Engagement der Teilnehmer, eventuell gestellten (Arbeits-, Diskussions-) Aufgaben und eben auch von Verbindlichkeiten jeder Art (strukturell, sozial). Ein typisches Phänomen im E-Learning (aber auch im Blended Learning) ist es, dass es schwierig ist, Diskussionen, Aktivitäten in Foren und Co. „in Gang zu kriegen“. Ich wäre (positiv) überrascht, wenn hier in MOOCs die Dynamik eine andere ist. @all: Kann da wer schon von Beobachtungen und wahrgenommenen Unterschieden berichten?

  3. Hallo Silvia, ich kann deine Überlegungen nur alle unterstreichen – was freilich nicht überrascht, machen wir doch seit Jahren zusammen ähnliche Erfahrungen :-). Trotzdem möchte ich das hier noch einmal öffentlich unterstreichen: Peer-Feedback ist eine gute Idee, aber eine komplexe Aufgabe – für alle Beteiligten. Neben der kognitiven Herausforderung spielen hier auch die soziale Dynamik und emotionale Faktoren unter den Studierenden eine gewichtige Rolle. Ich sehe es aber auch so, dass man da experimentieren und das möglichst gut beobachten, also „beforschen“ sollte – nur so werden wir auch zu verschiedenen Lösungswegen können, denn nur einen einzigen wird es da sicher nicht geben.

    Zu Frank: Ja, ich kann mir auch vorstellen, dass MOOCs u.a. in Sachen Feedback zu etwas gänzlich „Neuem“ führen könnten, aber schwerlich im traditionellen Rahmen (etwa der Hochschule). Da bräuchte man also eine größere Veränderung, die auch die Rahmenbedingungen mit einbezieht – eine soziale Innovation halt ;-)

    Gabi

  4. Auf der einen Seite crowed basiertes Feedback auf der anderen Seite persönliches feedback, das ist eine Sackgasse, oder? Warum nicht mal den Idealfall annehmen, die beste (!) Lösung, dass JEDER der >1000 Teilnehmer auf seinen/ihren Beitrag eine persönliche und inhaltlich passende Rückmeldung bekommt. Geht nicht, oder?

    Ich komme deshalb drauf weil bei der bei TRIZ, einer wirklich interessanten Problemlösetechnik die beste Lösung, die Auflösung des Widerspruchs, im Zentrum steht http://de.wikipedia.org/wiki/TRIZ. „Entscheidend ist die Widerspruchsformulierung, denn eine jede (durch Optimieren nicht lösbare) hochwertige Entwicklungsaufgabe ist gewöhnlich mit einer paradoxen Forderung verknüpft: etwas muss da und dennoch nicht da, heiß und zugleich kalt, offen und dennoch geschlossen sein (konventionelle Antwort: „Das geht nicht“)“

    Das ist jetzt keine JETZT-Lösung, ich weiß. Aber man kann ja mal gemeinsam nachdenken.

    Frank

  5. Lieber Frank, durch den Einsatz von Peer-Feedback erhofft man sich ja gerade, dass jeder Teilnehmer (auf z.B. ein Essay) eine persönliche und im Idealfall inhaltlich adäquate Rückmeldung erhält. Ich finde, das ist quasi schon der Lösungsvorschlag für die Auflösung des Widerspruchs „individuelle Rückmeldung für eine große Anzahl von Teilnehmern gestalten“. Da Betreuungsleistungen nicht skalierbar sind, stoße ich leider auch mit meinen Überlegungen zur Qualitätssicherung in solchen Peer-Feedback-Prozessen an meine kreativen Grenzen. Denn im Prinzip braucht dieser Prozess (gerade bei einer sehr heterogenen Zielgruppe) noch eine Form von Supervision, aber da sind wir wieder beim Ursprungsproblem der Ressourcenknappheit angelangt.
    Deinen Vorschlag zur Problemlösetechnik finde ich aber spannend. Es ist ganz sicher so, dass man zu schnell in festgefahrenen Bahnen denkt und handelt. Eine Problemlösetechnik wie TRIZ kann da sicherlich neue Wege eröffnen. Als Anwendungsszenarien hab ich beim Wikipedia-Eintrag jetzt eher technische Innovationen gesehen. Hast du eine Idee, wie man das in diesem Kontext hier anwenden könnte?

    Silvia

  6. Ja, du hast Recht, TRIZ klingt sehr techniklastig, da kommt es ja auch her. Dennoch haben die TRIZ-Prinzipien einen so hohen Abstraktionsgrad, dass sie auch in anderen Kontexten verwendet werden können um DORT Denkbahnen aufzubrechen. Es gibt einige Fundstellen zur TRIZ in der Pädagogik/education, aber nicht als Problemlösetechnik für Probleme der Bildung selber. So bleibt nur eines: selber machen. Gern mal im Rahmen eines workshops und dann mit einem wirklich kniffligen Problem, dass man immer schon mal lösen wollte :-).
    Peer-Feedback wäre im Sinne von TRIZ keine Lösung – so wie ich das verstanden haben, denn die sog. Lösung erzeugt wieder Folgeprobleme, wie mangelnde Teilnahme, der Blinde führt den Blinden etc. TRIZ klingt an manchen stellen etwas verwegen, denen geht es in der Tat um Ideallösungen, zumindest darf, soll man sich das als Ziel stellen, keine suboptimalen Lösungen. Grüße! Frank

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Blue Captcha Image Refresh

*