Schlagwort-Archive: Feedback

Feedback an Hochschulen 2007 und 2012

Veröffentlicht am von
1

Durch Gabis amüsanten Beitrag über „Dackel, Pudel und Hunde“ bin ich auf den Studienqualitätsmonitor 2012 des HIS-Instituts für Hochschulforschung aufmerksam geworden. Beim Durch“blättern“ bin ich auf den Abschnitt „Qualität der Betreuung durch Lehrende“ gestoßen. Dort heißt es auf Seite 14 zum Thema Feedback:

Einen zentralen Bestandteil von Betreuungsqualität stellen Rückmeldungen/ Feedback zu den Studienleistungen dar. Nur jede(r) zweite Studierende an einer Fachhochschule im Bundesgebiet (50 %) und 45 % der Studierenden an einer Universität bewerten allerdings die Rückmeldungen/ das Feedback der Lehrenden zu Hausarbeiten, Klausuren und Übungen positiv.

Noch interessanter als diese Momentaufnahme finde ich eigentlich die Frage: Wie kann man diesen Wert im Vergleich mit den Vorjahren bewerten? In dem Moment hatte ich ein Déjà-vu: Für meine Masterarbeit hatte ich damals bereits den Studienqualitätsmonitor 2007 für die Relevanbegründung herangezogen. In diesem (übrigens wesentlich umfangreicheren) Bericht wird nicht nur zwischen Fachhochschulen und Universitäten, sondern auch noch zwischen Professoren und anderen Lehrenden als Feedback-Geber unterschieden (S. 35):
Quelle: Bargel, T.; Müßig-Trapp, P. & Willige, J. (2008). Studienqualitätsmonitor 2007. HIS-Institut für Hochschulforschung. Hannover.

Quelle: Bargel, T.; Müßig-Trapp, P. & Willige, J. (2008). Studienqualitätsmonitor 2007. HIS-Institut für Hochschulforschung. Hannover.

Das macht den Vergleich natürlich etwas schwieriger. Tendenziell lässt sich aber festhalten, dass sich die Zufriedenheit der Studierenden mit den Rückmeldungen ein kleines bisschen verbessert hat. Aber immer noch kann „Feedback“ als eine der größten Baustellen in Sachen Lehrqualität bezeichnet werden. Im Bericht von 2007 wird das auch nachdrücklich kritisiert (S. 36):

Wenn über unzureichende Rückmeldungen und Feedbacks ein gutes Viertel bis über die Hälfte der Studierenden klagen, dann besteht darin ein gravierendes Manko der Studienqualität an den Hochschulen, besonders an den Universitäten. Das Ausbleiben solcher Information und Orientierung lässt die Studierenden allzu sehr in Unklarheit über ihren Leistungsstand und ihr Leistungsvermögen; dadurch wird ihre Motivation und Lernstrategie beeinträchtigt, der sukzessive Studienfortgang und die Lernfortschritte werden behindert.

Aber das ist natürlich nur eine Seite der Medaille. Aus eigener Erfahrung – und in der Literatur wird es auch zunehmend betont – hapert es zudem häufig an der Rezeption, Reflexion und ggf. Nutzung des Feedbacks seitens der Studierenden. Feedback zu geben ist also allenfalls notwendig, aber nicht hinreichend, um tatsächlich die Prozesse in Gang zu setzen, die man mit dem Feedback anstrebt.

Tja, aber warum beschäftigt mich das überhaupt so? Ziel meiner Diss ist ja die Entwicklung eines Qualifzierungsprogramms für Hochschullehrende, das genau da ansetzt: Lehrende darin zu unterstützen, eine Feedback-Strategie für Ihre Veranstaltung(en) zu entwickeln, die beide Seiten der Medaille im Blick hat. Welche Feedback-Inhalte und -Formen sind angesichts von Veranstaltungstypus, Lehrzielen, Assessment-Form, Anzahl der Studierenden etc. angezeigt? Und: Wie können Studierende stärker in diesen Prozess involviert werden und langfristig ihre Fähigkeiten zur Selbstregulation ausbauen? Es geht mir kurz gesagt um nachhaltiges Feedback (siehe: „Developing Suistainable Feedback Practices“; Carless, Salter, Yang & Lam, 2010). Dieses hat nicht nur das Ziel, Lob, Kritik und Verbesserungsmöglichkeiten im Hinblick auf eine bestimmte Aufgabenstellung an den Lernenden zu kommunizieren; sondern mit dem Lernenden über Lernziele, Lernprozesse, Aufgaben, Bewertungskriterien, uvm. in den Dialog zu treten und ihn im Feedback-Prozess in eine aktive Rolle zu versetzen. Feedback ist hier also ein integraler Bestandteil des gesamten didaktischen Konzepts und nicht nur ein „Add-On“.

Die Entwicklung dieses hochschuldidaktischen Angebots ist anspruchsvoller, als ich es zunächst eingeschätzt hatte. Bei meinen den Entwicklungsprozess begleitenden Erprobungen in der Praxis fällt mir immer wieder auf, dass das Thema (insbesondere in Verbindung mit dem Stichwort „Assessment“) für viele Teilnehmer Neuland ist. Seit dem Studienqualitätsmonitor von 2007 scheint sich in dieser Hinsicht nichts verändert zu haben (S. 36):
In diesem Ausbleiben konkreter Leistungsrückmeldungen und eines allgemeinem Feedbacks zum Lernfortschritt kann auch ein Versäumnis der Hochschuldidaktik gesehen werden, die sich offenbar bislang wenig mit dieser Problematik befasst hat.

Drückt mir die Daumen, dass ich daran etwas ändern kann.

Rückblick: 3. Tag für die exzellente Lehre an der FH Köln

Veröffentlicht am von
3

Vor drei Wochen  – genauer am 7. Juni – war ich eingeladen, am 3. Tag für die exzellente Lehre an der FH Köln einen Workshop zu gestalten. Einen Themenvorschlag vom ortsansässigen Kompetenzteam Hochschuldidaktik gab’s gleich dazu: „Lernerfolg durch Feedback. E-Portfolios mit tutoriellem Feedback ergänzen“. Außerdem hatte ich mit Susanne Gotzen von der FH Köln sozusagen einen „Workshop-Buddy“. Sie hat mich tatkräfig bei der Vorbereitung und Durchführung des Workshops unterstützt. Wir entschlossen uns, in dem Workshop mit den TeilnehmerInnen zwei Fragen zu be- und erarbeiten:

  1. Welche(n) Zweck(e) kann Feedback auf E-Portfolio-Arbeit erfüllen und was sind jeweils Gestaltungselemente zur Erreichung dieses Zwecks?
  2. Wie kann man als Lehrender abhängig von der Zielsetzung der E-Portfolio-Arbeit und den Rahmenbedingungen in einer Veranstaltung zu einer Entscheidung kommen, ob Peer-Feedback, tutorielles Feedback oder Dozenten-Feedback angezeigt ist?

Beim Workshop selber bemerkten wir allerdings, dass wir zu voraussetzungsreich dachten: Der Großteil der Teilnehmer hatte noch keine Vorkenntnisse in Sachen E-Portfolio-Arbeit – obwohl der Workshop in der Ankündigung keine Einführung in eben diese versprach. So entfiel mehr Zeit als eingeplant darauf, zu erklären, was E-Portfolio-Arbeit sein kann und unser großer letzter Block „Wie bereite ich Peers/Tutoren auf das Feedback-Geben vor?“ fiel damit leider quasi aus. Zum Glück hatten wir umfangreiche Handouts vorbereitet.

Ich hoffe, dass der Workshop für die Teilnehmer dennoch interessant und lehrreich war. Für mich war er das auf alle Fälle: Zum einen hab ich (mal wieder) erfahren, wie herausfordernd es ist, eine Veranstaltung zielgruppenadäquat zu gestalten. Zum anderen – und das ist der wichtigste Nutzen für mich persönlich – hatte ich beim Workshop die Gelegenheit, ein paar der digitalen „Werkzeuge“ zu testen (und mit einem Fragebogen zu evaluieren), die im Rahmen meiner Diss entstehen. In meinem Diss-Projekt mit dem Arbeitstitel „Feedbacks geben und deren Rezeption unterstützten“ entwickele ich ja ein mediengestütztes Qualifzierungsprogramm für Hochschullehrende, das diese darin unterstützen soll, für die eigene Lehrveranstaltung Feedback-Strategien zu entwickeln, die auch tatsächlich zum eingesetzten (formativen und/oder summativen) Assessment passen. Neben einem papierbasierten Prototypen für einen „Entscheidungsbaum“ zum Feedback beim Einsatz von E-Portfolios (in Großgruppen) habe ich auch einen von mir mit dem Tool PowToon erstellten Trailer getestet:

Mit eben solchen kurzen Trailern werde ich in meinem (Selbst-) Lernangebot jeweils in ein Szenario einführen, um in Anschluss daran aufzuzeigen, anhand welcher Dimensionen man als Lehrender zu einer Entscheidung gelangen kann, welche Form von Feedback Sinn macht. Auf einer weiteren Ebene dahinter liegen dann konkrete Materialien und Vorlagen, die für die individuelle Gestaltung des Feedback-Prozesses genutzt werden können. Neben dem Baustein „Feedbacks geben“ widmet sich das Qualifizierungsangebot übrigens auch der Frage, unter welchen Rahmenbedingungen und mit welchen Unterstützungsmaßnahmen es wahrscheinlich wird, dass die Studierenden das Feedback auch tatsächlich nutzen.

Übrigens: Der Trailer wurde von den Workshop-Teilnehmern sehr positiv bewertet. Schwierigkeiten gibt es bislang mit dem Entscheidungsbaum. Zum einen liegt das sicherlich daran, dass dieser im Workshop nur papierbasiert zum Einsatz kam (er soll eigentlich interaktiv sein), aber auch daran, das nicht genug Zeit zur Einführung in die Handhabung des Tools übrig blieb.

Ich verzichte an dieser Stelle darauf, Informationen zum 3. Tag für die exzellente Lehre an sich zu tun, denn da ist die FH Köln selber aktiv – ebenfalls mit einem Blog. Im Laufe der nächsten Wochen werden dort stets neue Informationen rund um die gehaltenen Vorträge und durchgeführten Workshops eingestellt. Ich finde, das ist eine gute Idee, und freue mich schon auf die Rückschau auf meinen Workshop, die am 22. online gehen soll.

P.S.: Wer von den Mitlesenden selber in der Hochschullehre aktiv ist und Interesse hat, bei der nächsten Evaluationsrunde einen Blick auf die entstehenden Tools und Werkzeuge zu werfen, ist herzlich eingeladen, sich hier im Blog oder per E-Mail bei mir zu melden!

Wie gut ist das Feedback in MOOCs?

Veröffentlicht am von
6

MOOCs sind ja jetzt schon eine ganze Zeit in aller Munde; quasi DER aktuelle Trend im E-Learning. Die Vorteile und Chancen sind nicht von der Hand zu weisen; aber bisherige Erfahrungen zeigen auch die Fallstricke bei der Entwicklung und Umsetzung von MOOCs (Qualität, „Vorlesungsaufzeichnungen“, Drop-Out, was heißt „open“?,…).

Ein Thema, das mich besonders beschäftigt, ist die Qualität des Feedbacks in MOOCs. Wie kann man auch für große Teilnehmerzahlen Rückmeldungsprozesse gestalten, die tatsächlich lernförderlich sind? Zu unterscheiden ist dabei zunächst, ob der Lernende ein formatives Feedback im Lernprozess erhält (zur Verbesserung) und/oder eine summative Rückmeldung zu Bewertungszwecken. Grundsätzlich ist beides denkbar; formatives Feedback ist aber unabdingbar, denn sonst weiß der Teilnehmer ja gar nicht, wie gut oder schlecht er sich bereits in der Thematik auskennt. Aber wie werden solche Feedback-Prozesse konkret gestaltet?

Angeregt durch den Wettbewerb „MOOC Production Fellowship“, bei dem vom Stifterverband der Deutschen Wirtschaft und iversity ingesamt 250.000 € für die Entwicklung von zehn Kursen bereit gestellt werden, habe ich mich mal näher damit beschäftigt, wie Feedback-Prozesse in MOOCs konzeptioniert sind. In den „Guidelines“ liefern die Veranstalter des Wettbewerbs folgende Info, wie sie sich das Feedback in den MOOCs vorstellen:

Ein weiteres Schlüsselkonzept für Online-Kurse ist das direkte Feedback. Hierbei werden nach den Videos oder der Lektüre von Texten kurze Tests geschaltet, um das Verständnis der Inhalte abzufragen.

An diesem Punkt sind wir also wieder bei den Anfängen des Feedbacks im E-Learning angelangt: automatisierte Rückmeldungen; wie z.B. „knowledge of performance“ (z.B. „85 % richtig“), „knowledge of result“ („falsch“), „knowledge of correct result“ (aka Musterlösung). Ich beschäftige mich ja schon seit einigen Jahren mit Feedback – auch und gerade in E-Learning-Szenarien – und hätte ehrlich gesagt nicht erwartet, dass das Thema nochmal so auf die Agenda kommt. Aber ich muss einräumen, dass es für MOOCs ein sinnvolles Tool zum Self-Assessment Studierender ist, sofern man sich der Grenzen dieser Rückmeldungen bewusst ist. Denn im Prinzip kann dadurch nur Fakten- (und ein bisschen) Konzeptwissen überprüft werden.

Was also tun, sobald es um komplexere Wissensformen geht? Auch hier machen die Initiatoren des Wettbewerbs unter dem Stichwort „Prüfungsverfahren“ (naja… lieber wäre mir der Begriff „Assessment“) einen Vorschlag:

Peer Review: Dies ist eine Möglichkeit, wie Aufgaben, die sich nicht automatisierbar bewerten lassen – z.B. Eassys – auch bei Kursen mit tausenden von Teilnehmern durchgeführt werden können. Hierbei müssen die Kursteilnehmer z.B. jeweils fünf Arbeiten ihrer Kommilitonen lesen, nach einem Bewertungsschema beurteilen und Feedback geben. Sowohl die Arbeit als auch die Qualität des Feedbacks werden bewertet.

Und hier ist der Punkt, wo ich so ein bisschen meine Zweifel habe, dass das funktioniert. Erfahrungen aus der eigenen Lehre zeigen, dass es Studierenden sehr schwer fällt, die Qualität der Arbeit anderer zu bewerten und darauf auch noch eine angemessene schriftliche Rückmeldung (mit z.B. Verbesserungstipps) zu geben. Ehrlich gesagt ist das noch nicht mal etwas, was nur Studierende betrifft: Auch so manches Peer Review eines Zeitschriftenbeitrags wirft die Frage auf, ob da z.B. ein Beitrag gründlich gelesen wurde oder ob der Gutachter gute inhaltliche Kenntnisse zum Thema hat. Und verschärft trifft das natürlich auf MOOCs zu, wo die Teilnehmerschaft ja äußerst heterogen ist. Steven Krause gibt in seinem Blog ein Beispiel dafür, wie unterschiedlich die Qualität eines solchen Peer Reviews ausfallen kann.

Natürlich gibt es da schon einige Maßnahmen, um den Prozess des Peer Review zu unterstützen. Z.B., indem man als Lernender die Qualität des erhaltenen Feedbacks bewerten kann (wie es ja auch in den Guidelines oben steht) oder indem man möglichst genaue Vorgaben macht, wie so ein Feedback aussehen soll und diesen Prozess z.B. mit Rubrics (also Bewertungsrastern) unterstützt. Dennoch glaube ich, dass das noch kein Garant ist für eine gute Rückmeldung. Wichtig wäre es aus meiner Sicht noch, dass es auch die Möglichkeit zum Dialog über das Feedback gibt. Zu überlegen wäre auch, was passiert, wenn Teilnehmer nachweislich kein gutes Peer Review verfassen können oder wollen. Gibt es da dann ein ergänzendes Tutorial „Wie geb ich eine Rückmeldung?“ oder hat es Konsequenzen für die weitere Kursteilnahme? Außerdem sollte klar sein, was mit Fragen geschieht, die Lernende sich nicht gegenseitig beantworten können.

In irgendeiner Weise sollte es also doch auch eine Rückmeldung des Lehrteams geben – zumindest, wenn es sich nicht um ein cMOOC (wo es ja primär um den Austausch mit der Community geht), sondern um ein xMOOC handelt, welches eher der Handlungslogik traditioneller Lehrveranstaltungen folgt. In den Guidelines zum Wettbewerb ist auch hier eine Anregung vorhanden:

Der Lehrende kann überdies beispielhaft einige Arbeiten oder eine Musterlösung öffentlich besprechen und so wichtige Punkte illustrieren.

Solche Rückmeldungen im Lernprozess halte ich für einen großen Motivator. Ich kann mich noch gut an die Semi-Virtuelle-Vorlesung bei Gabi erinnern, bei der es darum ging, in Kleingruppen eine problemorientierte Aufgabe zu bearbeiten. Als Ergebnis kamen immer total engagiert gestaltete Powerpoint-Präsentationen (im Sinne von kleinen „Selbstlernmedien“) heraus. Wenn man dann in der folgenden Präsenzsitzung als „Musterbeispiel“ für eine erfolgreiche Aufgabenlösung herangezogen wurde, war dies noch einmal ein Schub für die nächste Aufgabenbearbeitung. Selbstverständlich muss ein solches Vorgehen auch unter Datenschutz-Aspekten durchdacht sein. Dennoch würde ich den Bezug zu den Lösungen der Teilnehmer als wichtiges Kriterium einer solchen Rückmeldung (z.B. in Form einer Videobotschaft) betrachten. Einfache Musterlösungen (z.B. als PDF) erfüllen inhaltlich zwar auch ihren Zweck; das Gefühl sozialer Eingebundenheit können sie allerdings nicht unterstützen.

Soweit also mal ein paar Gedanken zu Feedback in MOOCs. Total spannend fände ich hier natürlich eine empirische Studie, in der man z.B. die Qualität von Peer Reviews (via Dokumentenanalyse und Selbsteinschätzung) untersuchen könnte oder inwiefern Peer Reviews tatsächlich den Lernprozess der Teilnehmer fördern. Ich freue mich jedenfalls über Literatur- und Linktipps, falls es da schon Erkenntnisse gibt.