1. Methode I: Evidenzbasierung
2. Methode II: Kasuistik
3. Methode III: Begriffe
4. Leistungsstandards als Bildungsstandards
5. PISA & Co.
6. „Blick über den Zaun“
7. Prüfungskompetenz als Persönlichkeitsmerkmal
Mit der Formulierung „PISA & CO.“ bezeichnet Hans Brügelmann das Problem, daß die großen nationalen und internationalen Leistungsvergleiche zum Modell für den schulischen Unterricht geworden sind: „Dass punktuelle Erhebungen mit standardisierten Instrumenten wie PISA & Co. inzwischen zum Paradigma der Evaluation von Leistungen geworden sind, stellt aus meiner Sicht das eigentliche Problem dar. Der grundsätzliche forschungsmethodische Fehler: Methoden, die für die Untersuchung von größeren Populationen() angemessen sind, eignen sich nur sehr eingeschränkt für die Evaluation von Einzelfällen wie konkreten Schulen, Lehrer/inne/n oder gar Schüler/inne/n.“ (Brügelmann 2015, S.111)
Da das Konzept von PISA mit seinen Bildungsstandards und seinem auf wenige Kernfähigkeiten wie Lesen, Schreiben und Mathematik beschränkten Spektrum entscheidend für den schulischen und beruflichen Erfolg der Schüler wird, kommt es in den Schulen zunehmend zu einem „Teaching to the Test“. (Vgl. Brügelmann 2015, S.34 und S.66)
Mit „PISA & CO“ sind auch die medialen Effekte gemeint, die mit den großen Vergleichsstudien einhergehen. Das beginnt schon mit der Erstveröffentlichung der Studienergebnisse, die nicht etwa mit einer kritischen Würdigung durch die Wissenschaft und die interessierte Öffentlichkeit einhergeht, in der die Interpretationsabhängigkeit der präsentierten Daten thematisiert wird und in der unabhängige Wissenschaftler mit alternativen Deutungen der Ergebnisse zu Wort kommen. Stattdessen haben wir es mit einer medialen Inszenierung zu tun, die unter dem „Gesetz des ersten Eindrucks“ steht. Was „erst einmal in der Welt ist“, so Brügelmann, läßt sich hinter kaum noch korrigieren. (Vgl. Brügelmann 2015, S.60) Die in Listen untereinander aufgeführten Vergleichergebnisse – ob es sich nun um Länder handelt oder um Schulen oder um Unterrichtsmethoden – erhalten den „Sinn von Ranglisten“. (Vgl. Brügelmann 2015, S.67) Die „Konzept- und Kontextabhängigkeit“ der Studienergebnisse nimmt dann niemand mehr zur Kenntnis. (Vgl. ebenda)
Die in den Vergleichsstudien erhobenen Daten erhalten ihren Sinn immer mit Bezug auf den Kontext, in dem sie erhoben werden. Das macht schon den Vergleich zwischen zwei Schulen innerhalb desselben nationalen Bildungssystems fragwürdig. Die informative Dichte des Einzelfalls, auf die es in der pädagogischen Praxis immer ankommt, geht bei so einem Vergleich unweigerlich verloren:
„Zu Recht wird kritisiert, wer glaubt, aus Einzelbeobachtungen generalisierbares Wissen ableiten zu können. Aber weniger beachtet wird der umgekehrte, mindestens gleich gewichtige Irrtum: Aus statistischem Wissen könne man Fallwissen für praktisches Handeln im Alltag direkt ableiten. Denn für Pädagogen besteht das eigentliche Problem darin, allgemeine Aussagen – seien es empirische Befunde der Forschung oder normative Vorgaben wie Lehrpläne – auf ihre jeweilige besondere Situation anzuwenden. ... Erkenntnis bewährt sich in der Anwendung auf den Einzelfall.“ (Brügelmann 2015, S.46)Seltsamerweise wird aber genau das, nämlich die Informationsdichte, für Meta-Analysen in Anspruch genommen, die nicht auf eigenen, selbsterhobenen Daten beruhen, sondern auf den Daten empirischer Studien. Angeblich ‚verdichten‘ sie den zur Verfügung stehenden Datenbestand. Tatsächlich dürfen ‚Daten‘ aber nicht mit ‚Informationen‘ gleichgesetzt werden. Die Menge der Daten bezieht sich immer nur auf eine begrenzte Auswahl von Merkmalen, so daß auch hunderte von Studien nur wenige Informationen über die tatsächliche pädagogische Praxis bieten. Darüber hinaus werden die in den konkreten Studien dekontextualisiert vorliegenden Daten in den Meta-Analysen noch weiter dekontextualisiert: „Differenzen zwischen Studien und zwischen zusammenfassenden Meta-Analysen verschiedener Studien verschwinden in den Mittelwerten() höherer Ordnung – und damit auch die Gründe für diese Unterschiede.“ (Brügelmann 2015, S.45)
Wir haben es mit einer weiteren Schraubendrehung in der Abstraktion zu tun, so daß man eher von ‚Dichtung‘ als von ‚Verdichtung‘ sprechen könnte. Das gilt erst recht von Meta-Meta-Analysen wie der von Hattie („Visible Learning“ von John Hattie (2013/2009)), die wiederum die Daten von hunderten von Meta-Analysen in einer übergreifenden Studie zusammenfaßt und auswertet:
„Hatties Zusammenschau wird auch in Deutschland immer häufiger zitiert, um bestimmte Methoden oder Ansätze als mehr oder weniger sinnvoll zu bewerten – in der Wissenschaft wie auch in der öffentlichen Diskussion. Denn Hattie ist noch einen Schritt weitergegangen als die Kollegen vor ihm: Er hat die Werte aus über 800 Meta-Analysen zum Schulerfolg auf einer noch höheren Ebene in einer Meta-Meta-Analyse weiter verdichtet und findet in der Tat einige beeindruckende Zusammenhänge.“ (Brügelmann 2015, S.65)Kontextbedingungen gelten in dieser Meta-Meta-Analyse nur noch als „forschungsmethodische ‚Schmutzeffekte‘“. (Vgl. Brügelmann 2015, S.45) Diese Entwicklung hin zu einer zunehmenden Dekontextualisierung individueller Leistungen auf Seiten von Schülern, Lehrern und Schulen ist gemeint, wenn Brügelmann von „PISA & CO.“ spricht: „Insofern ist Standardisierung für viele zum generellen Paradigma der Evaluation von Unterricht und individuellen Lernprozessen geworden. Wenn von PISA & CO. gesprochen wird, ist diese Modellwirkung gemeint ... .“ (Brügelmann 2015, S.79)
Die Präsentationspraxis von nationalen und internationalen Vergleichsstudien muß deshalb, so Brügelmann, geändert werden. Die über die Vergleichsstudien suggerierte „scheinbare Expertenautorität“ (Brügelmann 2015, S.36) muß relativiert werden, indem etwa die Erhebung und Auswertung der Daten personell voneinander getrennt werden und indem zugleich mit den Ergebnissen auch „alternative Interpretationen“ (ebenda) der Daten veröffentlicht werden: „Innerhalb einer Studie kann man z.B. die Verantwortung für die Erhebung und die Auswertung von Informationen trennen. Bei der Publikation von Befunden können unterschiedliche Interpretationen nebeneinandergestellt werden. Bisher bleiben solche Differenzen oft verborgen – etwa bei dem anonymen ‚Peer-Review‘ vor der Veröffentlichung von Studien.“ (Brügelmann 2015, S.61)
Brügelmanns wichtigste Forderung scheint mir allerdings darin zu bestehen, daß die in Form von Ranglisten zusammengefaßten Ergebnisse von Vergleichsstudien nicht mehr mit der Qualität von Schule und Unterricht gleichgesetzt werden dürfen: „PISA & CO. dürfen nicht mehr über die Lese- und Mathematikleistung oder gar die Lesekompetenz der deutschen Schüler/innen urteilen – geschweige denn so tun, als ob sie mit ihrer Sondierung ausgewählter Wirkungsausschnitte die Qualität des vorhergegangenen Unterrichts oder gar den individuellen Lernstand einzelner Schüler/innen erfassen könnten.“ (Brügelmann 2015, S.83)
Download
Keine Kommentare:
Kommentar veröffentlichen