Bestefar får lett blandede vibber hver gang nasjonale prøver eller andre standardiserte kunnskapsprøver er på tapetet, som PISA eller TIMMS. Det skjer jo jevnlig, med publisering av skoleresultater, pressens rangering av «den beste skolen» og påfølgende uetterettelige årsak – virknings- analyser om fram- og tilbakeganger. Og ikke minst tvilsomme politiske skyld- eller fortjenestevurderinger, med krav om umiddelbare tiltak.
Innimellom kommer også en konsulent eller forskningsrapport. Nå fra NIFU.

Utdanningsbransjen var på et vis bestefars område i mange år. Hadde bl.a. ansvar for deler av evalueringen av store skolereformer både i videregående skole og grunnskole rundt århundreskiftet. Under evalueringen av L97 var testomfanget i sterk utvikling. Noe vi så litt nærmere på.
Vi oppdaget store mangler ved testene. Eksempelvis ble snittresultatene fra en navngitt skole (representert ved en enkelt klasse ) presentert offentlig som langt under kritisk grense for leseferdigheter. Med oppslag om utdanningskrise!
Vi fikk anledning til å gjennomgå prøvene detaljert (og de var riktig gjennomført). Nærmere undersøkelser viste en skole (klasse) med leseferdigheter godt over gjennomsnittet. Slett ikke under kritisk grense. Vi oppdaget prinsipielle svakheter både ved måten testene ble forutsatt gjennomført og vurdert på, og ikke minst feil i måten de ble offentliggjort på. Vi fant 7-8 åringer som leste fremmed tekst flytende, men var vurdert til å være svært lesesvake slik vurderingskriteriene for testen var lagt opp. Sammenhengene mellom faktiske ferdigheter og rapportert testresultat var tvilsom, som mellom testresultater og offentliggjort gjennomsnitt. Som kvalitetsmål holdt ikke prøvene. De kunne skape usikkerhet, dårlig motivasjon – og være direkte misvisende.

Vi syntes det var oppsiktsvekkende den gang. Det var det ingen andre som syntes. Vi tok kontakt med skolesjefen i Oslo og utdanningsministeren, Søgnen og Clemet. Mente at sånn kunne man ikke ha det. Mente at dette var viktig akkurat nå – som nye vurderingssystemer, NoU er og forskrifter var underveis! Søgnen var utvalgsleder for arbeidet. De var vennlig uinteressert. Vi forsøkte å informere pressen, som ikke var interessert. Vi forsøkte opposisjonen, dengang AP og SV, som heller ikke reagerte.
Vi fikk annet å stelle med, men har fulgt sporadisk med i hvordan utviklingen av testomfang og oppslag har vært i løpet av de ti åra som har gått. Testene vi undersøkte var helst forløper for Nasjonale prøver som kom i fullt omfang 4-5 år seinere.
Det umiddelbare inntrykket fra NIFU sin ferske rapport om Nasjonale prøver er at det kanskje ikke er så mye som er forandret lell. Vi følger NRK – lenken:

Overskriften som lyser er at «Nasjonale prøver kan skape usikkerhet og dårlig motivasjon.»
Det som er sitert, viser forskernes forsiktige påvisning av at skolelederne er mer fornøyd enn lærerne. Kritikken er forsiktig formulert, men er tydelig i NRK – versjonen:

En overskrift er: «Kan være misvisende»:
NIFU mener imidlertid at prøvene ikke holder som kvalitetsmål i skolen, ettersom prøveresultatene blir forenklet fra faktiske resultater til gjennomsnittlige mestringsnivåer. Disse gjennomsnittsverdiene tar ikke høyde for variasjonen innenfor mestringsnivåene, og kan være direkte misvisende sammenliknet med faktiske prøveresultater» heter det i rapporten.
«Den nytten de største skolene og kommunene kan ha av disse resultatene står ikke i forhold til den potensielle faren for å legge for stor vekt på usikre resultater som vil gjelde for det store flertallet av skoler og kommuner», heter det. http://www.nrk.no/nyheter/norge/1.10996604

Det likner jo litt på det bestefar fant for ti år tilbake. Om enn forsiktig formulert, synes det mye å ta tak i. Av prinsipiell karakter. Kanskje er det mer interessant nå?

Eller kanskje ikke? Utdanningsdirektoratet formidler også undersøkelsen på sine nettsider og på twitter. De har vel ansvar for opplegg, gjennomføring og formidling av testene. Ved å følge denne lenken finner man tilsynelatende en helt annen undersøkelse.
Her finner man at skolelederne mener de nasjonale prøvene har gitt dem et godt redskap til å utvikle skolen. Lærerne mener andre prøver er bedre egnet til å gi tilbakemeldinger til elevene. Det løftes fram god kommunikasjon og gjennomføring av prøvene.God informasjonsflyt mellom direktorat, skoleeier og skoler. Fornøyde foreldre. At testene gjennomføres i tråd med intensjonene. At aktiv bruk gir mer relevans. Her ser alt ut til å være fryd og gammen. Det ser sannelig ikke ut til å være mye å ta tak i. http://www.udir.no/Tilstand/Forskning/Forskningsrapporter/NIFU/Slik-bruker-skolene-nasjonale-prover/

Så hvilken framlegging skal man velge? Bestefar tror ikke han tar bryderiet med å lese hele rapporten. Det er jo også Utdanningsdirektoratet som har bestilt rapporten. De har nok lagt føringer i bestillingen. NIFU har vel utført oppdraget så godt som mulig i balansen mellom bestilling/oppdrag og forskningsintegritet. Det mest oppsiktsvekkende er kanskje at såvidt mange kritiske bemerkninger synes å ligge der. Direktoratets tolkning blir vel den offisielle. De (og politikerene) bruker den nok som de ville og hadde tenkt. Som ledd i «virksomhetsplanleggingen.»
«Bestiller-utfører» modellen er rådende både i bestilling av forskningsrapporter og resultattester i skolen. Som i helsevesenet. Som allment i et salgsmarked for omsetning av varer og tjenester.

I en artikkel fra 1996 (Sosiologi i dag nr.2) ser Sørensen og Grimsmo på konflikter i Arbeidslivet. De peker på paradoksale sider ved kvalitetssikringssystemene og virksomhetsplanlegging som er under utvikling. (Som vi idag bla. kjenner som NPM og bestiller/utfører – modell). De peker på detaljerte byråkratiske opplegg for virksomhetsplanlegging som ikke tar skikkelig høyde for variasjoner og faktisk faglig innhold i arbeidsprosesser.
Systemer som ideelt sett skulle sikre best mulig resultat. Paradoksene ligger i frustrasjonen mange ansatte opplever ved stadige resultatmålinger, mangeartede sjekklister osv. Utvikling av «garderings- kultur» prosedyreinnretning med manglende mulighet til faglig forståelse av sammenhenger og håndtering av avvik. Der en konsekvens kan bli opplevelse av manglende tillit.
Eller som en arbeidstaker sa den gangen, sitert i artikkelen: «Denne måten å tenke på har vært faglig fornærmelse satt i system. (Vi kan nesten se et forvarsel av protesten fra helsearbeiderne som kom for litt siden)
Det var den gang. For snart 20 år siden. Siden har det visst bare fortsatt? Business as usual.