Evaluering

Der gennemføres en evaluering af NAFA-programmet, som skal tjene flere formål.

1. Der skal i tæt dialog med styregruppe og programledelse tilvejebringes systematisk viden om progressio­nen undervejs i programmet med henblik på programintern læring og kvalitetssikring. Det sker bl.a. i form af en midtvejsevaluering.
2. Der gennemføres en slute­valuering, som med afsæt i NAFAs mål dokumenterer, vurderer og forklarer resultaterne af programmet (accountability). Denne del indebærer både en kritisk-refleksiv granskning af programmets organisering og processer (efficiency, relevans og kohærens) samt en redegørelse for og vurdering af, hvorvidt programmet opfylder målsætningerne (impact og effective­ness).
3. Det er et væsentligt selv­stændigt formål at tydeliggøre NAFAs bidrag til det samlede vidensgrundlag for naturfagsunder­visning i Danmark, såvel som de praksisændringer, NAFA har givet anledning til. Slutevalueringen skal derfor også have fokus på ansatser til blivende, langsigtede virkninger ud over programperioden såvel som på vidensbidrag med afsmittende betydning for naturfaglig undervis­ningspraksis på læreruddannelsen og i grundskolerne (sustainability og transferability).

Intern evaluering 2023

Årlig evaluering af NAFA fra intern evaluator
NAFA gennemfører en årlig evaluering ved en intern evaluator for at vurdere, hvor godt planerne for fremdriften i projektet bliver fulgt for de tre indsatser og for samarbejdet imellem dem. Årsrapporten fra intern evaluator bliver anvendt af såvel programledelsen som udviklingsgrupperne for de tre indsatsområder til udvikling og læring. Dette sker både i forbindelse årsrapporten som løbende i programaktiviteterne.

Resume af Årlig Opsamling – Rapport fra Intern Evaluator
Denne årlige opsamling fra Intern Evaluering af NAFA gælder for udviklingen fra december 2022 til december 2023. Opsamlingen vedrører de tre indsatser: Læreruddanner Indsats, Skole Indsats og CESE- forskningsindsats, samt det tværgående samspil i NAFA-programmet. Aktiviteterne i de tre indsatser, sammenholdes med GANTT skema, mål i forandringsteori, statusdokumenter og indsamlet data fra Intern Evaluering. Hovedresultaterne for indsatserne er:

Læreruddanner indsats (LU-indsats): LU-indsatsen er i 2023 gennemført som planlagt jf. GANTT. Intern Evaluering kan på baggrund af indsamlet data konkludere, at både lokale PLF1 og nationale PLF2 har gennemført en målrettet indsats for at gennemføre aktiviteter, der medvirker til at opnå mål i forandringsteorien for NAFA. Resultaterne indikerer at ’NAFA virker’ i kraft af tildelte ressourcer og de tilrettelagte processer for udviklingsarbejdet, herunder deltagelse i synergiprojekter. Det giver deltagerne mulighed for fordybelse, udvikling, gennemførelse og formativ evaluering af egen indsats. Generelt er delmål i forhold til udvikling og afprøvning af didaktiske modeller opnået. Alle professionshøjskoler har i løbet af 2023 afprøvet involvering af studerende i planlægning af undervisning og gennemførelse af undervisning for skoleelever. Involvering af de studerende i naturfagsundervisningen har på flere læreruddannelser bidraget til styrket praksiserfaring blandt de studerende. Desuden har der været en positiv udvikling i samarbejdet både med CESE følgeforskning og strategisk forskning. Den formative tilbagemelding fra Intern Evaluering anbefaler fortsat LU-indsats at styrke samarbejdet med CESE-forskere med henblik på både den enkelte indsats og den tværgående videns produktion i NAFA.

Indsats i skolen (Skole-indsats): Skole-indsatsen har været gennemført som planlagt jf. GANTT. År 2023 er det første år, hvor skoleindsatsen har gennemført aktiviteter i alle regioner. Aktivitetsniveauet har været højt i kraft af at NAFA-koordinatorerne har samlet deltagere fra kommuner, skoler og lokal EVU om lokale aktiviteter på skolerne. Den anvendte ’designnøgle’ for indsatsen, som udviklingsgruppen har udviklet, har givet skole-deltagerne den nødvendige fleksibilitet samtidig med at der har været et fælles afsæt. Den formative tilbagemelding fra Intern Evaluering inddrager data fra de nye komplekse ’naturfagslandskaber’, der emergerer fra de enkelte regioner i 2023. Der er indikationer på regionale variationer i forhold til, hvordan indsatsen er organiseret og dermed er der en vis sandsynlighed for at outcome og output også vil være præget af variation. Det kan være nyttigt at overveje om denne diversitet fremmer eller hæmmer opnåelse af de opsatte mål for Skole-indsatsen, herunder målet om skalerbarhed og bæredygtighed. I 2023 har 73 skoler deltaget og flere skoler forventes at deltage i 2024, hvilket giver mulighed for at integrere de opdaterede kvantitative og kvalitative mål for Skole-indsatsen.

Forskningsindsats (CESE-indsats): CESE-indsatsen har været gennemført som planlagt jf. GANTT. År 2023 har været præget af stor aktivitet både med forlængelse af følgeforskningsprojekter og opstart af flere strategiske forskningsprojekter. Generelt giver CESE indsatsen i 2023 indtryk af et målrettet arbejde med udvikling af forskningsprojekter, ny strategi og etablering af forskernetværk med formidlingsaktiviteter. En indsats, der har bevirket etablering af CESE Videns Center og netværk blandt projektlederne. Desuden har de regionale synergiprojekter givet vigtige erfaringer med tværgående aktiviteter. Den formative

tilbagemelding fra Intern Evaluering anbefaler at styrke den tværgående videndeling i CESE omkring forskningsmetoder og validering af stærke designs for dataindsamling i NAFA-projektet.

Den tværgående indsats: Der er også i 2023 indikationer på, at deltagerne i NAFA generelt har opnået et højere niveau af kompetencer inden for naturfagsdidaktisk praksis og at virkningskæderne således begynder at fungere. Dermed bidrager den tværgående indsats til det ønskede impact af NAFA – både på kort og langt sigt. De gennemførte synergiprojekter har bidraget med eksempler på, hvordan man lokalt og regionalt kan integrere de tre indsatser i NAFA.

Baseret på Årlig opsamling fra perioden oktober 2022 til december 2023 så vurderer Intern Evaluator, at NAFA som organisation er velfungerende og nu er kommet godt i gang med alle indsatser.

Spørgsmål vedrørende Årlig Opsamling kan sendes til Dorte Ruge, nafa-eval@ucl.dk

Intern evaluering 2022

Årlig evaluering af NAFA fra intern evaluator
NAFA gennemfører en årlig evaluering ved en intern evaluator for at vurdere, hvor godt planerne for fremdriften i projektet bliver fulgt for de tre indsatser og for samarbejdet imellem dem. Årsrapporten fra intern evaluator bliver anvendt af såvel programledelsen som udviklingsgrupperne for de tre indsatsområder til udvikling og læring. Dette sker både i forbindelse årsrapporten som løbende i programaktiviteterne.
I november 2022 kom evalueringen for 2022, som dækker aktiviteten i NAFA i perioden fra januar til oktober.
Evaluator konkluderer, at NAFA som organisation overordnet er velfungerende og er kommet godt fra start. Nedenfor opsummeres konklusionerne fra årsrapporten. 

Indsats på læreruddannelsen
Evaluator konkluderer, at indsatsen på læreruddannelsen i 2022 er gennemført som planlagt. 
Evaluator konkluderer, at både lokale og nationale professionelle læringsfællesskaber, PLF’er, er etableret og har arbejdet målrettet med de planlagte aktiviteter. Det gælder bl.a. udvikling og afprøvning af didaktiske modeller. 
Evaluator noterer, at flere professionshøjskoler har afprøvet involvering af studerende i planlægning af undervisning og gennemførelse af undervisning for skoleelever, men det er for tidligt at konkludere, hvorvidt det har bidraget til styrket praksiserfaring blandt de studerende. 
Evaluator anbefaler:

• et styrket samarbejde mellem Indsatsen på læreruddannelsen og forskerne i NAFAs forskningsben, CESE. 
• en øget opmærksomhed på, hvad der fremmer og hæmmer udvikling i de lokale PLF’er. 
• at de relevante PLF’er laver prøvehandlinger med studerende med henblik på involvering af lærerstuderende, samt formidler udviklingsarbejde via nafa.nu.  
  

Indsats i folkeskolen (Skole-indsats)
Evaluator konkluderer, at indsatsen i folkeskolen i 2022 er gennemført som planlagt. 
Evaluator noterer, at 2022 har været en indledende fase, hvor der primært har været fokus på at fastlægge rammerne for indsatsen og på at rekruttere kommuner og skoler. 
Evaluator minder om, at dataindsamling via fokusgruppeinterviews starter i foråret 2023, og at det derfor er vigtigt at etablere informantgrupper.  

Forskningsindsats (CESE) 
Evaluator konkluderer, at forskningsindsatsen overordnet er gennemført som planlagt i et år præget af centerudvikling og opstart af forskningsprojekter. 
Evaluator vurderer, at CESE har arbejdet målrettet med udvikling af forskningsprojekter, ny strategi og etablering af forskernetværk med formidlingsaktiviteter. 
Evaluator noterer etableringen af det nye CESE Videns Center og at det har igangsat sine første forskningsaktiviteter både inden for følgeforskning og strategisk forskning. 
Evaluator minder om, at dataindsamling via fokusgruppeinterviews starter i foråret 2023, og at det derfor er vigtigt at etablere informantgrupper.  

Det tværgående samspil mellem indsatserne
Evaluator konkluderer som nævnt, at NAFA som organisation overordnet er velfungerende og er kommet godt fra start. 
Evaluator vurderer desuden, at der er indikationer på, at deltagerne i NAFA har opnået et højere niveau af kompetencer inden for naturfagsdidaktisk praksis. 
Evaluator forventer derfor, at 2023 bliver det år, hvor alle tre indsatser kommer helt i gang og dermed giver de forventede resultater for impact ved evalueringen i 2023. 

Spørgsmål vedrørende Årlig Opsamling kan sendes til Dorte Ruge, nafa-eval@ucl.dk

Ekstern evaluering

NAFA har over vinteren 2023 haft opgaven som ekstern evaluator i udbud. Ekstern evaluator skal bl.a. bidrage til midtvejs-evalueringen i 2024 og slut-evalueringen i 2028.
Valget faldt på Rambøll Management Consulting (Rambøll).
Rambøll og NAFA har i foråret 2023 afholdt de første møder med henblik på at aftale den videre proces, der også involverer følgeforskningen og intern evaluator.

Evalueringen følges af en evalueringsstyregruppe, se Følge- og udviklingsgrupper.