Digitaal toetsen – naar concreet ontwerp (1)




What is assessed is critical because students tend to focus on, and be motivated by these sections of the curriculum, and teachers “teach to the test” and make “education boring for kids”.

Op dit weblog onder andere het relaas van een docent die een digitale toets wil toepassen in zijn onderwijs. Herhaling is een krachtig didactisch principe in het onderwijs en daarom kort nog even de voordelen van een digitale toets op rij gezet in de specifieke onderwijscontext van deze docent en zijn vak: geen nakijkwerk, rapportages en analyses direct beschikbaar en dus vooral tijdwinst. Een ander nog niet eerder genoemd voordeel zou kunnen zijn dat van gestandaardiseerde afnamecondities.  
Bij afname van een toets op papier kan het gebeuren dat de verbale instructie van de docent inhoudelijk, zijn intonatie, lichaamstaal, mimiek enz. of extra uitleg tussendoor het resultaat beïnvloeden. Met digitale toetsen krijgen alle studenten dezelfde instructie. Dit garandeert een betrouwbare en gestandaardiseerde afname zo is de gedachte en zijn de verkregen scores optimaal vergelijkbaar. Zolang de docent zijn mond houdt en niet interrumpeert tijdens de afname zou dat inderdaad zo kunnen zijn. Verder zijn er in principe geen grote verschillen in moeilijkheid tussen digitale en papieren toetsen. Soms blijkt eenzelfde vraag op papier iets eenvoudiger of lastiger dan dezelfde vraag digitaal.De betreffende docent ging er in eerste instantie van uit dat de toets gerealiseerd zou worden met WinToets 3, zie eerdere bijdragen op dit weblog. Dit programma was namelijk standaard aanwezig op de PC’s van de onderwijsinstelling. Het was evenals de overige beschikbare  software binnen de instelling gedateerd. Die software is onlangs geüpdatet, Windows 7 werd beschikbaar en tegelijkertijd verdween WinToets. Dit programma is vervangen door Question Mark. Dat is een positieve ontwikkeling en voor de docent in kwestie een meevaller. Question Mark is een modern en compleet toets programma met uitputtende mogelijkheden. Binnen de organisatie is er echter beperkte expertise en ervaring, een tweetal medewerkers is er mee bekend en kan ermee werken om het zomaar te zeggen. De docent heeft met beiden contact gehad over de mogelijkheden van het programma en het concreet en op de korte termijn realiseren van een digitale toets. Interessant fenomeen daarbij, en daarin is deze onderwijsorganisatie niet uniek, is de aanvliegroute waarlangs een dergelijk programma dan geïmplementeerd zou moeten worden. Enerzijds is er de perceptie van de ICT afdeling, waarbij de technologie het vertrekpunt is en eigenlijk een doel op zich lijkt. Anderzijds is er de perceptie van de onderwijzers, waarbij onderwijsleerprocessen het uitgangspunt zijn en de technologie het middel is. Deze laatstgenoemde manier van denken is één van de voorwaarden om ICT succesvol te kunnen implementeren! Vanuit strikt de technologie werken is gedoemd te mislukken, tis ook één van de oorzaken dat ICT projecten met name binnen of overheidsorganisaties mislukken.
Een bijzonder interessant en verklarend model hierin is ook het 4E model van Collis (2001). Dit model beschrijft de factoren die de ervaren meerwaarde van een  ICT-applicatie en de kans op acceptatie hiervan bepalen. 
De factoren zijn: educational effect - onderwijskundig nut, ease of use - gebruiksgemak, engagement - betrokkenheid/plezier, environment -  invloed van de omgeving. De docent is kwestie is overigens te typeren als een pionier, die uit eigen initiatief, omdat hij het leuk vindt na te gaan wat de (on)mogelijkheden zijn maar vooral ook omdat hij het nut van innovatie voor de eigen onderwijspraktijk inziet, hier zijn tijd en energie investeert. 
In die onderwijspraktijk gaat het om het vervangen van een kennistoets op papier door een digitale toets. (Zie eerder op dit weblog.) Deze kennistoets dient om een basis te creëren in het leren van ervaringen dat centraal uitgangspunt is in de cursus. Wat dat betreft mogen de cursisten dan één keer leren voor de toets. 
Het contactonderwijs in de vorm van bijeenkomsten, colleges e.d. wordt er niet op aangepast, zie de tekst hierboven als inleiding op dit artikel. Wat zijn nu de volgende en logische stappen om de toets te realiseren? 
De voorkennis inzake digitaal toetsen en de diverse mogelijkheden daarin is er, welk spoor nu te volgen? De docent volgt het spoor van de onderwijzers om het zomaar ’s te zeggen. Dat betekent dat hij nu het volgende expliciet en nauwkeurig te doen heeft: 
  1. De leerdoelen die onderdeel van de toets zijn beschrijven.
  2. Een toetsmatrijs samenstellen.
  3. De leerstof in topics (thema’s) structureren.   
  4. De vragen formuleren, herformuleren.
  5. De vragen invoeren in het programma.
  6. De toets samenstellen (technisch, in de praktische uitvoer, een inleidende tekst/slottekst toevoegen enz.).
  7. Een testafname van de toets plannen. 
  8. De testafname evalueren. 
  9. De toets optimaliseren en klaarzetten voor formele afname.
Dit betekent al met al dat eind deze meimaand een testversie van de toets gereed moet zijn. Een moment van testafname zal begin juni plaatsvinden. Daaropvolgend vindt evaluatie en bijstelling plaats, zodat de toets in de derde week van september kan worden afgenomen. Refererend aan het eerste en tweede punt uit hierboven genoemde opsomming en terugkomend op het TPACK model is het schema van Harris & Hofer (2009) interessant. Een schema waarin instructie samen met leeractiviteiten in een op het TPACK model gebaseerd curriculum worden geïntegreerd: Instructional planning activity types as vehicles for curriculum-based TPACK development http://www.scribd.com/doc/142399116/TPACK-Activity-Types Een categorie activiteiten daarin is Knowledge Building Activity Types: Students demonstrate their knowledge through paperbased, traditional format to computer-generated and scored Assessments. Dat is waar het in deze digitale toets dus om gaat. Voor wie meer wil weten/verder wil lezen is ook dit artikel de moeite waard http://www.scribd.com/doc/142400290/Digital-Forms-of-Assessement

Wim Borghuis

Geen opmerkingen: