Digitaal toetsen (7)



Wie als docent in het onderwijs zelf aan de slag wil met interactieve toetsing via de computer dient zich vooraf te bedenken hoeveel tijd hij ter beschikking heeft en hoeveel tijd ontwerp en afname van de toets uiteindelijk gaan kosten. Dit heeft dan ook te maken met een voor managers  zo nu en dan vervelend woord  faciliteren. Maar tenslotte zijn normjaartaken en taakbeleid er niet voor niets. Anderzijds is het ook een middel waarlangs beide kanten tzt. het resultaat van inspanning afgemeten kan worden. Men bedenke ook dat in dit geval  de kost voor de baat uitgaat, een eenmalige investering in een digitale toets is binnen de kortste keren alleen al wat betreft efficiency terug verdient. In dit voorbeeld (naar Van Berkel, 2006) is het uitgangspunt dat de infrastructuur aanwezig is en dat de docent op vrij eenvoudige wijze over de infrastructuur kan beschikken, een email naar het roosterbureau met het verzoek het PC lokaal te reserveren volstaat bij wijze van spreken.

We volgen het voorbeeld uit voorgaande publicaties op dit weblog, docent A en onderwijsinstelling X. De docent heeft behoefte aan een digitale kennistoets. Voor 2 groepen van dertig studenten wordt deze toets in een tijdsbestek van 2 keer een half uur per groep aangeboden. Elke toets bevat 40 gesloten vragen bestaande uit vooral tekst in de vorm van meerkeuze vragen met telkens 4 antwoord mogelijkheden. De gehele studentenpopulatie krijgt dezelfde vragen, de docent kan nog niet gebruikmaken van de mogelijkheden van een itembank. We gaan ervan uit dat het bedenken van een eerste versie van een vraag ongeveer een kwartier in beslag neemt. We gaan er gemakshalve ook vanuit dat de docent in kwestie geen volslagen digibeet is, maar op z’n minst een onderwijzer met enige affiniteit voor ICT (Van Bergen, 2005). In een overzicht ontstaat dan het volgende beeld:

  • Leren omgaan met de software (Technology - vaardigheden mbt. het digitale leermiddel) 8 klokuren.
  • Vaststellen van de leerstof (Content - op basis van de leerdoelen, kennis /vaardigheden)  4 klokuren.
  • Het formuleren van de vragen (Pedagogical - 40 x een kwartier) 10 klokuren.
  • Toets testen en herzien (TPACK - inclusief collegiale feedback) 6 klokuren.
  • Afname van de toets inclusief voorbereiding, bespreking, administratie) 3 klokuren.
  • Genereren van nieuwe vragen voor de volgende sessie (10 x een kwartier) 2,5 klokuren.
In totaal kost het de docent 33,5 klokuren om zijn digitale toets te realiseren. Tsja, is dat nu veel of weinig? Bij een volledige taakomvang van 1,0 FTE en 1659 klokuren op jaarbasis valt dit op het eerste gezicht wel mee. Waar het om gaat is dat de docent gefaciliteerd wordt en gewoon z’n werk kan doen, of dat nu onderdeel is van reguliere taken, innovatietijd of professionaliseringstijd is niet zo relevant.  Met het faciliteren onderkent een opleiding dat men digitaal toetsen serieus neemt en daar hoe gering en wellicht onbenullig bovenstaande voorbeeld ook mag lijken, in wil investeren. Stimuleer als opleiding innovatieve initiatieven, dat motiveert en inspireert  de betreffende docent en wellicht ook z’n collega’s.


Wim Borghuis

Digitaal toetsen (6) – Technologie (2)


Wie zoals docent A binnen onderwijsinstelling X een keuze wil maken tussen het realiseren van een digitale toets op basis van Google docs of WinToets, zal afgezien van het kostenaspect op basis van mogelijkheden (content, vraagstelling, nakijken/scoren) en gebruiksgemak waarschijnlijk kiezen voor WinToets.
Docent A heeft weliswaar de keuze gemaakt voor WinToets, maar neemt echter niet meteen genoegen met slechts de ervaringen van gebruikers van de software. Hij is ook geïnteresseerd in wetenschappelijke reviews van het programma. 
Zoals eerder vermeld zijn er vrijwel geen wetenschappelijke publicaties wat betreft digitaal toetsen en daarbinnen specifieke programma’s als WinToets. Wat dan nog rest is bij de producent zelf hier navraag naar te doen. Dat levert samengevat het volgende op.

Onderzoek is meestal kortlopend en tot op heden betreft dat meestal het analysedeel van het programma. Meestal wordt ons programma gebruikt om onderzoek mee te doen en is het zelf geen onderzoeksproject. Voorbeeld is: http://derodeplaneet.wordpress.com/2013/04/02/gastblog-praktijkvoorbeeld-wintoets-voor-onderzoek-naar-aardrijkskundekennis/ waarbij vanuit C H N aan het promoveren is op de adaptieve mogelijkheden in WinToets en Quayn.

Doel je op onderzoek naar de bruikbaarheid van onze pakketten, dan kan ik je verwijzen naar de RuG. Die hebben Quayn recentelijk een jaar lang meegenomen in een RuG-breed toetssysteem keuzetraject. Quayn is met drie anderen gekozen voor een uitgebreide pilot.

WinToets is al vele jaren in gebruik in vrijwel alle hogescholen. Wij werken mee aan praktische projecten, meestal aan Minoren en Masterstudies gekoppeld, met diverse instellingen voor hoger onderwijs. 

Wetenschappelijk onderzoek zegt niet zo veel bij toetspakketten. Het gaat ons om de tevredenheid van de gebruikers. Wij hebben ruim 1200 onderwijsinstellingen met een doorlopende licentie en > 75.000 afnames per dag. 

Enerzijds is het merkwaardig dat er geen wetenschappelijk onderzoek is gedaan naar digitaal toetsen, terwijl we daar onderhand toch al een decennium mee bezig zijn in onderwijsland. Anderzijds is dat verklaarbaar, er zijn zoveel zaken waarmee in de lespraktijk van alledag naar volle tevredenheid wordt gewerkt aan waar geen wetenschappelijk onderzoek naar is gedaan. Het ontbreken van een wetenschappelijke publicatie is dus geen belemmering voor een functioneren in de praktijk.
Docent A zal dus zonder wetenschappelijke rugdekking met WinToets zijn digitale kennistoets realiseren. Enige voorwaarde is nog dat hij zichzelf in de materie professionaliseert. Het PC lokaal is inmiddels gereserveerd.

Wim Borghuis


Voor de serie Vier in Balans – TPACK – Digitaal toetsen op dit weblog, is gebruik gemaakt van onderstaande bronnen en literatuur.

Alles over digitaal toetsen:
http://www.digitaaltoetsen.nl/

Digitaal toetsen op de VU:  
https://www.edugroepen.nl/sites/VUDigitaalToetsen/SitePages/Introductiepagina.aspx

Digitaal toetsen op de TU delft:
http://www.icto.tudelft.nl/onderwijsthemas/toetsen-en-beoordelen/digitale-tentamens/

Project Kennisnet:
http://derodeplaneet.wordpress.com/2013/03/12/kennisnet-zoekt-scholen-voor-expertgroeppraktijkgroep-digitaal-toet/

Platform digitaal toetsen.nl:
http://www.platformdigitaaltoetsen.nl/

Surf over digitaal toetsen: 
http://www.surf.nl/nl/themas/innovatieinonderwijs/toetsen/Pages/Digitaletoolsvoortoetsen.aspx

Digitaal toetsen:
http://www.scribd.com/doc/139974581/Digitaal-toetsen

Vier in Balans:
http://www.scribd.com/doc/139799867/Vier-in-Balans-2012-ICT-Monitor

TPACK:
http://www.scribd.com/doc/139806279/Maak-Kennis-Met-TPACK

Literatuurstudie TPACK:
http://www.scribd.com/doc/139806280/Literatuurstudie-TPACK

Professionalisering met TPACK:
http://www.scribd.com/doc/139923268/Professionaliseringstraject-TPACK

TPACK in het onderwijs:
http://www.scribd.com/doc/139923215/Technological-Pedagogical-Content-Knowledge-in-Teacher-Education

Berkel, H. ; Bax, A. (2006). Toetsen in het Hoger Onderwijs. Houten: Bohn Stafleu van Loghum.

Digitaal toetsen (5) – Technologie (1)



We volgen docent A, werkzaam binnen onderwijsinstelling X in het proces van verkenning en realisatie van digitaal toetsen. Docent A is inmiddels zover dat de context en randvoorwaarden zijn geïnventariseerd en kan worden overgegaan tot een keuze voor het concrete instrument waarmee een digitale toets ontworpen en afgenomen kan worden. 

De docent verkent nu de mogelijkheden die er zijn. Daarbij wordt eerst en met een open blik nagegaan wat er online en gratis beschikbaar is. 
De docent vermoedt intuïtief dat er voldoende gratis mogelijkheden, die geheel online, onafhankelijk van tijd en plaats en met voldoende gebruiksgemak te vinden zijn. Vervolgens wordt nagegaan wat binnen de opleiding de faciliteiten zijn, de docent weet dat die er zijn, maar kent deze niet precies.

Een uurtje Googelen levert dan de nodige informatie op. Er is voldoende informatie over tools voor digitaal toetsen beschikbaar, de voor- en nadelen van de tools worden her en der besproken. De informatie is echter veelal oppervlakkig en gericht op louter operationele aspecten. Wetenschappelijke bronnen, onderzoeken naar digitaal toetsen, laat staan specifieke tools daarin zijn er simpelweg niet. Conclusie is dat voor digitaal toetsen 3 soorten programma’s beschikbaar zijn. Educatieve programma’s met toetsmogelijkheden inclusief resultaat verwerking en analyse, specifieke toetsprogramma’s en elektronische leeromgevingen met een toetsmodule. Ook is er een onderscheid te maken in commerciële (betaalde) – niet commerciële tools. Alles overziende besluit de docent op basis van de verkregen informatie te kiezen voor Google docs of momenteel Google drive. Redenen voor de keuze zijn als volgt:

  • het is een gratis tool
  • het is een tool die tijd- en plaats onafhankelijk te gebruiken is, inzowel ontwerp als afname
  • de tool is geschikt voor het maken van de toets: het gaat om gesloten en eenduidige vragen
  • automatisch nakijken is mogelijk (met installatie van een gratis tool: Flubaroo)
  • gebruikers zijn positief
  • de docent heeft ervaring met Google producten (de systematiek - vereiste vaardigheden).

Dan fase 2, het inventariseren van de aanwezige tools voor digitaal toetsen binnen de eigen opleiding. De opleiding werkt met WinToets. WinToets is in het Nederlandse onderwijs het meest gebruikte beheer- en afnamesysteem voor toetsen. Hoewel men binnen de opleiding werkt met versie 3.0 (! en versie 4.0 dateert inmiddels alweer uit 2008…..) lijkt dit in eerste instantie en na een kleine verkenning van ’t programma een bruikbare tool. Een andere mogelijkheid is toetsen via de ELO. Binnen de opleiding wordt Sharepoint als ELO gebruikt. Dat Sharepoint geen ELO is die specifiek voor het onderwijs is ontworpen, wordt hier ook weer duidelijk. 
Het produceren en afnemen van digitale toetsen via Sharepoint is niet zomaar mogelijk (Sharepoint LMS ontbreekt). Afgezien daarvan heeft de gemiddelde student niet zo heel veel met Sharepoint om het zomaar ’s uit te drukken. 

Conclusie: de tool waarmee de digitale toets wordt ontworpen en afgenomen wordt Google docs, of Wintoets. Meer hierover in Digitaal toetsen (6) op dit weblog.

Wim Borghuis

Digitaal toetsen (4)



Docent A werkzaam bij onderwijsinstelling X, is tot het inzicht gekomen dat een digitale toets een prima ICT tool is voor het onderwijs dat hij verzorgt. Wat zijn nu de acties die nodig zijn om een digitale toets te realiseren en te implementeren?

Er zijn globaal 2 sporen: een eerste spoor is een inventarisatie van de randvoorwaarden, dat kan bijvoorbeeld via Vier in Balans en zijn eigen rol daarin middels het TPACK model, beiden eerder hier op dit weblog besproken.

Een tweede spoor is een meer instrumenteel, hier gaat het om de toepassingen – software of online -  waarmee de toets te produceren, uit te voeren en te beoordelen is. 

Het risico van het volgen van spoor 1 kan ontmoediging zijn wanneer blijkt dat de randvoorwaarden niet optimaal zijn. 

Het risico van het volgen van spoor 2 kan zijn dat de focus ligt op de toepassing en de context uit het oog wordt verloren.Dit kan in de reële implementatie problemen opleveren. 

Docent A kiest ervoor om eerst spoor 1 en aansluitend spoor 2 te volgen. Spoor 1 wordt hier toegelicht aan de hand van de aandachtspunten van Magné (Van Berkel, 2006).

Commitment: in hoeverre is ICT voor het management een speerpunt? Is men met andere woorden bereid er tijd en geld in te investeren, van professionalisering tot systeembeheer. Dat is binnen de instelling geen probleem, in het kader van Leven lang leren en Blended Learning heeft dit de aandacht en prioriteit.

Infrastructuur: zijn er voldoende PC-lokalen beschikbaar en zijn de PC’s technisch geschikt voor het afnemen van digitale toetsen? Er is een lokaal beschikbaar. De PC’s zijn geschikt voor afname van digitale toetsen, daar is ervaring in, dat werkt wel om het zomaar te zeggen.

Cursus: kunnen studenten tijdens de voorgaande leerfase oefenen met de toets, is daar de tijd en ruimte voor? Dat is minder positief te beamen, de toets wordt binnen 3 weken na aanvang van de cursus afgenomen, er zijn op locatie te weinig middelen en te weinig om studenten daarmee te laten oefenen. Anderzijds hoeft dit geen probleem te zijn, de aard van de toets (een eenvoudige meerkeuze vragen - kennistoets - reproductief) geeft geen reden dit als een ernstige belemmering te zien.

Kosten en baten: wordt de cursus en daarmee de toets jaarlijks aangeboden, blijft de inhoud stabiel en zijn er voldoende studenten die deelnemen? Dit alles is positief en bevestigend te beantwoorden. Het investeren in de toets wordt dus niet gedaan met het oog op een incidenteel gebruik, maar vanuit een structureel gebruik en continuïteit. 

Conclusie, er zijn voor docent A binnen onderwijsinstelling X geen bezwaren om over te gaan tot realisatie en implementatie van een digitale toets. 

Voor docent A is het nu zaak na te gaan op basis van het TPACK model wat precies nodig is. Eerste intuïtieve conclusie: kennis van de Technologie. Daarmee komt docent A op spoor 2: welke technologie en kennis van technologie is nodig om de toets te ontwerpen etc. en welke keuzes zijn hierin mogelijk? In de serie digitaal toetsen op dit weblog is dat de volgende en bijdrage nr. 5.


Wim Borghuis