Nieuwe auditvorm versterkt de kwaliteitscultuur

De ontwikkelingsgerichte audit heeft, mits goed uitgevoerd, een positief effect op de kwaliteitscultuur van een mbo-school. Dat blijkt uit het NRO-onderzoeksrapport ‘Met de instellingsaudit op weg naar professionele onderwijsorganisaties in het mbo’.

Onderzoekers José Hermanussen (ECBO) en Ronald Stevens (Zijlstra Center/Vrije Universiteit) lichten dit toe. ‘Puur het feit dat verschillende geledingen binnen de instelling met elkaar aan tafel zitten is al goud waard.’ Onlangs verscheen het eindrapport van het project ‘Met de instellingsaudit op weg naar professionele organisaties in mbo’. Een consortium van onderzoekers van ECBO (Expertisecentrum beroepsonderwijs), Zijlstra Center (Vrije Universiteit) en Open Universiteit voerde dit door het Nationaal Regieorgaan Onderwijsonderzoek gefinancierde onderzoek uit in de periode 2017-2021. Gedurende die vijf jaar werd nadrukkelijk de samenwerking gezocht met het Kwaliteitsnetwerk mbo. Want deze stichting, opgericht door en ten behoeve van de instellingen in de mbo-sector, heeft tot doel de kwaliteitsbewustheid en het kwaliteitshandelen van de aangesloten instellingen te bevorderen en zet hiervoor de zogeheten ontwikkelingsgerichte instellingsaudit (tegenwoordig spreken we van ‘instellingsdialoog’) in. Aangezien dit een relatief nieuwe vorm van auditing is, onderzocht het consortium in hoeverre het Kwaliteitsnetwerk zijn ambities kan realiseren met behulp van deze instellingsaudit.

Wat eraan voorafging

Het Kwaliteitsnetwerk mbo gebruikte eerst het NVAO-onderzoekskader voor de instellingsaudits. Maar dat werd toch als behoorlijk controlerend ervaren, zo bleek uit door het Kwaliteitsnetwerk uitgevoerde analyses en een in 2016 door het Expertisecentrum Beroepsonderwijs (ECBO) uitgevoerd onderzoek. ‘Enkele verwachtingen werden niet ingelost door deze traditionele vorm van instellingsaudits’, legt José Hermanussen, managing onderzoeker bij ECBO, uit. ‘Het controlerende stond het ontwikkelingsgerichte karakter dat het Kwaliteitsnetwerk ambieerde in de weg. Bij de traditionele audits is er het risico dat een organisatie façadegedrag vertoont: je richt een aantrekkelijk front stage in die de auditcommissie weghoudt van de daadwerkelijke praktijk van handelen. De dramatologie van het spel, zeg maar. Verder verzwakken de controlerende audits het gevoel van eigenaarschap en eigen verantwoordelijkheid: de auditoren controleren of we het goed doen en het goede doen, dus hoeven we het zelf niet te doen. Ook de gewenste verbinding tussen de verschillende organisatiegeledingen – dit speelt zich af in de tijd dat termen als “Teams aan Zet” steeds vaker klonken – kwam niet uit de verf. We zochten dus een nieuwe auditvorm.’

Zoektocht

Bij die zoektocht was ook Ronald Stevens (zelfstandig adviseur en verbonden als hoofddocent public auditing aan het Zijlstra Center/Vrije Universiteit) nauw betrokken. Als onderzoeker. Als oud-voorzitter van auditcommissies. Maar ook als ontwikkelaar: hij stond aan de wieg van het zogeheten Dialoogmodel dat gezien mag worden als het kloppende hart van de ontwikkelingsgerichte instellingsaudit. ‘Bij dit model gebruiken we de dialoog als instrument om vraagstukken te verhelderen, verbreden, verdiepen en verheffen’, vertelt Ronald. ‘Een instelling brengt zelf het vraagstuk in en gaat hierover in gesprek met diverse stakeholders. Op basis van het Dialoogmodel kijken we naar de verschillende vermogens die het Dialoogmodel definieert: het adaptief (ook wel responsief) vermogen, het professioneel vermogen, het organiserend vermogen, het realisatievermogen en onderwijs(vermogen). Ook wordt er gekeken naar kwaliteitscultuur. Door de inbreng en eigen verantwoordelijkheid van de instelling centraal te stellen in deze instellingsaudit, staat een ontwikkelingsgericht perspectief centraal. Deze vorm is in 2017 geïntroduceerd bij het Kwaliteitsnetwerk mbo. We hebben er gelijk een door het Nationaal Regieorgaan Onderwijsonderzoek gefinancierde onderzoek aan kunnen koppelen. Het gaf ons de mogelijkheid om grondig te onderzoeken of deze auditsystematiek daadwerkelijk leidt tot een betere kwaliteitscultuur op alle niveaus in de organisatie en daarmee tot beter mbo-onderwijs.’

Voorspeller van kwaliteit

En zo geschiedde. Het onderzoek duurde oorspronkelijk drie jaar. Maar corona trapte op de rem, waardoor het uiteindelijk vijf jaar werd. ‘We hebben in die periode de black box van de instellingsaudit volledig binnenste buiten kunnen keren’, onderstreept José. ‘Niet voor niets is dit zo’n lijvig rapport. We wilden echt duidelijk maken wat er nou van A tot Z gebeurt in zo’n audittraject. Daarbij lag een duidelijke focus op de kwaliteitscultuur. Uit eerdere onderzoeken weten we dat kwaliteitscultuur een belangrijke voorspeller is van onderwijskwaliteit. Is de kwaliteitscultuur op orde, dan zit het vaak ook snor met de onderwijskwaliteit. Met dit in het achterhoofd hebben we onderzocht wat het effect is van de ontwikkelingsgerichte instellingsaudit op de kwaliteitscultuur. We hebben ook een model ontwikkeld om die kwaliteitscultuur te kunnen meten. Dit betrouwbare instrument is een van de opbrengsten van dit onderzoek.’

Uit het NRO-onderzoek blijkt dat de ontwikkelingsgerichte instellingsdialoog, mits goed uitgevoerd, een positief effect op de kwaliteitscultuur heeft. José: ‘Met name de betrokkenheid tussen de verschillende geledingen groeit. Mensen spreken elkaar ook wat gemakkelijker op bepaalde zaken aan, ze zoeken sneller de verbinding.’

Ontwikkelperspectief

Wisselen van perspectief klinkt relatief eenvoudig. Maar het is een omslag van jewelste, beseffen ook de beide onderzoekers. Ronald: ‘Veel mbo-instellingen zoeken naar een meer ontwikkelingsgericht perspectief naast een controlegericht perspectief. Met dat laatste zijn ze de afgelopen jaren sterk vertrouwd geraakt. Denk bijvoorbeeld aan de verantwoording tegenover de Inspectie van het Onderwijs. Instellingen moeten aardig wat slagen maken om de ontwikkelingsgerichte manier van auditen te implementeren, want dat betekent dat ze het heft in eigen handen moeten nemen. De aan het onderzoek deelnemende scholen – acht in totaal – kregen hiervoor van ons regelmatig voeding. We hebben het onderzoek zelf namelijk eveneens ontwikkelingsgericht ingestoken. Regelmatig koppelden we onze bevindingen aan de scholen terug, zodat ze deze mee konden nemen in het vervolg. Ze konden hierdoor sneller en gemakkelijker de beweging naar eigenaarschap en regie maken. De scholen kregen steeds meer ideeën over de organisatie van de instellingsdialoog en wisten bijvoorbeeld hun vraagstukken steeds duidelijker te omschrijven. De latere dialogen waren duidelijk veel ontwikkelingsgerichter dan de eerste.’



Fly on the wall

Het bijwonen van de instellingsdialogen was een belangrijk onderdeel van het onderzoek. ‘We hebben als een fly on the wall de gesprekken van de scholen geobserveerd. Bij alle facetten van zo’n instellingsdialoog waren we aanwezig’, beaamt Ronald. ‘Daarnaast hebben we aan de betrokkenen – zowel de mensen van de instelling als de auditoren – kwaliteitscultuurvragenlijsten en conditievragenlijsten voorgelegd’, vult José aan. ‘Die hebben we opgesteld, nadat we hadden bekeken wat er uit eerder onderzoek bekend is over audits en bijvoorbeeld kwaliteitscultuur en dit toegespitst op het mbo. En naderhand hebben we nog eens met alle deelnemende instellingen teruggeblikt. Vragen die in deze focusgesprekken centraal stonden waren onder andere Wat heeft de instellingsdialoog jou en je instelling nou gebracht? en Is de kwaliteitscultuur versterkt?

Meerwaarde

Op de vraag over de kwaliteitscultuur kregen de onderzoekers steevast een positief antwoord. ‘Dat is prettig, want de kwaliteitscultuur is medebepalend voor de setting van de instellingsdialoog, maar ook voor de dynamiek die in het proces ontstaat’, legt Ronald uit. ‘Waar leidinggevenden meer voorbeeldgedrag in positieve zin vertoonden – eigen verantwoordelijkheid nemen bijvoorbeeld – is meer transparantie. Deze instellingen willen zichzelf ook veel meer laten zien en antwoorden krijgen op hun vraagstukken. Voor de deelnemende instellingen heeft de ontwikkelingsgerichte instellingsdialoog dus zeker meerwaarde. Ook als het gaat om het creëren van draagvlak. Door deze auditvorm krijgen de verschillende geledingen echt een gedeeld beeld van de ingebrachte vraagstukken. Er is meer bewustwording, meer commitment. Verder kunnen we concluderen dat de dialoog als middel heel bruikbaar is, maar daarvoor moet je wel de benodigde vaardigheden hebben. En dat is niet iedereen gegeven. Dat geldt zowel voor de auditoren als de auditees.’

Ronald vervolgt: ‘Ook zagen we dat de dialogen vooral over het professioneel vermogen en het organiserend vermogen gingen en veel minder over de balans tussen alle vermogens. De vraagstukken die de scholen inbrengen liggen blijkbaar met name op het professionele en organisatorische vlak. En last but not least heeft ons onderzoek ons geleerd dat je het beste vanuit het ontwikkelingsgerichte perspectief kunt beginnen en van daaruit controlegerichte vragen kunt stellen. Andersom, dus eerst controlegericht en dan ontwikkelingsgericht, werkt juist moeizaam en roept soms irritatie op. Dan heb je al gelijk een belemmering om openheid van zaken te geven.’

Voorbereiding

José heeft nog een belangrijke aanvulling: ‘Een audit staat en valt met een goede voorbereiding. Door al vooraf met bijvoorbeeld vragenlijsten te werken om de aanwezig kwaliteitscultuur van de instelling in kaart te brengen, behaal je veel winst. En achteraf, als het auditrapport is opgesteld, moet de instelling erop toezien dat de resultaten geborgd worden, bijvoorbeeld meegenomen worden in de ontwikkelagenda. Zie de audit dus niet als een geïsoleerd verschijnsel van een paar dagen, maar bed het goed in. Wat me opviel is dat er veel waardering is voor deze manier van werken. Het feit alleen al dat dat je met verschillende partijen aan tafel zit; dat wordt toch als plezierig en waardevol gezien en voorziet echt in een behoefte. Er ontstaat verbinding. Kanttekening hierbij is dat de audits nu nog erg intern gericht zijn. Als een instelling de dialoog ook aangaat met stakeholders uit de regio – het bedrijfsleven en studenten bijvoorbeeld – levert dit nog veel meer inzichten op. De instelling kan dan ook haar responsieve vermogen ontwikkelen en zo beter aansluiten op de externe verwachtingen. Er wordt nu nog te veel óver in plaats van mét gesproken.’

Vanaf september gaat een aantal scholen in proeftuinen experimenteren met het Referentiewaardenmodel. Dit model bevat elementen van de ontwikkelingsgerichte instellingsdialoog. De bevindingen in het NRO-rapport ‘Met de instellingsaudit op weg naar professionele organisaties in mbo’ zijn hierdoor ook waardevol voor het werkbaar en werkzaam maken van het Referentiewaardenmodel. Ronald Stevens is als trainer betrokken bij de proeftuinen. Meer weten over het Referentiewaardenmodel en de bijbehorende proeftuinen? Ga dan naar kwaliteitsnetwerk-mbo.nl/referentiewaardenmodel/.