De binnen- en buitenkant van rekenkamers

1 Inleiding 13
1.1 Een rekenkamerhandboek 13
1.2 Ontwikkeling van decentrale rekenkamers 14
1.2.1 De oorsprong van rekenkamers 14
1.2.2 Onderzoek naar doeltreffendheid, doelmatigheid en rechtmatigheid 16
1.2.3 2002-2011: De eerste jaren van de decentrale rekenkamers 17
1.2.4 2011-2015: Bezuinigingen, burgerperspectief en decentralisaties 18
1.2.5 2016-2023: De rekenkamer als vaste waarde 19
1.3 Ontstaan van de rekenkamergemeenschap 21
1.3.1 Van VvLR nar NVRR naar Vereniging van Rekenkamers 21
1.3.2 Ontwikkeling van onderzoek 23
1.4 Leeswijzer 25

2 De Rekenkamer: basis, organisatie, taken, wettelijke kaders en samen werking 27
2.1 Inleiding 27
2.2 De basis van de rekenkamer 28
2.2.1 Dualisering decentraal bestuur als startpunt voor rekenkamers 28
2.2.2 De rekenkamer in de wet 28
2.3 De organisatie van de rekenkamer 29
2.3.1 Inrichting van de rekenkamer 29
2.3.2 Samenwerking binnen de rekenkamer 31
2.3.3 Reglementen en protocollen 34
2.4 Taken van de rekenkamer 38
2.4.1 Ex post of ook ex ante? 38
2.4.2 Gelijke bevoegdheden, in steeds ruimere kring 39
2.4.3 Toezichthouden op de eigen accountantsdienst van de decentrale overheid 39
2.5 Het publiekrechtelijke kader van de rekenkamer 40
2.5.1 Gemeentewet: onderzoeksbevoegdheden en overige 40
2.5.2 De Algemene wet bestuursrecht 43
2.5.3 Wet open overheid 46
2.5.4 Algemene verordening gegevensbescherming 54
2.5.5 Overige publiekrechtelijke kaders 57
2.6 Het privaatrechtelijke kader van de rekenkamer 59
2.7 Samenwerking 61
2.7.1 De gezamenlijke rekenkamer 61
2.7.2 Het gezamenlijke onderzoek 63
2.8 De rekenkamer en de griffier: It takes two to tango? 69
2.8.1 Inleiding 69
2.8.2 De personele ondersteuning van de rekenkamer 69
2.8.3 Het opstellen, agenderen en behandelen van rekenkamerrapporten 72
2.8.4 Opvolging van aanbevelingen en goede relatie 73

3 Verkennen 75
3.1 Inleiding 75
3.2 Agendering en een groslijst van onderzoeksonderwerpen 76
3.2.1 Rondje fracties 76
3.2.2 Andere of aanvullende mogelijkheden 77
3.2.3 Inbreng van inwoners 77
3.2.4 Vorm van de groslijst 78
3.2.5 Shortlist 78
3.2.6 Afvoeren van onderwerpen 78
3.2.7 Voorlopige keuze onderwerp 78
3.3 Ingediende verzoeken: het verzoekonderzoek 79
3.3.1 Indieners 79
3.3.2 Onafhankelijkheid en fatsoenlijke bejegening verzoekers 80
3.3.3 Politiek geladen verzoeken 81
3.4 Inspiratie voor onderzoek opdoen 82
3.4.1 Andere onderzoeken 83
3.4.2 DoeMee-onderzoeken 83
3.4.3 Metadossier en -analyse 83
3.5 Het vooronderzoek 84
3.5.1 Welke informatie heeft de volksvertegenwoordiging ontvangen? 86
3.5.2 Wat is het beleid? 89
3.5.3 De spelers 91
3.5.4 Elementen in de startnotitie 93
3.6 Bepalen budget per onderzoek 95
3.6.1 Maximumbudget openbaar of juist niet? 95
3.6.2 Hoe wordt het bedrag bepaald? 96
3.6.3 Wat te doen met overschrijdingen? 97
3.6.4 Wanneer wordt het betaald? 97
3.6.5 Hoe wordt betaald? 98
3.6.6 Omgaan met modules 98
3.7 Betrokkenheid volksvertegenwoordiging 99
3.8 Zelf doen of uitbesteden 101
3.8.1 Institutionele keuze 101
3.8.2 Functionele keuze 102

4 Ontwerpen 105
4.1 Inleiding 105
4.2 Onderzoek naar doeltreffendheid en doelmatigheid 106
4.2.1 Inleiding 106
4.2.2 Het productieproces van de publieke sector 107
4.2.3 Het onderzoeken van doeltreffendheid 112
4.2.4 Het onderzoeken van doelmatigheid 117
4.2.5 Verder lezen 124
4.3 Het instrumentarium van de evaluator 126
4.3.1 De beleidstheorie 126
4.3.2 Ex-ante-evaluatie 128
4.3.3 Ex-durante-evaluatie 129
4.3.4 Ex-postevaluatie 130
4.3.5 Ter afsluiting 134
4.4 Rechtmatigheidsonderzoek 134
4.4.1 (Financiële) rechtmatigheid 134
4.4.2 Waarom is rechtmatigheidsonderzoek zinvol? 136
4.4.3 Uitvoeren van rechtmatigheidsonderzoek 138
4.5 Normen in rekenkameronderzoek 145
4.5.1 Het normenkader in rekenkameronderzoek 145
4.5.2 Verschillende typen normen 147
4.5.3 Bronnen voor normen 150
4.5.4 Afsluiting 152
4.6 Onderzoeksstrategie 152
4.6.1 Onderzoeksstrategieën 153
4.6.2 Dataverzamelingsmethoden 155
4.6.3 Opbrengst van je dataverzameling 158
4.6.4 Aandachtspunten voor rekenkamers 160
4.7 Planning, budget en organisatie van het onderzoek 160
4.7.1 Afstemming per onderzoeksfase 161
4.7.2 Planning en organisatie van het onderzoek 162
4.7.3 Kosten van dataverzamelingsmethoden 163
4.7.4 Praktische tips 164
4.8 Goed opdrachtgeverschap 164
4.8.1 Opdrachtgevers in soorten en maten 164
4.8.2 Alle typen: procesmatig leidend zijn 167
4.8.3 De hoofdonderzoeker als goed opdrachtgever 172
4.8.4 De coproducent als goed opdrachtgever 173
4.8.5 De begeleider als goed opdrachtgever 174

5 Uitvoeren van het onderzoek 175
5.1 Inleiding 175
5.2 Start onderzoek 176
5.2.1 Startbericht 176
5.2.2 Startbijeenkomst 177
5.3 Onderzoeksbevoegdheden in de praktijk 178
5.4 Kwalitatieve vormen van onderzoek 181
5.4.1 Waarom kwalitatief onderzoek? 181
5.4.2 Bureauonderzoek 181
5.4.3 Interview 183
5.4.4 Focusgroep 185
5.4.5 (Participerende) observatie 186
5.4.6 Casusstudie 187
5.5 Kwantitatief onderzoek 188
5.5.1 Waarom kwantitatief onderzoek? 188
5.5.2 Vragenlijstonderzoek 189
5.5.3 Open data 194
5.6 Voortschrijdend inzicht 197
5.6.1 Bijstellen van het onderzoek 198
5.6.2 Bijstellen van het proces 199
5.7 Aandacht voor aanpak 199
5.7.1 Onderzoekskwaliteit 200
5.7.2 Voldoen aan de vereisten van integer onderzoek 201
5.7.3 Verantwoorden van het onderzoek 202

6 Rapporteren over het onderzoek 205
6.1 Inleiding 205
6.2 Nota van bevindingen 206
6.2.1 Introductie 206
6.2.2 Inleiding op het onderzoek 206
6.2.3 Beantwoording van de onderzoeksvragen 207
6.2.4 Conceptnota van bevindingen en het feitelijk wederhoor 209
6.3 Rapport 211
6.3.1 Introductie 211
6.3.2 Het formuleren van conclusies en aanbevelingen 212
6.3.3 De boodschap van het rapport 215
6.3.4 Conceptrapport en het bestuurlijk wederhoor 216
6.4 Ontwerpend onderzoek 217
6.4.1 Innovatie in onderzoek door Algemene Rekenkamer 217
6.4.2 Voorbeelden voor, tijdens en na het onderzoek 219
6.4.3 Tijdens het onderzoek: betrekken burgerperspectief 219
6.4.4 Na het onderzoek: interactief hulpmiddel 220
6.5 Beter in beeld: over het visualiseren van informatie 222
6.5.1 Inleiding 222
6.5.2 Doelmatig, doeltreffend en aandachttrekkend 222
6.5.3 Hoe dan? 224
6.6 Andere rekenkamerproducten 228
6.6.1 Introductie 228
6.6.2 Andere vormen voor een onderzoeksrapport 228
6.6.3 Andere producten van rekenkamers 230
6.6.4 Bijproducten van een onderzoek 231
6.7 Nawoord 231

7 Publiceren en presenteren 235
7.1 Inleiding 235
7.2 De presentatie 235
7.3 Omgaan met de media 240
7.3.1 Wel of niet actief de pers benaderen 240
7.3.2 Vaste perscontacten of maatwerk per rapport 243
7.3.3 Gebruik van sociale media 243
7.3.4 Ingaan op vragen van de pers 245
7.3.5 Zelf een persconferentie organiseren 245
7.3.6 Deelnemen aan publiek debat 247
7.4 Aan wie moet het rekenkamerrapport worden toegezonden? 248
7.4.1 Bestuurders 248
7.4.2 Respondenten en informanten 249
7.4.3 Bestuurders en directies van verbonden partijen 249
7.4.4 De contactambtenaren op de werkvloer 250
7.5 Publiceren over rekenkameronderzoek 251

8 Evaluatie: onderzoek, rekenkamer, doorwerking 255
8.1 Inleiding 255
8.2 Interne evaluatie van rekenkameronderzoek (‘zelfevaluatie’) 255
8.2.1 Inleiding 255
8.2.2 Het vertrekpunt: interne kwaliteitsnormen, kwaliteitszorg en documentatie 257
8.2.3 Productevaluatie: beoordeling van de kwaliteit van het onderzoek en het onderzoeksrapport 258
8.2.4 Procesevaluatie: beoordeling van de tijdigheid, doelmatigheid en samenwerking van het onderzoek 261
8.2.5 Publiciteitsevaluatie: beoordeling van de publicatie, presentatie en ‘landing’ van het onderzoek 263
8.2.6 Optimaal leren van zelfevaluaties 264
8.3 Evaluatie van de rekenkamer zelf 265
8.4 Opvolgonderzoek van de aanbevelingen en doorwerking 268
8.4.1 Opvolging 268
8.4.2 Doorwerking 271
8.4.3 Ervan leren 272

9 De doorontwikkeling en positionering van de rekenkamer 275
9.1 Inleiding 275
9.2 Raadgever of tegenstrever? Adviezen voor een rekenkamer als effectieve tegenmacht 275
9.2.1 Over tegenmacht en checks and balances 276
9.2.2 De rol van de rekenkamer in het lokale speelveld van macht en tegenmacht 278
9.2.3 Rekenkamers zijn vooral effectief in samenwerking 279
9.2.4 Raadgever of tegenstrever: de zachte rol van de rekenkamer 281
9.2.5 Het belang van goede lokale bestuurders 284
9.2.6 Tot besluit: raadgever en (af en toe) tegenstrever, het instrumentarium van een rekenkamer 285
9.3 Met de beste bedoelingen. Doelmatiger en doeltreffender onderzoek vanuit inhoud, proces én relatie 285
9.3.1 Inhoud, proces, relatie 286
9.3.2 Denk voor je doet 287
9.3.3 Nieuw, nieuw, nieuw? 287
9.3.4 Relatie, proces en dan pas inhoud 287
9.3.5 Hoe dan? 288
9.3.6 Tot slot 290
9.4 De moderne rekenkamer in het huis van Escher 290
9.4.1 Samenwerken als rekenkamers 290
9.4.2 Een brede onderzoeksbenadering 291
9.5 De toekomst 293
9.5.1 Ontwikkeling van het rekenkamerwerk 293
9.5.2 Stappen op weg naar de rekenkamer van de toekomst 295
9.5.3 De doorontwikkeling van de Vereniging van Rekenkamers 296
9.5.4 Tot slot 297

Literatuur 299
Bijlage A Analyse selectiecriteria rekenkamerleden (hoofdstuk 2) 309
Bijlage B Wet open overheid (hoofdstuk 2) 311
Over de auteurs 321