Veel beleid wordt omgeven door een groot aantal onderzoeken, meetgegevens en statistieken. Toch mankeert er nog wel het een en ander aan de manier waarop met dit soort getallen wordt omgegaan. Om de waarde van een onderzoek of een onderbouwing van een bepaald beleid in te schatten is het verstandig eens stil te staan bij manieren waarop getallen – al dan niet bewust – worden gebruikt om je een bepaalde kant op te duwen.
Een goed boek over dit onderwerp is “The numbers game” van Michael Blastland en Andrew Dilnot. Het boek schijnt te worden gebruikt voor het trainen van BBC-journalisten en staat vol met voorbeelden van manieren waarop het mis kan gaan met die schijnbaar exacte getallen.
In 12 hoofdstukken worden 12 problemen met getallen onder de loep genomen. De hoofdstukken hebben tot de verbeelding sprekende ondertitels: hoofdstuk 1 gaat over het “simpele” tellen van dingen en heeft als ondertitel “use strawberry jam”. Aardbeien tellen in jam is een stuk lastiger dan het tellen van losse aardbeien. Toch heeft het tellen in de echte praktijk, zeker in het sociale veld, meer weg van aarbeienjam dan van losse aardbeien. In hoofdstuk 2 – met als ondertitel “It’s personal” – komt aan de orde dat je getallen zelf maar beter kunt vertalen naar persoonlijke consequenties om in te schatten hoe “groot” of belangrijk ze zijn. Menselijk voorstelbare maten, daar draait het dan om.
Snap en onthoud de twaalf ondertitels, is de boodschap, en je bent gewapend tegen al te groot geloof in de betrouwbaarheid van kwantitatieve gegevens. Disraeli (“there are lies, damned lies and statistics”) zou het prachtig hebben gevonden.
Naast de gebruikelijke fouten die vaak worden gemaakt met statistiek (clusters van kankergevallen bijvoorbeeld, of overlijdensrisico’s in ziekenhuizen) kwam ik in hoofdstuk 4 (Up and down, a man and his dog) een mooi voorbeeld tegen van hoe maatregelen effectief kunnen lijken, terwijl ze dat niet zijn. Dat voorbeeld had betrekking op het plaatsen van snelheidscamera’s op bepaalde stukken weg – in Engeland – waar veel ongelukken gebeurden. Na het plaatsen namen de ongelukken af en werd geconcludeerd dat het beleid succesvol was geweest. Is dat nou echt altijd waar?
Het is zo dat veel gebeurtenissen, ook ongelukken, mede door toevallige factoren worden veroorzaakt. Bovenop een systematische oorzaak (de wandeling van “the man”) zit dan een toevallige ruis (his dog, die aan de riem nu weer eens achter de man loopt, en er dan weer voor scharrelt). Gemiddeld is de hond bij de man, maar er zit nogal wat variatie om dat gemiddelde. De toevallige variaties zijn soms de ene kant op, daarna weer de andere kant. Als er op een bepaald weggedeelte door toeval meer ongelukken gebeuren worden juist daar de camera’s neergezet. Als de toevallige variatie dan weer de andere kant op werkt, lijkt het alsof het door de camera’s komt, maar is het is niet meer dan het normale werk van het toeval.
Op deze manier kan een heleboel “resultaat” worden toegeschreven aan beleid, maar is het in feite het toeval dat dit teweegbrengt. Iets om goed in de gaten te houden waneer iemand zich er op beroept dat het gevoerde beleid effectief is geweest.
Michael Blastland en Andrew Dilnot, The Numbers Game, Gotham Books 2009, ISBN: 978-1-592-40423-0.
