Achter de cijfers: De Corruptions Perceptions Index 2016 doorgelicht

Vandaag een klein beetje een Fremdkörper in de onderwerpen die op De Onderkast de revue zijn gepasseerd: een heus replicatieonderzoek van de Corruptions Perceptions Index 2016, in de vorm van een kwantitatieve her-analyse, met een verrassende uitkomst.

Corruptions Perceptions
De internationale overkoepelende organisatie Transparency International publiceert jaarlijks haar Corruptions Perceptions Index (hierna: CPI). Hierin worden landen voorzien van een score die reflecteert hoe corrupt hun publieke sector wordt beoordeeld – door kenners en experts, door de burger, you name it. De score die hieruit volgt verstuurt naar eigen zeggen een krachtige boodschap aan landen, in het kader van internationaal shamen (zoals ook een groot deel van de andere activiteiten van de organisatie in het teken hiervan staat), en overheden voelen zich idealiter gedwongen om van hun CPI-score nota te nemen en stappen te ondernemen, op naar het maximaal te behalen aantal punten.

De CPI komt als volgt tot stand:

  1. Selectie van databronnen. Voor 2016 werden dertien databronnen van twaalf verschillende instituties geraadpleegd. Voorwaarden waaraan deze bronnen moesten voldoen zijn dat de corruptiepercepties worden gekwantificeerd, dat ze voldoende methodologisch verantwoord en gediversifieerd zijn, dat het bijbehorende onderzoek door een neutraal genoeg instituut is uitgevoerd, en dat er genoeg variatie in de scores is waar te nemen, opdat er daadwerkelijk een schaal voor de verschillende landen kan worden gedefinieerd.
  2. Alle databronnen worden gestandaardiseerd op een schaal van 0 tot 100, waarbij 100 een perfect, corruptievrij land weerspiegelt – althans, gepercipieerd –, en 0 een op het oog totaal corrupte bananenrepubliek.
  3. Uit de gestandaardiseerde gegevens wordt het gemiddelde getrokken voor alle landen: dat gemiddelde is de definitieve CPI-score.
  4. Rapporteren van de mate van onzekerheid: de CPI wordt vergezeld van  standaardfout en betrouwbaarheidsinterval, om de variatie in de gehanteerde databronnen weer te geven.

Kritiek
Het vatten van die geïnformeerde blik van analisten en experts in een score van 0 tot 100 punten voor ieder land is vaak bekritiseerd. In een vurig pleidooi hebben Theresa Thompson en Anwar Shah daar nogal wat over te zeggen. Zo betogen zij dat de verschillende gehanteerde corruptiemaatstaven vooral totaal verschillende dimensies van corrupties meten: sommige schalen meten kleinschalige vergrijpen, terwijl andere schalen juist enorme misdrijven in kaart brengen, en sommigen meten hoe vaak corruptie voorkomt terwijl anderen juist meten hoe hoog de geldbedragen zijn die ermee zijn gemoeid. Het is volstrekt onduidelijk waarom het op elkaar afstemmen van deze metingen leidt tot een accurate meting van corruptie: integendeel, een geaggregeerd beeld leidt vaak juist tot het verdwijnen van de kleine nuance, en dus ook veel meer onduidelijkheid.

Voorbeelden doen wonderen. Stel dat in stad A vijf moorden worden gepleegd en daarnaast nog 95 gevallen van winkeldiefstal, terwijl in stad B 95 moorden en 5 winkeldiefstallen worden gepleegd. De bevolkingscijfers van beide steden zijn vergelijkbaar. Volgens de CPI zouden de criminaliteitscijfers voor beide steden bijgevolg ook gelijk zijn, conform de grondgedachte dat het gemiddelde van beide databronnen een objectieve geaggregeerde score geeft. Maar zelfs voor de grootste statabeet zou het als een boude bewering overkomen om te stellen dat beide steden even veilig zijn om in te verblijven.

Daarnaast stelt Transparency International dat de meeste bronnen die ze gebruiken een behoorlijk vergelijkbare score hanteren voor landen voor wat betreft corruptie – met een hoge onderlinge correlatiecoëfficiënt –, en dat daarom de gebruikte rankings vrij accuraat zijn. Dit zou waar kunnen zijn op het moment dat dat elke corruptie-index op zichzelf een onafhankelijke waarneming zou vormen, los van alle andere indices. Dit is echter niet het geval: vaak gaan experts juist bij andere indices te rade om een referentie te hebben voor de manier waarop ze het land in kwestie beoordelen.

Verder stelt Dan Hough dat doordat alleen de perceptie van corruptie gemeten wordt, dit alleen leidt tot het versterken van reeds bestaande stereotypen van een land – in het verlengde van voornoemde correlatieproblematiek. Zo komt een land met een negatief, corrupt stigma er natuurlijk nooit van af. Het rijke Westen mag zichzelf weer op de borst kloppen in de hegemoniale positie op dit gebied – met uitzondering van Australië en Singapore alleen maar Europese landen in de top 15 –, terwijl andere continenten er een stuk bekaaider van af moeten komen.

Maar de score is geenszins bedoeld als allesbepalend panacee, geeft ook Transparency International zelf toe. Corruptie is nu eenmaal een moeilijk kwantificeerbaar terrein. In hun eigen woorden:

Behind these numbers is the daily reality for people living in these countries. The index cannot capture the individual frustration of this reality, but it does capture the informed views of analysts, businesspeople and experts in countries around the world.

De krachtige boodschap die van de becijfering uit kan gaan gaat prevaleert dus boven de dagelijkse realiteit. Dat kun je een twijfelachtige overweging vinden, maar mensen zijn nu eenmaal gek op lijstjes, cijfers en waarderingen. Als dat de vorm is die het goed doet, biedt dat natuurlijk in elk geval een prima podium om het transparantie-evangelie te prediken. Typisch gevalletje ‘boodschap overstijgt de vorm’ dus.

Her-analyse
Van alle kritische geluiden nam ik kennis bij het verschijnen van de CPI voor 2016. Ik bleef echter om een andere reden hangen op het onderwerp. Beroepsmatig ben ik sinds enige tijd veel bezig met het bewerken van datasets. De problematiek rondom de zeggingskracht van de CPI-scores daargelaten, was mijn interesse naar de totstandkoming van de cijfers derhalve wel gewekt. Tijd om dus eens een kijkje te nemen onder deze motorkap.

Gelukkig doet Transparency International zijn naam eer aan door de dataset die de basis vormt voor de totstandkoming van de rankings die samen de beoordeling per land vormen openbaar ter beschikking te stellen. Een eenvoudig .csv-bestand vormt de bron van de scores. We zien lijsten van landen, de CPI-score, en daarnaast alle losse, voor de CPI geüniformeerde en gestandaardiseerde databronnen.

Het gemiddelde uit alle losse scores trekken, zoals de simpele formule van de CPI voorschrijft: dat moet ik toch ook kunnen!, dacht ik edelmoedig. Maar na het invoeren van de formule om de CPI-score te repliceren, vielen de schellen van mijn ogen: replicatie van de geaggregeerde score leidt tot een heel ander lijstje dan dat wat is gepubliceerd! Hoewel de verschillen behoorlijk marginaal zijn (de vetgedrukte tekst hierboven is vooral voor het dramatische effect), kan het verschil toch oplopen tot 0,8 CPI-punt. Op een schaal van 100 punten toch best behoorlijk!

Hieronder een overzicht van de grootste verschillen. Omdat de CPI origineel ook wordt afgerond op een heel cijfer, geef ik die ook in mijn replicatie weer. Het verschil geef ik wel in 2 decimalen.

land plek op de ranglijst gepubliceerde rating CPI 2016 replicatie verschil
Verenigde Staten 18 74 75 +0,56
Bhutan 27 65 66 +0,60
Slowakije 54 51 52 +0,50
Maleisië 55 49 50 +0,50
Montenegro 64 45 46 +0,75
Colombia 90 37 38 +0,63
Belarus 79 40 39 -0,57
Lesotho 83 39 38 -0,60
Oost-Timor 101 35 34 -0,67
Pakistan 116 32 31 -0,71
Papoea Nieuw-Guinea 136 28 27 -0,80
Kyrgyzië 136 28 27 -0,57
Guinée 142 27 26 -0,60
Madagaskar 145 26 25 -0,57
Haïti 159 20 19 -0,60
Afghanistan 169 15 14 -0,60
Zuid-Soedan 175 11 10 -0,60

 

Ronduit shocking, is het niet? Interessant om hierbij op te merken is dat vrijwel alle landen die te laag worden gewaardeerd landen zijn die bij de eerste 80 op de ranglijst zitten. Complementair zijn vrijwel alle landen die te hoog worden gewaardeerd landen die lager staan dan plek 80 op de ranglijst.

Het gaat natuurlijk om relatief verwaarloosbare verschillen. Maar waar moeten we die verschillen in waardering in zoeken? Is het echt aan de gehanteerde standaardfout en betrouwbaarheidsinterval te wijten (waar het, mede door het vreemde lineaire verband uit de vorige alinea, wel de meeste schijn van heeft)? Of is het om landen als de VS en Bhutan scherp te houden en uit te dagen hun plek op de ranglijst op te krikken? En anderzijds om landen als Pakistan en Oost-Timor niet onder een al te negatief zelfbeeld te laten leiden?

We kijken verder naar wat deze wetenschap zou doen voor de ranglijst: worden landen veel hoger of veel lager geplaatst dan ze zouden moeten staan? Frappant genoeg blijft het effect op de landen die daadwerkelijk foutief gewaardeerd zijn beperkt. Maar als we de lijst van 176 landen gaan herschikken, zijn er wel weer een hoop andere landen die er bekaaid van af komen, of juist zwaar overgewaardeerd blijken te zijn:

  • Colombia stond op plek 90, maar moet staan op plek 86 (+4).
  • Mauritanië en Mozambique stonden op plek 142, maar moet staan op plek 138 (+4).
  • Bhutan stond op plek 27, maar moet staan op plek 24 (+3).
  • Nicaragua, Bangladesh, Kameroen, Gambia, en Kenia stonden op plek 145, maar moeten staan op plek 142 (+3).
  • Honduras stond op plek 123, maar moet staan op plek 130 (-7).
  • Oost-Timor stond op plek 101, maar moet staan op plek 107 (-6).
  • Madagaskar stond op plek 145, maar moet staan op plek 150 (-5).
  • Wit-Rusland stond op plek 79, maar moet staan op plek 82 (-3).
  • Lesotho stond op plek 83, maar moet staan op plek 86 (-3).

Ik stond hier enigszins van te kijken. Transparency International doet zijn best om te onderstrepen dat de Corruptions Perceptions Index internationaal een game changer kan zijn. Iets waar alleen al methodologisch veel op af te dingen valt – en waar in de loop der tijd ook veel op is afgedongen. Maar dan blijkt bij replicatie er een totaal ander lijstje uit te komen!

Met het opstellen van zo’n index roep je dus meer vragen op dan je beantwoordt, en ondermijnt de organisatie juist datgene waar ze voor zou moeten staan: het bestrijden van corruptie en het bevorderen van transparantie.

Advertenties

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s