De kunst van het interpreteren van enquêtes

Nieuws20 mei 2013, 16:30
Meer dan 97% van de klimatologen zou de AGW-'consensus' onderschrijven. Noord-Koreaanse toestanden!
Een gastbijdrage van Arthur Rörsch.
Een opmerkelijk verschijnsel in de wetenschap in het algemeen, en in de hedendaagse beoefening van de klimatologie in het bijzonder, is dat bepaalde waarnemingen door wetenschappers met verschillend inzicht, verschillend worden geïnterpreteerd. Een interessant voorbeeld is een recent artikel van J. Cook et al, Quantifying the consensus on anthropogenic global warming in the scientific literature, Environmental research letter 8 (2) 2013.
Abstract:
We analyze the evolution of the scientific consensus on anthropogenic global warming (AGW) in the peer-reviewed scientific literature, examining 11 944 climate abstracts from 1991–2011 matching the topics ‘global climate change’ or ‘global warming’. We find that 66.4% of abstracts expressed no position on AGW, 32.6% endorsed AGW, 0.7% rejected AGW and 0.3% were uncertain about the cause of global warming. Among abstracts expressing a position on AGW, 97.1% endorsed the consensus position that humans are causing global warming. In a second phase of this study, we invited authors to rate their own papers. Compared to abstract ratings, a smaller percentage of self-rated papers expressed no position on AGW (35.5%). Among self-rated papers expressing a position on AGW, 97.2% endorsed the consensus. For both abstract ratings and authors’ self-ratings, the percentage of endorsement among papers expressing a position on AGW marginally increased over time. Our analysis indicates that the number of papers rejecting the consensus on AGW is a vanishingly small proportion of the published research.
Niet in de abstract is vermeld, doch wel in de sectie 5.
Conclusion:
However, there is a significant gap between public perception and reality, with 57% of the US public either disagreeing or unaware that scientists overwhelmingly agree that the earth is warming due to human activity (Pew2012.)
Hieraan verbinden Cook et al de volgende conclusie:
Contributing to this ‘consensus gap’ are campaigns designed to confuse the public about the level of agreement among climate scientists. In 1991, Western Fuels Association conducted a $510 000 campaign whose primary goal was to ‘reposition global warming as theory (not fact)’. A key strategy involved constructing the impression of active scientific debate using dissenting scientists as spokesmen (Oreskes 2010). The situation is exacerbated by media treatment of the climate issue, where the normative practice of providing opposing sides with equal attention has allowed a vocal minority to have their views amplified (Boykoff and Boykoff 2004). While there are indications that the situation has improved in the UK and USA prestige press (Boykoff 2007), the UK tabloid press showed no indication of improvement from 2000 to 2006 (Boykoff and Mansfield 2008).
Welke andere interpretatie zou men nu aan deze waarnemingen kunnen geven? Kritische opmerking vooraf: de conclusie dat de media onevenredige aandacht aan ÁGW-sceptische standpunten zouden hebben gegeven lijkt niet gerechtvaardigd. Het is pas sinds kort dat enkele bladen enige significante aandacht aan deze standpunten zijn gaan geven.
Een eerste belangrijke onderzoekvraag is welke betekenis bij de waarneming 32.6% endorsed AGW aan endorse moet worden gegeven. Is dat steunen, onderschrijven, dus geloven in? Of is het dat de papers een bewijs leveren voor AGW? Dat laatste lijkt onwaarschijnlijk want het aantal onderzoekers dat daadwerkelijk onderzoek aan het ‘broeikaseffect’ verricht, waarbij een verandering van de temperatuur met de CO2-concentratie wordt bewezen, is zeer beperkt. Het laatste decennium zelfs nihil. Een goede vraag in deze enquête aan klimaatauteurs zou zijn geweest: op grond waarvan steunt U het AGW–concept? De auteurs vonden die vraag wellicht overbodig want ze halen aan in sectie 4, Discussion:
Of note is the large proportion of abstracts that state no position on AGW. This result is expected in consensus situations where scientists ‘ . . . generally focus their discussions on questions that are still disputed or unanswered rather than on matters about which everyone agrees’ (Oreskes 2007. p 72).
Aldus wordt hiermee gesuggereerd dat al deze auteurs (66.4%) van mening zijn: ‘the AGW science is settled’. Maar dat sluit niet een andere interpretatie uit, namelijk dat 66.4 % van de klimaatonderzoekers de belangstelling voor AGW heeft verloren. Vervolgens melden de auteurs dat in vervolg op het onderzoek van abstracts:
We emailed 8547 authors an invitation to rate their own papers and received 1200 responses (a 14% response rate). Compared to abstract ratings, a smaller percentage of self-rated papers expressed no position on AGW (35.5%). Among self-rated papers expressing a position on AGW, 97.2% endorsed the consensus.
Met slechts een response rate van 14 % onder de klimaat auteurs wordt het een beetje goochelen met getallen uit welke groep die 14 % respondenten voortkwamen. Uit de 66 %, met niet noemen van AGW of voornamelijk uit de groep van 33 % die AGW wel noemen. Is dit laatste het geval dan is het vinden van 97% consensus niet zo wonderlijk. Een klimaatauteur zal zeker AGW noemen, als hij gelooft in het concept. Aldus, de alternatieve interpretatie van de waarnemingen van Cook et al is: zo’n 60 % van de klimaatonderzoekers is niet meer geïnteresseerd in AGW, maar de reden waarom niet, komt niet boven water.
 Dit percentage komt al dicht bij 57 % van het Amerikaanse publiek. Zou dat laatst genoemde percentage nu werkelijk veroorzaakt zijn door een grootscheepse actie van ‘sceptici’ die de media hebben weten te beïnvloeden? Of is het juist de drammerige manier waarop een (beperkt) aantal AGW–alarmisten het concept blijven verkondigen, die afkeer ervan is gaan opwekken? Ook onder de 60 % klimaatonderzoekers, die notie beginnen te nemen van kritiek van wetenschapsbeoefenaren uit andere disciplines dan de klimatologie, fysici, meteorologen, geologen, astronomen, die wel degelijk een kijk hebben op de deeldisciplines waaruit het klimatologisch onderzoek is opgebouwd. Die 60 % onderzoekers worden misschien wat voorzichtiger om in de IPCC mainstream view te blijven meelopen.
Een interessante enquête zou kunnen worden gehouden onder deze niet gespecialiseerde klimaatwetenschappers in hoeverre zij het AGW–concept nog accepteren als bruikbare inbreng voor voortgezet onderzoek in hun eigen deeldisciplines. Zou het PBL, met name Bart Verheggen, op nationaal niveau, zo’n enquête aandurven? Maar dan ook met de specifieke vraag: waarom accepteert U het concept al dan niet? Dat zou opheldering kunnen geven over de heersende controverse over de wetenschappelijke aanvaardbaarheid van het AGW–concept.
Bij de interpretatie van zo’n enquête zou ik ook geen waarde willen hechten aan percentages consensus. Maar wel aan een evaluatie van de kwaliteit van het oordeel van de gebruikte argumenten. Bij de Cook et al enquête ontbreekt volledig de analyse van de oorzaak van uiteenlopende visies. Dat is denk ik, de achterliggende reden waarom opponenten van de interpretaties van Cook et al deze ‘tripe’ (kletskoek) durven te noemen.
Aldus Arthur Rörsch.
Zie ook Marcel Crok hier en Pierre Gosselin/Axel Bojanowski hier.
 
Voor mijn eerdere DDS-bijdragen, zie hier.
Ga verder met lezen
Dit vind je misschien ook leuk
Laat mensen jouw mening weten