Klimaatmodellen, onzekerheid en vertrouwen

Bijdrage door Prof. Dr. Gerbrand Komen, voormalig Hoofd Klimaat Onderzoek en Seismologie van het KNMI.

Klimaatmodellering is serieuze wetenschap

Er is veel energie gestoken in de ontwikkeling, diagnose en de validatie van klimaatmodellen. Daarbij kon men bouwen op kennis die eerder ontwikkeld was o.a. ten behoeve van de weersverwachting. Dit heeft er wellicht toe bij gedragen dat er bij het modelleren van het klimaat een voorsprong lijkt te zijn op de modellering van andere complexe systemen zoals biologische en sociaal/economische systemen.

Het verkennen van complexe systemen en het opzoeken van de grenzen van begrijpbaarheid en voorspelbaarheid is een spannend wetenschappelijk avontuur. Henk Tennekes, een van mijn voorgangers op het KNMI, was een van de eersten die daar – in de tachtiger jaren al – de aandacht op vestigde. Intussen zijn we een heel stuk verder. Er is beter inzicht in de beperkingen die bij het modelleren een rol spelen: de afbakening van het systeem, de kwaliteit van de parametrisaties, beschikbaarheid en kwaliteit van geschikte waarnemingen, het probleem van de kleine schalen, etc., en men heeft onderscheid leren maken tussen verschijnselen die goed, minder goed of helemaal niet gesimuleerd kunnen worden. Tijdens de themabijeenkomst over wetenschappelijke modellen die de KNAW op 20 juni 2011 organiseerde heb ik geprobeerd dit toe te lichten.

Je kunt klimaatmodellen niet ‘bewijzen’

Tijdens diezelfde bijeenkomst ging Joel Katzav nader in op de problemen die komen kijken bij de beoordeling van modellen. Daarbij werd onder meer verwezen naar Sir Karl Popper die het begrip degree of corroboration introduceerde, en werd gepleit voor een Severe Testing Approach. Ik wil daar enkele kanttekeningen bij maken.

  • Veel in het kader van de verschillende CMIP projecten uitgevoerde testen hebben al het karakter van een severe test.
  • Je moet je wel steeds bewust zijn van de pretenties van een model. Voorbeeld: je kunt niet verwachten dat een mondiaal model de convectieve neerslag in Nederland beschrijft. Daar moet je dan ook niet op testen. Het is op voorhand evident dat zo’n test niet succesvol kan zijn.
  • Wat je ook test, modellen van complexe systemen zijn niet te ‘bewijzen’.

Vooral dat laatste wordt niet door iedereen geapprecieerd. Fysicus Richard Feynman (geciteerd door Judith Curry) zei het zo: “Scientific knowledge is a body of statements of varying degrees of certainty — some most unsure, some nearly sure, but none absolutely certain.” Dit geldt voor alle wetenschappelijk kennis, en zeker ook voor onze kennis van complexe systemen.

Vertrouwen in klimaatmodellen is deels subjectief

Als je de modellen niet kunt bewijzen waarom zou je hun resultaten dan gebruiken? Antwoord: omdat je op een of andere manier vertrouwen hebt in het nut. Als het KNMI regen voorspelt kun je daar nuttig gebruik van maken als je moet besluiten of je wel of niet een paraplu mee wilt nemen.  Je hebt (enig) vertrouwen in die verwachtingen, omdat het KNMI in het verleden bewezen heeft kwaliteit te leveren.

Bij klimaatmodellen ligt dat wat ingewikkelder. Er zijn twee belangrijke toepassingen van het klimaatonderzoek die grote maatschappelijke implicaties hebben, nl de attributie van waargenomen veranderingen aan menselijk handelen, en verkenningen van mogelijke toekomstige ontwikkelingen. In beide gevallen is het gebruik van klimaatmodellen essentieel. Waarom zou je de resultaten van die modellen vertrouwen? Het maatschappelijk debat bewijst wel dat dit geen academische vraag is. Het IPCC spreekt van considerable confidence, terwijl anderen juist weinig vertrouwen hebben. Kennelijk heeft het vertrouwen in modellen een subjectief element, al dan niet cultureel bepaald.

Het onzekerheidsmonster

Om te begrijpen wat er aan de hand is, is het goed om te kijken naar de wijze waarop men modelonzekerheden probeert te beschrijven.

Klimaatonderzoekers ontlenen vertrouwen aan het vermogen van hun modellen om waarnemingen te simuleren. Dit vermogen kan goed gekwantificeerd worden met behulp van statistische technieken, en levert dus harde getallen. En die worden dan ook vaak gecommuniceerd. Daarbij mag men echter niet vergeten dat er ook sprake is van onderliggende subjectieve keuzes: de keuze van de te vergelijken grootheden, de gewichten die men daaraan toekent, en kwaliteitscontrole bij de selectie van data.

Onzekerheden in modelverwachtingen kan men kwantificeren door modellen onderling te vergelijken of door te kijken naar het effect van parameter-perturbaties. De verschillen die daarbij naar voren komen zijn een maat voor de onzekerheid. Grote verschillen impliceren grote onzekerheid. Omdraaien mag natuurlijk niet: je kunt niet zeggen dat de onzekerheid klein is als de resultaten van verschillende modellen goed overeenstemmen, of ongevoelig zijn voor parameterwaarden. Het is immers denkbaar dat alle beschouwde modellen een structurele imperfectie hebben.

Monsterbezwering

Jeroen van der Sluijs heeft in dit verband het begrip onzekerheidsmonster ingevoerd (geïnspireerd door Martijntje Smits, en inmiddels overgenomen door bv Judith Curry). In zijn artikel uit 2005 onderscheidt van der Sluijs verschillende manieren waarop met dit monster omgegaan wordt, zoals ontkenning, vereenvoudiging en ‘assimilatie’.

Het IPCC heeft geprobeerd, en probeert nog steeds, om het monster te temmen door het hanteren van strakke en verstandige richtlijnen voor de communicatie van onzekerheden. Prijzenswaardig, maar lastig in de praktijk. Zo noemt het recente IPCC Special Report on Managing the Risks of Extreme Events and Disasters to Advance Climate Change Adaptation het ‘zeer waarschijnlijk [90‑100 % kans] dat hittegolven in lengte, aantal en intensiteit op de meeste plaatsen (boven land) zullen toenemen’. Het percentage suggereert een mate van exactheid die er m.i. niet is, omdat het niet expliciet maakt dat de bewering gebaseerd is op het vertrouwen dat de auteurs in klimaatmodellen hebben.

Hoe nu verder? Van der Sluijs heeft, bouwend op eerder werk van Funtowicz en Ravetz, al in 2005 een mogelijke weg aangegeven onder de noemer ‘assimilatie’: eerlijk, open en transparant zijn over onzekerheid en onwetendheid, en ruimte geven voor wat wel extended peer review genoemd wordt, dat is een proces waarbij voor de bepaling van de kwaliteit van onderzoek belanghebbende individuen en groepen worden ingeschakeld die niet zelf bij het onderzoek betrokken zijn. Dat eerste lijkt me van evident belang. Over het tweede valt nog heel wat te zeggen (zie bv Hanekamp, 2010; en de discussie op Watts Up With That?). Hier ontbreekt de ruimte om daar verder op in te gaan. Maar misschien is het iets voor later?

Vertrouwen in de wetenschap

Waardering van klimaatmodellen is een ding, waardering voor de wetenschap is nog iets anders. Die waardering is een kostbaar goed. Von Storch spreekt in dit verband van ‘kapitaal’ dat je kunt vergroten, maar ook vernietigen. Helaas is het vertrouwen in de klimaatwetenschap niet meer vanzelfsprekend, getuige de reacties op bijvoorbeeld climategate.nl. Het is daarom belangrijk dat we nagaan wat er moet gebeuren om dat vertrouwen te verbeteren. Betere communicatie over onzekerheden hoort daar zeker bij.

Verder lezen

  • Curry, J.A. en P.J. Webster, 2011: Climate Science and the Uncertainty Monster. BAMS online.
  • Feynman, R., 1988: What Do You Care What Other People Think? W.W. Norton, 255 pp.
  • Funtowicz, S. and J. Ravetz, 1993: Science for the Post-Normal age. Futures, 25(7), 735–755.
  • Hanekamp, Jaap, 2010: De gedroomde werkelijkheid van Jerome Ravetz. Zie ook de discussie op Watts Up With That?
  • Hegerl, Gabriele en Francis Zwiers, 2011: Use of models in detection and attribution of climate change. WIREs Climate Change Volume  2, 570- 591.
  • IPCC, 2011: Summary for Policymakers of the Special Report on Managing the Risks of Extreme Events and Disasters to Advance Climate Change Adaptation.
  • Katzav Joel, Henk A. Dijkstra en A. T. J. (Jos) de Laat, 2011: Assessing climate model projections:  state of the art and philosophical reflections. Under review, Rev. of Geoph., 2011.
  • Labohm, Hans en Theo de Vries, 2011: Klimaatmodellen en hun tekortkomingen. Liberaal Reveil, september 2011.
  • Mastrandrea, M.D., C.B. Field, T.F. Stocker, O. Edenhofer, K.L. Ebi, D.J. Frame, H. Held, E. Kriegler, K.J. Mach, P.R. Matschoss, G.-K. Plattner, G.W. Yohe, and F.W. Zwiers, 2010: Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. Intergovernmental Panel on Climate Change (IPCC).
  • Swart, R., L. Bernstein, M. Ha-Duong and A.C. Petersen, 2009: Agreeing to disagree: Uncertainty management in assessing climate change, impacts and responses by the IPCC. Climatic Change 92, 1–29.
  • Tennekes, H., 1990: A Sideways Look at Climate Research. Weather 45, 67-68; 1996: An Ecological Grammar for Meteorologists. Weather 51, 326-328.
  • Van der Sluijs, J., 2005: Uncertainty as a monster in the science-policy interface: four coping strategies. Water Science & Technology, 52, 87-92.
  • Von Storch, 2011: Climate science, IPCC, postnormality and the crisis of trust. In: N. Roll-Hansen, 2011: Status i klimaforskningen. Kunnskap og usikkerhet, vitenskapelige og politiske utforderinger, Det Norske Videnskaps-Akademi, Novus forlag – Oslo, 151-182.
  • Von Storch, H., A. Bunde en N. Stehr, 2011: The Physical Sciences and Climate Politics In J.S. Dyzek, D. Schlosberg, and R. B. Norgaard (eds): The Oxford Handbook of Climate Change and Society. Oxford University Press. Oxford UK, 113-128.

Wetenschappelijke modellen, wat kunnen we ermee?

Inleiding door Henk Dijkstra, hoogleraar dynamische oceanografie (UU)

De wetenschap werkt met modellen, d.w.z. representaties van een afgebakend deel van de werkelijkheid. Modellen worden bijvoorbeeld gebruikt om gegevens te interpreteren, nieuwe verbanden te ontdekken en om een situatie in de toekomst te voorspellen. Bekende voorbeelden zijn macro-economische modellen, epidemiologische modellen en
klimaatmodellen.

Vertrouwen
In de diverse wetenschapsgebieden wordt nogal verschillend gedacht over de bruikbaarheid van de resultaten van wetenschappelijke modellen. Vanuit de natuurwetenschappen zijn er vele successen te melden met betrekking tot het gedrag van materie zowel op grote schaal (heelal) als op kleine schaal (elementaire deeltjes). Deze resultaten hebben veelal ons huidige wereldbeeld bepaald. We hebben bijvoorbeeld erg veel vertrouwen in de voorspelling van de volgende zonsverduistering en reizen zelfs naar verre oorden om dit mee te maken op de voorspelde tijd en plaats. In vele wetenschapsgebieden is er echter minder vertrouwen in de resultaten van wetenschappelijke modellen. De macro-economische modellen hebben de recente financiële crisis toch niet aan zien komen? En hoe groot is ons vertrouwen in de projecties van klimaatmodellen dat het in 2100 gemiddeld een paar graden warmer wordt op aarde ten gevolge van de toename van broeikasgassen in de atmosfeer?

Overeenstemming
Binnen alle wetenschapsgebieden is er een duidelijke gemeenschappelijk beeld van een wetenschappelijk model als een iteratief proces. Hierbij wordt een denkkader ontwikkeld op grond van observaties hetgeen leidt tot een model waaruit bepaalde toetsbare consequenties volgen. Deze uitkomsten in de virtuele wereld worden vervolgens onderzocht in de werkelijkheid en op grond van dit vergelijk wordt het denkkader wel of niet aangepast. Er is geen twijfel dat dit een succesvolle aanpak is, onafhankelijk van de vraag of het denkkader van het model de waarheid over de werkelijkheid weergeeft.

Verschillen
De grote verschillen tussen de wetenschapsgebieden zijn de geldigheidsgebieden van modellen en de processen die de aanpassing van modellen bepalen. In vele gebieden is het gebruik van modellen sterk gekoppeld  aan de vraag die men er mee wil beantwoorden, in andere streeft men naar universaliteit. De cultuur binnen een bepaald wetenschapsgebied kan sterk bepalen wanneer modellen worden aangepast op grond van nieuwe gegevens van de werkelijkheid. In het ene onderzoeksgebied gebeurt dit veel sneller dan in het andere gebied.

Wat zeiden anderen over dit onderwerp?
Op 20 juni 2011 organiseerde de KNAW een themabijeenkomst over het gebruik van wetenschappelijke modellen waarin het draaide om de relatie tussen de virtuele wereld van modellen en de werkelijke wereld. De geluidsbanden van de voordrachten en de discussie en de presentaties van de sprekers kunt u vinden via de links op deze pagina.

Wat vindt u?
Om de discussie voort te zetten met geïnteresseerden is deze blog aangemaakt. Elke maand zal er een case worden gepresenteerd met een introductie, een overzicht van het probleem en een concrete vraag of stelling. Daar kan dan een maand op worden gereageerd waarna een samenvatting en conclusie zal worden geformuleerd. Uiteindelijk beogen we met de blog inzicht te krijgen in een belangrijk onderliggend aspect van de vraag naar bruikbaarheid van wetenschappelijke modellen, namelijk hoe resultaten kunnen bijdragen tot een verstandige besluitvorming op allerlei niveaus in de maatschappij en wat de wetenschap zelf kan bijdragen om dit proces te bevorderen.

Hoe bepaal je het effect van vaccinatie tegen waterpokken in Nederland?

Bijdrage door dr. Jacco Wallinga, hoofd afdeling mathematische modellering van infectieziekten, RIVM; universitair hoofddocent epidemiologie, UMCU

Het experiment
De toetssteen van de exacte wetenschap is het experiment. Binnen de medische wetenschap is het ultieme experiment waaraan een nieuw geneesmiddel wordt onderworpen een dubbel-blind-gerandomiseerd-onderzoek-met-controlegroep. Vaak worden deze onderzoeken herhaald om invloed van toevallige omstandigheden uit te sluiten. De analyse van alle uitkomsten van alle onderzoeken-met-controlegroep tezamen (de “meta-analyse”) wordt gezien als de beste bepaling van de effectiviteit van een geneesmiddel.

Vaccinatie
Maar als je wilt weten wat het effect zal zijn van invoering van een nieuw vaccin tegen een besmettelijke ziekte, zoals het vaccin tegen waterpokken, dan geven dergelijke onderzoeken maar een half antwoord op de vraag. In onderzoeken wordt wel bepaald wat de bescherming is van een gevaccineerde tegen ziekte, maar de verminderde verspreiding van infectie naar anderen in de omgeving van de gevaccineerde wordt niet gemeten. We kunnen die verminderde verspreiding wel berekenen met een rekenmodel van infectieziekten. Maar hoe zeker kan een beleidsmaker zijn dat de uitkomst van zo’n berekening voor waterpokken een compleet antwoord op de vraag geeft?

Modelberekening als experiment
Je zou een modelberekening kunnen benaderen alsof het een experiment was. Eerst ga je na of er modelberekeningen zijn gedaan zonder vaccinatie die vergeleken kunnen worden met beschikbare waarnemingen (een “controle groep”). Dan ga je na of dezelfde berekeningen opnieuw zijn gedaan maar dan met vaccinatie (een “interventie groep”). Maar als je zoekt naar herhalingen, zoals die bij experiment gedaan worden om mogelijke effecten van arbitraire beslissingen in de proefopzet af te vangen, dan zal je daar niet zo snel een equivalent van terugvinden in modelberekeningen. Sterker nog, vaak wordt gevraagd om maar één model op te stellen en door te rekenen zodat er een eenduidig antwoord komt. Dat maakt alles overzichtelijker en goedkoper.

Monocultuur van modellen voor waterpokkenvaccinatie
In het geval van waterpokken gebruiken vrijwel alle gepubliceerde modelstudies nagenoeg identieke klonen van een en hetzelfde model (het “realistic age-structured model”). Er is niets mis met dat model. Maar als de onderzoekers duidelijk willen maken aan beleidsmakers hoe zeker ze zijn van het berekende effect van vaccinatie tegen waterpokken, dan is een herhaling van deze berekeningen met andere modellen een gezond idee.

Hoe zeker kan een beleidsmaker zijn van modelberekeningen
In de omgang met uitkomsten van wetenschappelijke modellen kunnen we ons laten inspireren door de experimenten. Er is niets mis met herhaling. De zekerheid van modeluitkomsten kunnen we alleen bepalen door met meerdere onderzoeksgroepen eenzelfde vraag te beantwoorden, door verschillende modelbenaderingen te volgen, door modellen te fitten aan verschillende sets van waarnemingen. En dan kunnen we na gaan denken over hoe we een “meta-analyse” moeten uitvoeren om uit de meerdere modeluitkomsten te distilleren wat het effect zal zijn en hoe zeker we dat denken te weten.

Referenties:

Meer over waterpokken:
http://www.rivm.nl/cib/infectieziekten-A-Z/infectieziekten/varicella_en_herpes_zoster/

Waarschijnlijk de enige modelstudie van waterpokken waar een “realistic age-structured model” wordt vergeleken met een ander model:
Romain Silhol, Pierre-Yves Boëlle. Modelling the effects of population structure on childhood disease: the case of varicella. PLoS Computational Biology 2011 7: e1002105.
http://www.ploscompbiol.org/article/info%3Adoi%2F10.1371%2Fjournal.pcbi.1002105