Steps Forward in Approximate Computational Inference

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2019-03-18
Date
2019
Major/Subject
Mcode
Degree programme
Language
en
Pages
67 + app. 88
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 22/2019
Abstract
This thesis deals with approximate computational inference, particularly with a relatively recent approach in it known as approximate Bayesian computation (ABC). ABC deals with simulator-based models whose likelihood function is intractable. To overcome the intractability of the likelihood, ABC uses simulations from the model and a principled approximation of the posterior that is traditionally defined via a distance function and a threshold. I represent the ABC approximation as an approximation of the underlying likelihood function of the simulator-based model. This interpretation provides an intuitive way of understanding the approximation in ABC. I also consider the bias and Monte Carlo error in ABC, and demonstrate that better results can be acquired with a proper approximation than with a corresponding exact method in a given computational time. I further propose using an approximation of the likelihood function in investigating the reliability of ABC inferences. This approach reveals identifiability issues with a well-known disease transmission model for tuberculosis. A new transmission model is proposed that resolves these issues by more closely modelling the epidemiological process of tuberculosis. Updated estimates of the epidemiological parameters are then provided together with an estimate of the underlying infectious population that is better aligned with the epidemiological knowledge of the disease. Apart from ABC, I consider modelling computational inference problems with graphs, and how the graph representations can be used in the algorithmic level. The graph representations are used in learning Bayesian networks with more granular dependency structures. Finally, graphs are used for effective modelling of the ABC procedure and streamlining many aspects of the inference in a new open-source software called ELFI. In addition to graph-based modelling, ELFI provides distributed parallelization, data re-use and many other practical features for performing ABC inferences.

Tämä väitöskirja käsittelee approksimatiivista laskennallista päättelyä, erityisesti siihen kuuluvaa suhteellisen uutta lähestymistapaa nimeltä approksimatiivinen Bayesilainen laskenta (englanniksi approximate Bayesian computation, ABC). Tässä lähestymistavassa käytetään simulaattoripohjaisia malleja, joiden uskottavuusfunktio on hankala. Kiertääkseen uskottavuusfunktion käytön, ABC hyödyntää mallista saatavia simulaatioita sekä johdonmukaista approksimaatiota, joka perinteisesti määritetään etäisyysfunktion ja kynnysarvon avulla. Tässä väitöskirjassa esitän ABC-approksimaation sen simulaattoripohjaisen mallin määrittelemän uskottavuusfunktion approksimaationa. Tämä tulkinta tarjoaa luonnollisen tavan ABC-approksimaation toiminnan ymmärtämiseen. Käsittelen myös harhaa ja Monte Carlo virhettä ABC:ssä, sekä havainnollistan miten sopivaa approksimaatiota käyttäen voidaan saada parempia tuloksia annetussa laskennallisessa ajassa kuin vastaavalla eksaktilla menetelmällä. Lisäksi esitän uskottavuusfunktion approksimaation käyttämistä ABC päätelmien luotettavuuden arvioimiseen. Tämä lähestymistapa paljastaa identifioituvuusongelmia tunnetusta tuberkuloosin tartuntamallista. Kehitän uuden tartuntamallin joka korjaa nämä ongelmat mallintamalla entistä tarkemmin tuberkuloosin epidemiologista prosessia. Lasken epidemiologisille parametreille päivitetyt arviot sekä arvion koko infektiivisen populaation koosta joka on paremmin sopusoinnussa taudin epidemiologiatiedon kanssa. ABC:n lisäksi tarkastelen laskennallisen päättelyn mallintamista graafien avulla, ja kuinka graafiesitystä voidaan hyödyntää algoritmien tasolla. Graafiesitystä käytetään tavallista yksityiskohtaisempia riippuvuusrakenteita sisältävien Bayesilaisten verkkojen oppimiseen. Lopulta graafeja sovelletaan ABC prosessin mallintamiseen, sekä monien päättelyvaiheiden automatisointiin uudessa avoimen lähdekoodin ELFI-nimisessä ohjelmistossa. Graafipohjaisen mallintamisen lisäksi ELFI tarjoaa tuen hajautetulle laskennalle, datan uudelleenkäytölle, sekä monille muille käytännöllisille ominaisuuksille ABC päättelyiden suorittamiseen.
Description
Supervising professor
Kaski, Samuel, Prof., Aalto University, Department of Computer Science, Finland
Thesis advisor
Corander, Jukka, Prof., University of Oslo, Norway
Gutmann, Michael U., Dr., University of Edinburgh, UK
Keywords
approximate bayesian computation, simulator-based models, approksimatiivinen bayesilainen laskenta, simulaattoripohjaiset mallit
Other note
Parts
  • [Publication 1]: Johan Pensar, Henrik Nyman, Jarno Lintusaari, Jukka Corander. The role of local partial independence in learning of Bayesian networks. International Journal of Approximate Reasoning, 2016, Volume 69, Issue C, Pages 91-105.
    DOI: 10.1016/j.ijar.2015.11.008 View at publisher
  • [Publication 2]: Jarno Lintusaari, Michael U. Gutmann, Samuel Kaski, Jukka Corander. On the Identifiability of Transmission Dynamic Models for Infectious Diseases. GENETICS, 2016, Volume 202, Issue 3, Pages 911-918.DOI: 10.1534/genetics.115.180034
  • DOI: 10.1093/sysbio/syw077 View at publisher
  • [Publication 4]: Jarno Lintusaari, Henri Vuollekoski, Antti Kangasrääsiö, Kusti Skyten, Marko Järvenpää, Pekka Marttinen, Michael U. Gutmann, Aki Vehtari, Jukka Corander, Samuel Kaski. ELFI: Engine for Likelihood Free Inference. Journal of Machine Learning Research, 2018, Volume 19, pages 1-7. Full Text in Acris/ Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201810025208.
  • [Publication 5]: Jarno Lintusaari, Paul Blomstedt, Tuomas Sivula, Michael U. Gutmann, Samuel Kaski, Jukka Corander. Resolving outbreak dynamics using Approximate Bayesian Computation for stochastic birth-death models. Submitted to a journal, 23 Mar 2018.
    DOI: 10.1101/215533 View at publisher
Citation