Advances in Sequential Monte Carlo-based Statistical Learning: Online Algorithmic and Variational Inference
Tid: Fr 2024-12-13 kl 10.00
Plats: F3 (Flodis), Lindstedtsvägen 26 & 28
Språk: Engelska
Ämnesområde: Tillämpad matematik och beräkningsmatematik Matematisk statistik
Respondent: Alessandro Mastrototaro , Sannolikhetsteori, matematisk fysik och statistik
Opponent: Professor Matti Vihola, University of Jyväskylä
Handledare: Professor Jimmy Olsson, Sannolikhetsteori, matematisk fysik och statistik
QC 2024-11-14
Abstract
Denna avhandling handlar om sekventiella Monte Carlo-metoder (SMC), även kallade partikelfilter, med fokus på statistisk online-inlärning i generella tillståndsmodeller (TM). TM är idag ett ovärderligt verktyg för modellering av seriell data inom en rad olika vetenskapliga och tekniska fält såsom reglerteknik, signalbehandling, biologi och finans. Genom att inkludera latenta, markovska tillstånd erbjuder TM hög modelleringsflexibilitet, medan SMC-metoder, som propagerar viktade stickprov rekursivt med hjälp av vägd simulering och återsampling, är väl lämpade för tillståndsinferens och modellparameterskattning. Denna avhandling, som består av fyra artiklar, bidrar till att förbättra online-funktionaliteten hos SMC, där "online" avser numeriskt stabila skattningsalgoritmer med konstant beräkningskomplexitet och konstant minnesbehov över tid.
Avhandlingens bidrag kan delas in i två delar. Den första delen, vilken omfattar två artiklar, handlar om algoritmisk inferens, med fokus på både bayesiansk tillståndsinferens via SMC-metoder och utvärdering av deras noggrannhet. Båda artiklarna tar upp de utmaningar som orsakas av så kallad partikeltrajektoriedegenerering, ett oundvikligt problem som orsakas av återsamplingsoperationen i SMC-algoritmer. I Artikel A presenteras AdaSmooth, en ny algoritm som har utvecklats för att approximera väntevärden under den simultana posteriorifördelningen för tillstånden hos en generell TM när objektfunktionen är additiv i tillstånden. AdaSmooth, som använder adaptiva bakåtsamplingstekniker, undviker trajektoriedegenereringen och ger numeriskt stabila skattningar över oändliga tidshorisonter med låga beräkningskrav. Artikel B presenterar ALVaR, en online-metod som konsistent skattar den asymptotiska variansen hos ett partikelfilter baserat enbart på partikelgenealogin, utan ytterligare sampling.
Den andra delen kombinerar SMC-metoder med variationsinferens och syftar till att utveckla online-algoritmer för modellparameterskattning i TM och adaption av förslagskärnan i partikelfilter, där det senare är avgörande för noggrannheten hos skattningen av tillståndsposteriorifördelningarna. Artikel C introducerar OVSMC, som utvidgar så kallad variations-SMC till online-situationen och möjliggör simultan skattning av okända modellparametrar och optimering av förslagskärnan. I Artikel D presenteras OSIWAE, som utför variationsinferens online genom att optimera en nedre gräns för den tidsnormaliserade asymptotiska log-likelihood-funktionen, vilket leder till ett mer teoretiskt välgrundat tillvägagångssätt än OVSMC. OSIWAE kräver tillgång till filterfördelningarna och deras derivator, som i allmänhet saknar slutna uttryck. Därför utvecklas en partikelbaserad version, SMC-OSIWAE, som uppskattar filterderivatorna med hjälp av AdaSmooth från Artikel A.