Monte Carlo Methods for Machine Learning : Practical and Theoretical Contributions for Importance Sampling and Sequential Methods - Télécom SudParis Accéder directement au contenu
Thèse Année : 2023

Monte Carlo Methods for Machine Learning : Practical and Theoretical Contributions for Importance Sampling and Sequential Methods

Méthodes Monte Carlo pour l'apprentissage automatique : contributions pratiques et théoriques pour l'échantillonnage préferentiel et les méthodes séquentielles

Résumé

This thesis contributes to the vast domain of Monte Carlo methods with novel algorithms that aim at adressing high dimensional inference and uncertainty quantification. In a first part, we develop two novel methods for Importance Sampling. The first algorithm is a lightweight optimization based proposal for computing normalizing constants and which extends into a novel MCMC algorithm. The second one is a new scheme for learning sharp importance proposals. In a second part, we focus on Sequential Monte Carlo methods. We develop new estimators for the asymptotic variance of the particle filter and provide the first estimator of the asymptotic variance of a particle smoother. Next, we derive a procedure for parameter learning within hidden Markov models using a particle smoother with provably reduced bias. Finally, we devise a Sequential Monte Carlo algorithm for solving Bayesian linear inverse problems with generative model priors.
Cette thèse contribue au vaste domaine des méthodes de Monte Carlo avec de nouveaux algorithmes visant à traiter l'inférence en grande dimension et la quantification de l'incertitude. Dans une première partie, nous développons deux nouvelles méthodes pour l'échantillonnage d'importance. Le premier algorithme est une nouvelle loi de proposition, basée sur sur des étapes d'optimisation et de coût de calcul faible, pour le calcul des constantes de normalisation. L'algorithme résultant est ensuite étendu en un nouvel algorithme MCMC. Le deuxième algorithme est un nouveau schéma pour l'apprentissage de propositions d'importance adaptées aux cibles complexes et multimodales. Dans une deuxième partie, nous nous concentrons sur les méthodes de Monte Carlo séquentielles. Nous développons de nouveaux estimateurs de la variance asymptotique du filtre à particules et fournissons le premier estimateur de la variance asymptotique d'un lisseur à particules. Ensuite, nous proposons une procédure d'apprentissage des paramètres dans les modèles de Markov cachés en utilisant un lisseur à particules dont le biais est réduit par rapport aux méthodes existantes. Enfin, nous concevons un algorithme de Monte Carlo séquentiel pour résoudre des problèmes inverses linéaires bayésiens avec des lois a priori obtenues par modèles génératifs.
Fichier principal
Vignette du fichier
125007_JANATI_EL_IDRISSI_2023_archivage_final.pdf (29.03 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04574845 , version 1 (14-05-2024)

Identifiants

  • HAL Id : tel-04574845 , version 1

Citer

Yazid Janati. Monte Carlo Methods for Machine Learning : Practical and Theoretical Contributions for Importance Sampling and Sequential Methods. Mathematics [math]. Institut Polytechnique de Paris, 2023. English. ⟨NNT : 2023IPPAS008⟩. ⟨tel-04574845⟩
0 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More