Thèse Année : 2025

Adaptive and Efficient Continual Learning in Dynamic Environments

Apprentissage Continu Adaptatif et Efficace dans des Environnements Dynamiques

Rui Yang

Résumé

As data in real-world applications continuously evolve, the ability of artificial intelligence systems to learn incrementally while preserving previously acquired knowledge has become increasingly critical. However, deploying continual learning (CL) methods in practice is impeded by blurred task boundaries, severe data imbalance, and the high computational demands and data privacy concerns associated with large models. This thesis addresses these challenges through three core contributions, thus enhancing the feasibility and robustness of CL in dynamic environments. First, to manage blurred task boundaries, where data distributions often overlap, we propose a novel Distribution-Shift Incremental Learning (DS-IL) scenario. In this framework, an entropy-guided learning approach effectively leverages these overlaps to mitigate catastrophic forgetting without maintaining large memory buffers. In real-world scenarios, data imbalance is a common challenge that can significantly hinder the performance of learning systems. To address this issue, our second contribution introduces a Memory Selection and Contrastive Learning (MSCL) strategy. By actively sampling representative instances and coupling them with current data in a contrastive loss, the model better balances underrepresented classes and domains. This approach not only preserves crucial historical information but also maintains robust performance under significantly skewed data distributions. Finally, to alleviate the computational overhead of continually training diffusion models, particularly relevant in scenarios with data privacy constraints or prohibitive storage costs, we introduce a Multi-Mode Adaptive Generative Distillation (MAGD) framework. Using generative distillation, noisy intermediate representations, and exponential moving averages, this method enables efficient continual updates while preserving high-quality image generation and classification performance. Collectively, these contributions form a comprehensive framework for scalable, memory-efficient, and computationally tractable continual learning. Through effective knowledge retention, dynamic adaptation to imbalanced data, and resource-efficient generative replay, this thesis expands the applicability of CL methods to a wider range of real-world settings.
Face à l'évolution continue des données dans les applications du monde réel, la capacité des systèmes d'intelligence artificielle à apprendre de manière incrémentale tout en préservant les connaissances acquises précédemment est devenue de plus en plus critique. Cependant, le déploiement des méthodes d'apprentissage continu (CL) dans la pratique est entravé par des frontières de tâches floues, un déséquilibre sévère des données, et les fortes exigences computationnelles et les préoccupations liées à la confidentialité des données associées aux grands modèles. Cette thèse aborde ces défis à travers trois contributions principales, améliorant ainsi la faisabilité et la robustesse du CL dans des environnements dynamiques. Premièrement, pour gérer les frontières de tâches floues, où les distributions de données se chevauchent souvent, nous proposons un nouveau scénario d'Apprentissage Incrémental du Changement de Distribution (DS-IL). Dans ce cadre, une approche d'apprentissage guidée par l'entropie exploite efficacement ces chevauchements pour atténuer l'oubli catastrophique sans maintenir de grands tampons de mémoire. Dans les scénarios réels, le déséquilibre des données est un défi commun qui peut entraver significativement la performance des systèmes d'apprentissage. Pour aborder ce problème, notre deuxième contribution introduit une stratégie de Sélection de Mémoire et d'Apprentissage Contrastif (MSCL). En échantillonnant activement des instances représentatives et en les couplant avec des données actuelles dans une perte contrastive, le modèle équilibre mieux les classes et les domaines sous-représentés. Cette approche préserve non seulement des informations historiques cruciales, mais maintient également une performance robuste sous des distributions de données considérablement biaisées. Enfin, pour alléger la charge computationnelle de la formation continue des modèles de diffusion, particulièrement pertinente dans des scénarios avec des contraintes de confidentialité des données ou des coûts de stockage prohibitifs, nous introduisons un cadre de Distillation Générative Adaptative Multi-Mode (MAGD). Utilisant la distillation générative, des représentations intermédiaires bruyantes, et des moyennes mobiles exponentielles, cette méthode permet des mises à jour continues efficaces tout en préservant une haute qualité de génération d'images et de performance de classification. Collectivement, ces contributions forment un cadre complet pour un apprentissage continu, évolutif, efficace en mémoire et gérable computationnellement. À travers une rétention de connaissances efficace, une adaptation dynamique à des données déséquilibrées et une relecture générative efficiente en ressources, cette thèse étend l'applicabilité des méthodes de CL à un plus large éventail de paramètres du monde réel.
Fichier principal
Vignette du fichier
Thesis_continual_learning_YR.pdf (3) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04943017 , version 1 (12-02-2025)

Identifiants

  • HAL Id : tel-04943017 , version 1

Citer

Rui Yang. Adaptive and Efficient Continual Learning in Dynamic Environments. Computer Science [cs]. École Centrale de Lyon, 2025. English. ⟨NNT : ⟩. ⟨tel-04943017⟩
0 Consultations
0 Téléchargements

Partager

More