Continual learning for image classification
Apprentissage continu pour la classification des images
Résumé
This thesis deals with deep learning applied to image classification tasks. The primary motivation for the work is to make current deep learning techniques more efficient and to deal with changes in the data distribution. We work in the broad framework of continual learning, with the aim to have in the future machine learning models that can continuously improve.We first look at change in label space of a data set, with the data samples themselves remaining the same. We consider a semantic label hierarchy to which the labels belong. We investigate how we can utilise this hierarchy for obtaining improvements in models which were trained on different levels of this hierarchy.The second and third contribution involve continual learning using a generative model. We analyse the usability of samples from a generative model in the case of training good discriminative classifiers. We propose techniques to improve the selection and generation of samples from a generative model. Following this, we observe that continual learning algorithms do undergo some loss in performance when trained on several tasks sequentially. We analyse the training dynamics in this scenario and compare with training on several tasks simultaneously. We make observations that point to potential difficulties in the learning of models in a continual learning scenario.Finally, we propose a new design template for convolutional networks. This architecture leads to training of smaller models without compromising performance. In addition the design lends itself to easy parallelisation, leading to efficient distributed training.In conclusion, we look at two different types of continual learning scenarios. We propose methods that lead to improvements. Our analysis also points to greater issues, to over come which we might need changes in our current neural network training procedure.
Cette thèse traite de l'apprentissage en profondeur appliqu'e aux tâches de classification des images. La principale motivation du travail est de rendre les techniques d’apprentissage en profondeur actuelles plus efficaces et de faire face aux changements dans la distribution des données. Nous travaillons dans le cadre élargi de l’apprentissage continu, dans le but d’avoir 'a l’avenir des modèles d’apprentissage automatique pouvant être améliorés en permanence.Nous examinons d’abord la modification de l’espace étiquette d’un ensemble de données, les échantillons de données restant les mêmes. Nous considérons une hiérarchie d'étiquettes sémantiques à laquelle appartiennent les étiquettes. Nous étudions comment nous pouvons utiliser cette hiérarchie pour obtenir des améliorations dans les modèles formés à différents niveaux de cette hiérarchie.Les deuxième et troisième contributions impliquent un apprentissage continu utilisant un modèle génératif. Nous analysons la facilité d'utilisation des échantillons d'un modèle génératif dans le cas de la formation de bons classificateurs discriminants. Nous proposons des techniques pour améliorer la sélection et la génération d'échantillons à partir d'un modèle génératif. Ensuite, nous observons que les algorithmes d’apprentissage continu subissent certaines pertes de performances lorsqu’ils sont entraînés séquentiellement à plusieurs tâches. Nous analysons la dynamique de la formation dans ce scénario et comparons avec la formation sur plusieurs tâches simultanément. Nous faisons des observations qui indiquent des difficultés potentielles dans l’apprentissage de modèles dans un scénario d’apprentissage continu.Enfin, nous proposons un nouveau modèle de conception pour les réseaux de convolution. Cette architecture permet de former des modèles plus petits sans compromettre les performances. De plus, la conception se prête facilement à la parallélisation, ce qui permet une formation distribuée efficace.En conclusion, nous examinons deux types de scénarios d’apprentissage continu. Nous proposons des méthodes qui conduisent à des améliorations. Notre analyse met 'egalement en évidence des problèmes plus importants, dont nous aurions peut-être besoin de changements dans notre procédure actuelle de formation de réseau neuronal.
Origine : Version validée par le jury (STAR)
Loading...