Une analyse PAC-Bayésienne de l'adaptation de domaine et sa spécialisation aux classifieurs linéaires

Pascal Germain (1) , Amaury Habrard (2) , François Laviolette (1) , Emilie Morvant (3, 4, 2)

1 GRAAL
2 LHC - Laboratoire Hubert Curien
3 QARMA - éQuipe AppRentissage et MultimediA [Marseille]
4 LIF - Laboratoire d'informatique Fondamentale de Marseille

Dans cet article, nous nous intéressons au problème de l'adaptation de domaine (AD) correspondant au cas où les données d'apprentissage et de test sont issues de distributions différentes. Nous proposons une analyse PAC-Bayésienne de ce problème dans le cadre de la classification binaire sans information supervisée sur les données de test. La théorie PAC-Bayésienne permet d'obtenir des garanties théoriques sur le risque d'un vote de majorité sur un ensemble d'hypothèses. Notre contribution au cadre de l'AD repose sur une nouvelle mesure de divergence entre distributions basée une notion d'espérance de désaccords entre hypothèses. Cette mesure nous permet de dériver une première borne PAC-Bayésienne pour le classifieur stochastique de Gibbs. Cette borne a l'avantage d'être optimisable directement pour tout espace d'hypothèses et nous en donnons une illustration dans le cas de classifieurs linéaires. L'algorithme proposé dans ce contexte montre des résultats intéressants sur un problème jouet ainsi que sur une tâche courante d'analyse d'avis. Ces résultats ouvrent de nouvelles perspectives pour appréhender le problème de l'adaptation domaine grâce aux outils offerts par la théorie PAC-Bayésienne.

Domaines: Machine Learning [stat.ML]

Pascal Germain, Amaury Habrard, François Laviolette, Emilie Morvant. Une analyse PAC-Bayésienne de l'adaptation de domaine et sa spécialisation aux classifieurs linéaires. Conférence sur l'apprentissage automatique, Jul 2013, Villeneuve d'Ascq, France. pp.3. ⟨hal-00850242⟩