Truth tables for combining binary weak classifiers: a new approach leading to some improved insights on the adaboost algorithm and on stability of results.
Salle de conférences
le 14 septembre 2023 à 11:00
En apprentissage supervisé, il est très fréquent de combiner des classifieurs faibles pour obtenir un classifieur fort, ce qui est une application d'un théorème démontré par Shapire. La mise en oeuvre informatique de ce résultat porte le nom d'adaboost.
Utilisant une structure des données logique qui semble originale étant donné une liste de classifieurs faibles, nous présentons l'apprentissage supervisé à deux classes d'une manière permettant d'obtenir le point de minimum unique de la fonction de coût convexifiée s'appuyant sur le risque empirique.
La stabilité du classifieur résultant peut alors être étudiée analytiquement, ainsi qu'une notion de qualité des données, en utilisant des résultats classiques d'analyse
En outre, on peut trouver des contre-exemples pour un théorème énoncé par Bartlett et Shapire concernant la convergence de l'algorithme adaboost, tout en proposant une méthode numérique (très) ancienne pour le corriger afin d'obtenir cette convergence
Travail réalisé en collaboration avec J.M. Brossier, GIPSA Lab, Grenoble-INP