Team seminar

Guillaume Lacharme will give a talk, in french, on optimizing hyperparameters of deep learning models. The talk will be a rehearsal of his PhD defense.

Title, keywords and summary of the talk (in french):

Optimisation d’hyperparamètres de modèles d’apprentissage profond

Keywords: optimisation bi-niveau, recherche d’architecture différentiable, mélange d’optimiseurs

Ces dernières années, les intelligences artificielles ont connu une expansion fulgurante. Elles ont permis de révolutionner le secteur industriel et plus récemment le secteur tertiaire avec l’arrivée des modèles de langage tels que chatgpt, google bard, mistral AI… Une grande partie de leur succès est dûe au développement des modèles d’apprentissage profond. Ce type de modèle a permis d’automatiser des tâches de plus en plus complexes. Leur mise en place nécessite tout de même de renseigner de nombreux hyperparamètres. Les hyperparamètres correspondent à l’ensemble des paramètres que l’on doit fixer avant de lancer la phase d’entraînement du modèle. A titre d’exemple, le nombre de couches, le type de couches, le nombre de neurones par couche, le pas d’apprentissage sont des hyperparamètres. Ils ont un impact sur la vitesse d’apprentissage du modèle, sa vitesse d’exécution, sa taille mémoire ainsi que sur sa capacité de généralisation. Pendant longtemps, l’optimisation des hyperparamètres a été réalisée par des humains. L’arrivée des modèles plus récents a rendu la recherche manuelle impraticable compte tenu de la dimensionnalité du problème. La communauté scientifique a donc opté pour la mise en place de stratégies d’optimisations automatiques qui reposent entièrement sur la puissance calculatoire des machines. Ces stratégies peuvent vite devenir très gourmandes en terme de ressources calculatoires. Il convient donc de définir de nouvelles méthodes moins coûteuses et toutes aussi performantes.