IRL - Implémentation efficace de réseaux de neurones convolutifs : Différence entre versions

De Ensiwiki
Aller à : navigation, rechercher
(Page créée avec « {{Sujet irl | labo = TIMA | titre = Implémentation efficace de réseaux de neurones convolutifs | equipe = System Level Synthesis | encadrants = olivier.muller@univ-greno... »)
(Aucune différence)

Version du 11 octobre 2019 à 12:30


Implémentation efficace de réseaux de neurones convolutifs

Labo TIMA
Equipe System Level Synthesis
Encadrants frederic.petrot@univ-grenoble-alpes.fr olivier.muller@univ-grenoble-alpes.fr, frederic.petrot@univ-grenoble-alpes.fr

Contexte

En quelques années, les réseaux neuronaux convolutifs (CNN) ont révolutionné de nombreux domaines applicatifs en apportant des performances inégalées par les méthodes algorithmiques traditionnelles. Ces réseaux restent néanmoins très couteux en calcul et donc en consommation énergétique. De récentes publications commencent à s'intéresser à réduire la complexité de ces réseaux, comme le récent EfficientNet [1]. Les gains obtenus bien que très intéressants (presque x10 plus efficace) ne ciblent que la structure du réseau sans en remettre ses unitées de calcul. Pour obtenir des solutions embarquables, il faut aussi troquer le calcul flottant contre des opérations plus légères : calcul en entier 32bits, 16bits... Certaines architectures vont jusqu'à reposer sur du calcul binaire. L'équipe SLS a obtenu de très bons résultats avec une représentation ternaire. Dans les 2 derniers cas, il faut impérativement réaliser un entrainement spécifique pour ces réseaux en précision réduite. Cette tâche doit être adaptée au cas par cas et est gourmande en ressources.

Objectif

L’objectif de ce projet est d'étudier l'opportunité de réduire la précision des noeuds de calcul d'un CNN de manière non uniforme de manière à éviter un coûteux processus d'apprentissage.

Le travail attendu consiste dans un premier temps à faire un état de l'art ciblé sur les CNN efficace, puis à proposer une stratégie de réduction de la complexité et enfin à en valider la pertinence en simulation.

Prérequis

Archi : mieux vaut avoir compris les bases Maths : certains papiers en sont bourrés. Phobiques, s'abstenir