IRL - Implémentation efficace de réseaux de neurones convolutifs : Différence entre versions

De Ensiwiki
Aller à : navigation, rechercher
(Page créée avec « {{Sujet irl | labo = TIMA | titre = Implémentation efficace de réseaux de neurones convolutifs | equipe = System Level Synthesis | encadrants = olivier.muller@univ-greno... »)
 
(Contexte)
(Une révision intermédiaire par le même utilisateur non affichée)
Ligne 10 : Ligne 10 :
  
 
En quelques années, les réseaux neuronaux convolutifs (CNN) ont révolutionné de nombreux domaines applicatifs en apportant des performances inégalées par les méthodes algorithmiques traditionnelles.
 
En quelques années, les réseaux neuronaux convolutifs (CNN) ont révolutionné de nombreux domaines applicatifs en apportant des performances inégalées par les méthodes algorithmiques traditionnelles.
Ces réseaux restent néanmoins très couteux en calcul et donc en consommation énergétique.
+
Ces réseaux restent néanmoins très coûteux en calcul et donc en consommation énergétique.
 
De récentes publications commencent à s'intéresser à réduire la complexité de ces réseaux, comme le récent EfficientNet [https://arxiv.org/pdf/1905.11946.pdf].
 
De récentes publications commencent à s'intéresser à réduire la complexité de ces réseaux, comme le récent EfficientNet [https://arxiv.org/pdf/1905.11946.pdf].
Les gains obtenus bien que très intéressants (presque x10 plus efficace) ne ciblent que la structure du réseau sans en remettre ses unitées de calcul.
+
Les gains obtenus bien que très intéressants (presque x10 plus efficace) ne ciblent que la structure du réseau sans en remettre ses unités de calcul.
 
Pour obtenir des solutions embarquables, il faut aussi troquer le calcul flottant contre des opérations plus légères : calcul en entier 32bits, 16bits...
 
Pour obtenir des solutions embarquables, il faut aussi troquer le calcul flottant contre des opérations plus légères : calcul en entier 32bits, 16bits...
 
Certaines architectures vont jusqu'à reposer sur du calcul binaire.
 
Certaines architectures vont jusqu'à reposer sur du calcul binaire.
 
L'équipe SLS a obtenu de très bons résultats avec une représentation ternaire.
 
L'équipe SLS a obtenu de très bons résultats avec une représentation ternaire.
Dans les 2 derniers cas, il faut impérativement réaliser un entrainement spécifique pour ces réseaux en précision réduite.
+
 
 +
Dans les 2 derniers cas, il faut impérativement réaliser un entraînement spécifique pour ces réseaux en précision réduite.
 
Cette tâche doit être adaptée au cas par cas et est gourmande en ressources.
 
Cette tâche doit être adaptée au cas par cas et est gourmande en ressources.
  
Ligne 27 : Ligne 28 :
 
=== Prérequis ===
 
=== Prérequis ===
 
Archi : mieux vaut avoir compris les bases
 
Archi : mieux vaut avoir compris les bases
 +
 
Maths : certains papiers en sont bourrés. Phobiques, s'abstenir
 
Maths : certains papiers en sont bourrés. Phobiques, s'abstenir

Version du 11 octobre 2019 à 12:32


Implémentation efficace de réseaux de neurones convolutifs

Labo TIMA
Equipe System Level Synthesis
Encadrants frederic.petrot@univ-grenoble-alpes.fr olivier.muller@univ-grenoble-alpes.fr, frederic.petrot@univ-grenoble-alpes.fr

Contexte

En quelques années, les réseaux neuronaux convolutifs (CNN) ont révolutionné de nombreux domaines applicatifs en apportant des performances inégalées par les méthodes algorithmiques traditionnelles. Ces réseaux restent néanmoins très coûteux en calcul et donc en consommation énergétique. De récentes publications commencent à s'intéresser à réduire la complexité de ces réseaux, comme le récent EfficientNet [1]. Les gains obtenus bien que très intéressants (presque x10 plus efficace) ne ciblent que la structure du réseau sans en remettre ses unités de calcul. Pour obtenir des solutions embarquables, il faut aussi troquer le calcul flottant contre des opérations plus légères : calcul en entier 32bits, 16bits... Certaines architectures vont jusqu'à reposer sur du calcul binaire. L'équipe SLS a obtenu de très bons résultats avec une représentation ternaire.

Dans les 2 derniers cas, il faut impérativement réaliser un entraînement spécifique pour ces réseaux en précision réduite. Cette tâche doit être adaptée au cas par cas et est gourmande en ressources.

Objectif

L’objectif de ce projet est d'étudier l'opportunité de réduire la précision des noeuds de calcul d'un CNN de manière non uniforme de manière à éviter un coûteux processus d'apprentissage.

Le travail attendu consiste dans un premier temps à faire un état de l'art ciblé sur les CNN efficace, puis à proposer une stratégie de réduction de la complexité et enfin à en valider la pertinence en simulation.

Prérequis

Archi : mieux vaut avoir compris les bases

Maths : certains papiers en sont bourrés. Phobiques, s'abstenir