IRL - Implémentation efficace de réseaux de neurones convolutifs : Différence entre versions
(Page créée avec « {{Sujet irl | labo = TIMA | titre = Implémentation efficace de réseaux de neurones convolutifs | equipe = System Level Synthesis | encadrants = olivier.muller@univ-greno... ») |
(→Contexte) |
||
| (Une révision intermédiaire par le même utilisateur non affichée) | |||
| Ligne 10 : | Ligne 10 : | ||
En quelques années, les réseaux neuronaux convolutifs (CNN) ont révolutionné de nombreux domaines applicatifs en apportant des performances inégalées par les méthodes algorithmiques traditionnelles. | En quelques années, les réseaux neuronaux convolutifs (CNN) ont révolutionné de nombreux domaines applicatifs en apportant des performances inégalées par les méthodes algorithmiques traditionnelles. | ||
| − | Ces réseaux restent néanmoins très | + | Ces réseaux restent néanmoins très coûteux en calcul et donc en consommation énergétique. |
De récentes publications commencent à s'intéresser à réduire la complexité de ces réseaux, comme le récent EfficientNet [https://arxiv.org/pdf/1905.11946.pdf]. | De récentes publications commencent à s'intéresser à réduire la complexité de ces réseaux, comme le récent EfficientNet [https://arxiv.org/pdf/1905.11946.pdf]. | ||
| − | Les gains obtenus bien que très intéressants (presque x10 plus efficace) ne ciblent que la structure du réseau sans en remettre ses | + | Les gains obtenus bien que très intéressants (presque x10 plus efficace) ne ciblent que la structure du réseau sans en remettre ses unités de calcul. |
Pour obtenir des solutions embarquables, il faut aussi troquer le calcul flottant contre des opérations plus légères : calcul en entier 32bits, 16bits... | Pour obtenir des solutions embarquables, il faut aussi troquer le calcul flottant contre des opérations plus légères : calcul en entier 32bits, 16bits... | ||
Certaines architectures vont jusqu'à reposer sur du calcul binaire. | Certaines architectures vont jusqu'à reposer sur du calcul binaire. | ||
L'équipe SLS a obtenu de très bons résultats avec une représentation ternaire. | L'équipe SLS a obtenu de très bons résultats avec une représentation ternaire. | ||
| − | Dans les 2 derniers cas, il faut impérativement réaliser un | + | |
| + | Dans les 2 derniers cas, il faut impérativement réaliser un entraînement spécifique pour ces réseaux en précision réduite. | ||
Cette tâche doit être adaptée au cas par cas et est gourmande en ressources. | Cette tâche doit être adaptée au cas par cas et est gourmande en ressources. | ||
| Ligne 27 : | Ligne 28 : | ||
=== Prérequis === | === Prérequis === | ||
Archi : mieux vaut avoir compris les bases | Archi : mieux vaut avoir compris les bases | ||
| + | |||
Maths : certains papiers en sont bourrés. Phobiques, s'abstenir | Maths : certains papiers en sont bourrés. Phobiques, s'abstenir | ||
Version du 11 octobre 2019 à 12:32
Sommaire
Implémentation efficace de réseaux de neurones convolutifs
| Labo | TIMA |
| Equipe | System Level Synthesis |
| Encadrants | frederic.petrot@univ-grenoble-alpes.fr olivier.muller@univ-grenoble-alpes.fr, frederic.petrot@univ-grenoble-alpes.fr
|
Contexte
En quelques années, les réseaux neuronaux convolutifs (CNN) ont révolutionné de nombreux domaines applicatifs en apportant des performances inégalées par les méthodes algorithmiques traditionnelles. Ces réseaux restent néanmoins très coûteux en calcul et donc en consommation énergétique. De récentes publications commencent à s'intéresser à réduire la complexité de ces réseaux, comme le récent EfficientNet [1]. Les gains obtenus bien que très intéressants (presque x10 plus efficace) ne ciblent que la structure du réseau sans en remettre ses unités de calcul. Pour obtenir des solutions embarquables, il faut aussi troquer le calcul flottant contre des opérations plus légères : calcul en entier 32bits, 16bits... Certaines architectures vont jusqu'à reposer sur du calcul binaire. L'équipe SLS a obtenu de très bons résultats avec une représentation ternaire.
Dans les 2 derniers cas, il faut impérativement réaliser un entraînement spécifique pour ces réseaux en précision réduite. Cette tâche doit être adaptée au cas par cas et est gourmande en ressources.
Objectif
L’objectif de ce projet est d'étudier l'opportunité de réduire la précision des noeuds de calcul d'un CNN de manière non uniforme de manière à éviter un coûteux processus d'apprentissage.
Le travail attendu consiste dans un premier temps à faire un état de l'art ciblé sur les CNN efficace, puis à proposer une stratégie de réduction de la complexité et enfin à en valider la pertinence en simulation.
Prérequis
Archi : mieux vaut avoir compris les bases
Maths : certains papiers en sont bourrés. Phobiques, s'abstenir
