IRL - Synthèse GAN d'images ultrasons en neurochirurgie

De Ensiwiki
Aller à : navigation, rechercher


Synthèse GAN d'images ultrasons en neurochirurgie

Labo TIMC-IMAG

Encadrants Matthieu.Chabanas@univ-grenoble-alpes.fr


CE SUJET EST A PRIORI RESERVE - A CONFIRMER


Contexte et objectifs

La simulation d'images médicales a de nombreux usages en chirurgie guidée par l'image, notamment pour du recalage d'images, du planning, ou à but éducatif. Ici nous nous intéressons à la simulation d'images ultrasonores (US) pour l'augmentation de données afin d'entraîner des réseaux d'apprentissage profond de segmentation d'images.

Les données de ce projet sont des images US cérébrales de neurochirurgie. Une première image permet de visaliser totalement la tumeur, puis une seconde image est acquise une fois la tumeur réséquée. L'objectif est de simuler de nouvelles images US résection à partir des deux seules images acquises au début et à la fin de la procédure.

Images IRM et US d'une résection de tumeur cérébrales. De gauche à droite: image IRM pré-opératoire; shéma d'acquisition US per-opératoire; exemples d'images US avant, pendant et après résection de la tumeur.


Un IRL sur cette thèmatique a été proposé l'an dernier, ce qui a amené à la rédaction d'un papier de recherche qui sera présenté lors de la prochaine conférence SPIE Medical Imaging en février 2021. Pourtant des limites importantes subsistent quant à la qualité des images générées (transitions floues), et au manque de certains effets spécifiques pouvant être observés dans les images avec résection (artefacts, signal hyperéchogène dans des zones de saignement, ombres, ...). L'objectif est donc notamment d'introduire ces nouveaux effets dans le processus de simulation.

Travail attendu

Un reséau génératif de type GAN (Generative Adversarial Network) sera utilisé à partir des images US pré-résection, de masques des cavités à réséquer, et des images post-résection. Différentes architectures pourront être implémentées pour intégrer au mieux les données.

Dans un second temps, il pourra être intéressant de classifier les images post-résection selon le type d'effets observés (saignement, shadows, ...) puis d'intégrer les effets désirés dans le GAN génératif.

Le travail comportera:

  • une recherche bibliographique de travaux dans cette thématique
  • la proposition puis l'implémentation de différentes architectures GANs et de classification
  • une évaluation qualitative, en présentant des images réelles et simulées plusieurs neurochirurgiens pour tester capacité à discriminier les images.


Ce travail pourra être réalisé en interaction avec François-Xavier Carton, doctorant en co-supervision entre le laboratoire TIMC-IMAG de Grenoble et Vanderbilt University, Nashville, USA. Des interactions seront possible avec un ou plusieurs neurochirurgiens du CHU de Grenoble.

Les calculs seront réalisés sur un serveur GPU de l'Ensimag ou sur le cluster Gricad.


Compétences recherchées

  • Profil MMIS a priori
  • Programmation Python, Keras, TensorFlow
  • Bases de traitement d'images