Mélanie Donnez : Synthèse d'images ultrasons réalistes pour le guidage en neurochirurgie

De Ensiwiki
Aller à : navigation, rechercher
Cornues.png
Titre du projet Synthèse d'images ultrasons réalistes pour le guidage en neurochirurgie
Cadre IRL

Labo TIMC-IMAG

Encadrants Matthieu Chabanas, François-Xavier Carton

Dans le cadre de l'introduction à la recherche en laboratoire, cette page récapitule les résultats obtenus sur le sujet de la synthèse d'images ultrasons réalistes pour le guidage en neurochirurgie.

▷ Étudiant : Mélanie Donnez (étudiante à l'Ensimag, filière MMIS)

▷ Encadrants : Matthieu Chabanas (enseignant chercheur), François-Xavier Carton (doctorant)


Introduction

Pendant l’opération de résection d'une tumeur cérébrale, le neurochirurgien s’appuie sur des images IRM acquises avant l’opération, ainsi que sur des images ultrasons acquises avant et pendant la résection.

Mais à l'ouverture du crâne, le cerveau subit une déformation, appelée brain-shift, qui rend les images acquises avant l’opération obsolètes. Sur les images IRM le cerveau n’est pas déformé, tandis que sur les images ultrasons acquises avant la résection, une partie des déformations dûes au brain-shift sont présentes.

Objectif

Une idée est d’utiliser un réseau de neurones entraı̂né pour recaler les images acquises pendant l’opération sur celles acquises avant. L’entraı̂nement de ce réseau nécessite beaucoup de données. La quantité disponible étant limitée, l’objectif de cet IRL est de faire de l’augmentation de données, c’est-à-dire générer de nouvelles données synthétiques plausibles à partir de celles déjà à disposition.

Données

Les données à disposition proviennent de la base de données RESECT [1], et sont composées d'images ultrasons de la tumeur acquises avant, pendant et après sa résection. Pour les images acquises pendant et après, la résection partielle ou totale de la tumeur laisse une cavité notable sur les images (voir photos ci-contre).

À gauche une image ultrason pré-résection en haut et l'image IRM correspondante en bas, au centre une image ultrason pendant-résection en haut et avec la cavité segmentée en bas, à droite une image ultrason post-résection en haut et avec la cavité segmentée en bas

Utilisation du pix2pix

La génération d'images synthétiques se fait avec un GAN (Generative Adversial Networks), plus précisément le pix2pix [2]. Un GAN est composé de deux CNN (Convolutional Neural Network) adversaires et a pour but de générer de nouvelles données. Deux modèles ont été pensés et implémentés avec des utilités différentes, cavité réaliste ou contexte réaliste, avec pour objectif final la génération d'images ultrasons réalistes.

Pour notre premier modèle de GAN entraîné, la génération d'une nouvelle image ultrason post-résection se fait à partir d'une map de la cavité qui doit être présente sur l'image. On remarque que les caractéristiques de la cavité (texture à l'intérieur, sur les bords) sont bien générées.

À gauche la map de la cavité, au centre l'image ultrason générée par le pix2pix, à droite l'image réelle post-résection correspondant à la map

Conclusion

Les résultats obtenus avec le pix2pix entraîné sont prometteurs mais pourraient être améliorés (meilleure texture à l'extérieur de la cavité) avec des données d'apprentissage plus nombreuses et/ou un autre modèle de GAN (avec entrées multiples par exemple).

Rapport

Rapport : Rapport (PDF)

Références

[1] Xiao, Y., Fortin, M., Unsgård, G., Rivaz, H. and Reinertsen, I. (2017), RE troSpective Evaluation of Cerebral Tumors (RESECT ): A clinical database of pre‐operative MRI and intra‐operative ultrasound in low‐grade glioma surgeries. Med. Phys., 44: 3875-3882. doi:10.1002/mp.12268 [1]

[2] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros (2017), Image-To-Image Translation With Conditional Adversarial Networks; The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1125-1134 [2]