Dans les méthodes contemporaines basées sur l'apprentissage profond pour segmenter les images microscopiques, on s'appuie fortement sur des données de formation étendues qui nécessitent des annotations détaillées. Ce processus est à la fois coûteux et demande beaucoup de main d’œuvre. Une approche alternative consiste à utiliser des annotations plus simples, telles que le marquage des points centraux des objets. Bien qu’elles ne soient pas aussi détaillées, ces annotations ponctuelles fournissent néanmoins des informations précieuses pour l’analyse d’images.

Dans cette étude, maintenant publiée sur le serveur de prépublication arXiv, des chercheurs de NYU Tandon et de l'hôpital universitaire de Bonn en Allemagne supposent que seules des annotations ponctuelles sont disponibles pour la formation et présentent une nouvelle méthode de segmentation d'images microscopiques à l'aide de données de formation générées artificiellement. Leur cadre se compose de trois étapes principales :

1. Génération de masques pseudo denses : cette étape prend les annotations de points et crée des masques synthétiques et détaillés qui sont contraints par les informations de forme.
2. Génération d'images réalistes : un modèle génératif avancé, formé de manière unique, transforme ces masques synthétiques en images microscopiques très réalistes tout en conservant la cohérence de l'apparence des objets.
3. Formation de modèles spécialisés : les masques synthétiques et les images générées sont combinés pour créer un ensemble de données utilisé pour former un modèle spécialisé pour la segmentation d'images.

La recherche a été dirigée par Guido Gerig, professeur à l'Institut d'informatique, d'ingénierie et de génie biomédical, aux côtés d'un doctorat. les étudiants Shijie Li et Mengwei Ren, ainsi que Thomas Ach de l'hôpital universitaire de Bonn. Les trois chercheurs de NYU Tandon sont également membres du centre de recherche en visualisation et analyse de données (VIDA).

Les chercheurs ont testé leur méthode sur un ensemble de données accessible au public et ont constaté que leur approche produisait des images plus diversifiées et plus réalistes que les méthodes conventionnelles, tout en maintenant un lien étroit entre les annotations d'entrée et les images générées. Il est important de noter que par rapport aux modèles formés à l’aide d’autres méthodes, leurs modèles, formés sur des données synthétiques, les ont largement surpassés. De plus, leur cadre a obtenu des résultats comparables à ceux des modèles formés à l’aide d’annotations très détaillées et à forte intensité de main-d’œuvre.

Cette recherche met en évidence le potentiel de l’utilisation d’annotations simplifiées et de données synthétiques pour rationaliser le processus de segmentation des images microscopiques, réduisant potentiellement le besoin d’efforts d’annotation manuels approfondis. La recherche, en collaboration avec le service d'ophtalmologie de l'hôpital universitaire de Bonn, constitue la première étape d'une collaboration visant à traiter enfin des images tridimensionnelles de cellules rétiniennes de l'œil humain provenant de sujets diagnostiqués pour une dégénérescence maculaire liée à l'âge (DMLA), une des principales causes de perte de vision chez les personnes âgées.

Le code de cette méthode est Disponible publiquement pour une exploration et une mise en œuvre plus approfondies.