Diffusionsmodelle für modalitätenübergreifende 3D Bildsynthese – Taschenspielertrick der Bildverarbeitung oder klinischer Nutzen?

RöFo - Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren, vol. 195, pp. S86–S87

Abstract

Zielsetzung Obwohl noch im Stadium der wissenschaftlichen Evaluation sind generative Modelle auf Basis der künstlichen Intelligenz vielversprechende methodische Ansätze, um z.B. Bild-zu-Bild-Translationen zu realisieren und die Bildgebung in der Klinik noch leistungsfähiger zu machen. Zielsetzung war daher die Synthese von medizinischen 3D-Bilddaten unterschiedlicher Modalitäten durch generative Modelle und die Untersuchung des potentiellen klinischen Nutzens. Material und Methoden Im Rahmen dieser Studie wurde die Architektur sogenannter Diffusionsmodelle durch ein 3D U-Net erweitert und der self-attention Mechanismus modifiziert. Anstatt den Diffusionsprozess direkt auf dem Bild auszuführen, wird das Bild zunächst in eine latente Repräsentation niedrigerer Dimensionalität kodiert. Das Modell wurde anschließend auf vier öffentlich zugänglichen medizinischen 3D-Bilddatensätzen bestehend aus Knie-MR- (n=1250), Kopf-MR- (n=998), Thorax-CT- (n=1010) und Mamma-MR-Untersuchungen (n=922) trainiert und die Qualität der erzeugten Bilddaten mit denen eines generativ adversarial networks (GAN) -als bisherigem Referenzstandard der künstlichen Bildsynthese- direkt verglichen. Synthetisch erzeugte Bilddatensätze (n=200) wurden von einem Radiologen anhand einer Likert-Skala von 0 (nicht) bis 3 (maximal) hinsichtlich „realistischer Bilddarstellung“, „anatomischer Korrektheit“ und „Konsistenz zwischen den Schichten“ bewertet. Ergebnisse Modalitätenübergreifend wurden die 3D-Bilddaten mehrheitlich als realistisch bzw. mit nur geringen unrealistischen Bereichen (95%), nicht oder gering anatomisch inkonsistent (93%) und konsistent zwischen den Schichten (96%) bewertet. Weitere Analysen der Strukturähnlichkeit der Bilddaten zwischen dem Diffusionsmodell und dem GAN legen nahe, dass das Diffusionsmodell in der Lage ist, vielfältigere Bilddaten zu erzeugen. Schlussfolgerungen Diffusionsmodelle können erfolgreich für die Synthese qualitativ hochwertiger medizinischer 3D-Bilddatensätze eingesetzt werden und übertreffen bestehende GAN-basierte Ansätze. Publication History Article published online: 13 April 2023 © 2023. Thieme. All rights reserved. Georg Thieme Verlag Rüdigerstraße 14, 70469 Stuttgart, Germany

Authors 4

1. Firas Khader Aachen

   Universitätsklinikum Aachen

   Affiliation as printed

   Uniklinik Aachen, Radiologie, Aachen

2. Christiane Katharina Kuhl Aachen Klinik für Diagnostische und Interventionelle Radiologie

   Universitätsklinikum Aachen

   Affiliation as printed

   Klinik für Diagnostische und Interventionelle Radiologie, Uniklinik Aachen, Aachen

3. Sven Nebelung Aachen Klinik für Diagnostische und Interventionelle Radiologie

   Universitätsklinikum Aachen

   Affiliation as printed

   Klinik für Diagnostische und Interventionelle Radiologie, Uniklinik Aachen, Aachen

4. Daniel Truhn Aachen Klinik für Diagnostische und Interventionelle Radiologie

   Universitätsklinikum Aachen

   Affiliation as printed

   Klinik für Diagnostische und Interventionelle Radiologie, Uniklinik Aachen, Aachen