Guideline zum methodischen Reporting von Studien zu Large Language Models in der Radiologie
RöFo - Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren, vol. 198
Abstract
Zielsetzung Große Sprachmodelle (Large Language Models, LLMs) haben in zahlreichen wissenschaftlichen Arbeiten ihr Potenzial für die Radiologie gezeigt, etwa zur Erstellung textueller Zusammenfassungen, zur diagnostischen Entscheidungsunterstützung, Qualitätssicherung von Befunden und teils auch in der Bildanalyse. Der Anstieg entsprechender Publikationen geht mit einer großen Variabilität in der Darstellung des methodischen Vorgehens einher, was Reproduzierbarkeit und Vergleichbarkeit erschwert. Ziel dieser Studie war die Entwicklung einer Guideline zur einheitlichen Darstellung von LLM-Studien in der Radiologie. Im Rahmen eines mehrstufigen Experten-Delphi-Prozesses sollte eine standardisierte Checkliste entstehen, die wissenschaftlichen Autoren, Reviewern und Editoren als Werkzeug zur Qualitätssicherung zukünftiger Arbeiten dient. Material und Methoden Die Guideline wurde in zwei Schritten entwickelt. Zunächst erfolgte eine systematische Aufarbeitung der Literatur zu LLM-Studien in der Radiologie (Mai 2023–März 2024; PubMed, IEEE Xplore, ACM Digital Library). Von 511 gescreenten Arbeiten wurden 57 eingeschlossen. Anschließend wurden die identifizierten Aspekte in einem vierstufigen Delphi-Prozess mit 20 internationalen Expertinnen und Experten bewertet, konsentiert und ergänzt. Ergebnisse Das Gremium einigte sich auf 32 finale Items in sechs Themenbereichen: allgemeine Informationen, Prompting und Fine-Tuning, Leistungsmetriken, Ethik und Datentransparenz, Implementierung und Limitationen sowie weitere optionale Aspekte. Schlussfolgerungen Die Analyse zeigte eine heterogene und teils unvollständig dokumentiertes methodisches Vorgehen bisheriger Arbeiten. Im beschriebenen Entwicklungsprozess wurde die FLAIR-Guideline (Framework for LLM Assessment in Radiology) erstellt. Sie soll Reproduzierbarkeit, Vergleichbarkeit und Bewertung zukünftiger Studien erleichtern, mit dem letztendlichen Ziel, die Integration von LLMs in die klinische Routine zu fördern. Publication History Article published online: 22 April 2026 © 2026. Thieme. All rights reserved. Georg Thieme Verlag KG Oswald-Hesse-Straße 50, 70469 Stuttgart, Germany
Authors 28
-
Affiliation as printed
UK Köln, Köln
-
Affiliation as printed
UK Köln, Institute of Diagnostic and Interventional Radiology, Cologne
-
Affiliation as printed
University Hospital Zürich, Diagnostic and Interventional Radiology, Zürich
-
Technical University of Munich
Affiliation as printed
TUM University Hospita, Technical University of Munich, Munich
-
Technische Universität Dresden
Affiliation as printed
TUD Dresden University of Technology, Department of Medicine I, Dresden
-
Affiliation as printed
New York University Grossman School of Medicine, Department of Radiology, New York
-
Lahey Hospital and Medical Center · Lahey Medical Center
Affiliation as printed
Lahey Hospital & Medical Center, Department of Radiology, Burlington, Massachusetts
-
The First Affiliated Hospital, Sun Yat-sen University
Affiliation as printed
First Affiliated Hospital of Sun Yat-sen University, InstiItute of Diagnostic and Interventional Ultrasound, Guangzhou
-
Affiliation as printed
The University of Georgia, School of Computing, Athens, USA
-
Affiliation as printed
St. Nikolaus Hospital, Institute of Radiology, Eupen, Belgium
-
Affiliation as printed
University Hospital Cologne, Institute of Diagnostic and Interventional Radiology, Cologne
-
Affiliation as printed
University Hospital Essen, Institute for Artificial Intelligence in Medicine, Essen
-
Affiliation as printed
Institute of Diagnostic and Interventional Radiology, University Hospital Cologne, Cologne
-
Affiliation as printed
Harvard Medical Schoo, Department of Biomedical Informatics, Boston
-
University of California, Los Angeles
Affiliation as printed
University of California, Department of Radiological Sciences, Los Angeles
-
University Hospital Heidelberg
Affiliation as printed
Clinic for Diagnostic and Interventional Radiology, University Hospital Heidelberg, Heidelberg
-
Affiliation as printed
University of Freiburg, Department of Psychosomatic Medicine and Psychotherapy, Freiburg im Breisgau
-
Affiliation as printed
Stanford University, Department of Radiology, Stanford
-
Massachusetts General Hospital
Affiliation as printed
Massachusetts General Hospital, Department of Radiology, Boston
-
Affiliation as printed
University College London, Institute of Health Informatics, London
-
Affiliation as printed
University Hospital Essen, Institute for Artificial Intelligence in Medicine, Essen
-
Chinese University of Hong Kong, Shenzhen
Affiliation as printed
The Chinese University of Hong Kong, Shenzhen
-
Affiliation as printed
University Hospital Cologne, Institute of Diagnostic and Interventional Radiology, Cologne
-
Affiliation as printed
University Hospital Cologne, Institute of Diagnostic and Interventional Radiology, Cologne
-
Affiliation as printed
University Hospital Cologne, Institute of Diagnostic and Interventional Radiology, Cologne
-
Affiliation as printed
Institute of Diagnostic and Interventional Radiology, University Hospital Cologne, Cologne
-
Affiliation as printed
University Hospital Aachen, Department of Diagnostic and Interventional Radiology, Aachen
-
Affiliation as printed
University Hospital Cologne, Institute of Diagnostic and Interventional Radiology, Cologne
Cited by 0 stored of 0
No patents citing this paper on Lens.org (checked 2026-10-06).