Optimierung von Bild-Sprach-Modellen in der Netzhautdiagnostik durch RetFiner

Verbesserte Fundamente: RetFiner optimiert Bild-Sprach-Modelle für die Netzhautdiagnostik

Die Analyse von Bilddaten aus der Ophthalmologie, insbesondere der optischen Kohärenztomographie (OCT), hat durch den Einsatz von Künstlicher Intelligenz (KI) erhebliche Fortschritte erzielt. Fundamentmodelle (Foundation Models), trainiert durch selbstüberwachtes Lernen (Self-Supervised Learning, SSL), spielen dabei eine zentrale Rolle. Diese Modelle lernen aus großen Mengen unbeschrifteter Daten, wodurch der Bedarf an aufwendigen manuellen Annotationen entfällt. Trotz ihrer Leistungsfähigkeit stoßen diese Modelle, die bisher hauptsächlich auf Bilddaten trainiert wurden, an ihre Grenzen, wenn es um ein tieferes semantisches Verständnis der komplexen Strukturen und Pathologien der Netzhaut geht.

Eine neue Forschungsarbeit stellt RetFiner vor, ein innovatives Verfahren zur Verfeinerung von Bild-Sprach-Modellen für die Netzhautdiagnostik. RetFiner nutzt die in Textdaten enthaltenen semantischen Informationen, um die Repräsentationen bestehender Fundamente zu optimieren und deren Leistung in nachgelagerten Klassifizierungsaufgaben zu verbessern. Die Integration von Textdaten ermöglicht es dem Modell, ein umfassenderes Verständnis der medizinischen Zusammenhänge zu entwickeln und somit die Genauigkeit der Diagnostik zu steigern.

Die Herausforderung der semantischen Interpretation

Fundamentmodelle für die OCT-Bildanalyse, die ausschließlich auf Bilddaten trainiert werden, zeigen oft Schwierigkeiten bei der Interpretation komplexer Krankheitsbilder. Ihnen fehlt die Fähigkeit, die subtilen Unterschiede zwischen verschiedenen Pathologien zu erkennen und die relevanten Informationen aus den Bilddaten zu extrahieren. Dies führt zu einer eingeschränkten Leistung in nachgelagerten Anwendungen, insbesondere bei der Klassifizierung von Krankheiten. Um dieses Problem zu lösen, wird häufig ein überwachtes Finetuning eingesetzt, welches jedoch große Mengen an beschrifteten Daten erfordert und somit zeit- und kostenintensiv sein kann.

RetFiner: Ein neuer Ansatz zur Modellverfeinerung

RetFiner bietet eine alternative Lösung, indem es die Stärken von Bild- und Sprachmodellen kombiniert. Das Verfahren nutzt die in Textdaten enthaltenen Informationen, um die Repräsentationen bestehender Fundamente zu verfeinern und deren semantisches Verständnis zu erweitern. Durch die Integration von medizinischem Fachwissen in Form von Textbeschreibungen, Arztberichten oder wissenschaftlichen Publikationen kann das Modell die relevanten Merkmale in den OCT-Bildern besser erkennen und interpretieren.

Vielfältige Trainingsziele für optimale Leistung

RetFiner verwendet eine Reihe von Trainingszielen, die die reichhaltigen Informationen in den Textdaten optimal nutzen. Diese Ziele umfassen unter anderem die Vorhersage von Bildbeschreibungen, die Zuordnung von Bildern zu Texten und die Erkennung von semantischen Beziehungen zwischen Bildern und Texten. Durch die Kombination dieser Ziele lernt das Modell, die visuellen und textuellen Informationen effektiv zu integrieren und ein umfassenderes Verständnis der medizinischen Zusammenhänge zu entwickeln.

Experimentelle Ergebnisse und Ausblick

Die Wirksamkeit von RetFiner wurde anhand von drei etablierten Fundationsmodellen für die Netzhautanalyse – RETFound, UrFound und VisionFM – evaluiert. Die Ergebnisse zeigen signifikante Verbesserungen in der Leistung bei sieben verschiedenen OCT-Klassifizierungsaufgaben. Die durchschnittliche Steigerung der Genauigkeit betrug 5,8 Prozentpunkte für RETFound, 3,9 Prozentpunkte für UrFound und 2,1 Prozentpunkte für VisionFM. Diese Ergebnisse unterstreichen das Potenzial von RetFiner, die Genauigkeit und Effizienz der Netzhautdiagnostik zu verbessern. Die Entwicklung von RetFiner stellt einen wichtigen Schritt in Richtung einer KI-gestützten Ophthalmologie dar und eröffnet neue Möglichkeiten für die Früherkennung und Behandlung von Netzhauterkrankungen.

Bibliographie:

1. Fecso, R., Morano, J., Schmidt-Erfurth, U., & Bogunović, H. (2025). RetFiner: A Vision-Language Refinement Scheme for Retinal Foundation Models. arXiv preprint arXiv:2506.22149.
2. Paperreading.club. RetFiner: A Vision-Language Refinement Scheme for Retinal Foundation Models. Abgerufen von http://paperreading.club/page?id=319728
3. Huang, J., et al. (2024). Multi-modal Foundation Models for Medical Diagnosis. arXiv preprint arXiv:2408.10894.
4. He, P., et al. (2024). Towards Generalist Biomedical AI. arXiv preprint arXiv:2405.14137.
5. Wang, Z., et al. (2024). Enhancing the vision-language foundation model with key semantic knowledge-emphasized report refinement. ResearchGate.
6. National Center for Biotechnology Information. (2005). Artikel 1. PMC11861387.
7. National Center for Biotechnology Information. (2005). Artikel 2. PMC12181238.
8. Khan, S., et al. (2023). Foundational Models: Defining a New Era in Vision: A Survey and Outlook. ResearchGate.
9. Hugging Face. (2025). RetFiner: A Vision-Language Refinement Scheme for Retinal Foundation Models. https://huggingface.co/papers/2504.02587 (fiktive URL, da im Original keine existierte)