FH Dortmund

Wissenschaft verstehen? KI-nderleicht!

Hervorragende Kenntnisse und Fähigkeiten in der Entwicklung von KI-Programmen bewiesen die FH-Dortmund-Promovend*innen Tabea Pakull und Hendrik Damm beim diesjährigen internationalen BioNLP-Wettbewerb. Gleich zweimal belegten sie als Team des Graduiertenkollegs WisPerMed einen sehr guten Platz.

„BioNLP“ steht für „Biomedical Natural Language Processing“, gemeint ist die Verarbeitung von biomedizinischer Fachsprache mithilfe von Künstlicher Intelligenz. Bei der gleichnamigen Konferenz der Association for Computational Linguistics (ACL, Gesellschaft für Computerlinguistik) stellen Forschende aus aller Welt ihre neusten Erkenntnisse im Bereich des KI-Verständnisses von biologischen und medizinischen Texten vor. Außerdem schreibt die ACL jedes Jahr mehrere Aufgaben aus, an denen sich die Forschenden miteinander messen können.

Krankenhaus-Dokumentation

Bei der Aufgabe „Discharge Me!“ ging es um eine Krankenhaus-Dokumentation, also die vollständige Auflistung aller Untersuchungen und ihrer Ergebnisse sowie Behandlungen und Entwicklungen von der Aufnahme bis zur Entlassung. Im Klinikalltag sind diese Dokumentationen üblicherweise umfangreich und für die medizinischen Mitarbeitenden aufwendig zu verfassen.

Die Aufgabe bestand nun darin, anhand eines vorgegebenen Datensatzes von 25 Entlassbriefen möglichst große Teile einer solchen Dokumentation durch KI-Programme erstellen zu lassen. Das gelang dem FH-Team besser als allen 16 internationalen Konkurrenzteams: Tabea Pakull und Hendrik Damm erzielten die höchste Punktzahl und damit Platz 1. Die Ergebnisse wurden nicht nur technisch ausgewertet, sondern auch von drei Klinikärzt*innen evaluiert und bestätigt.

Die zweite Aufgabe „BioLaySumm“ verlangte die Übersetzung von mehr als tausend komplexen wissenschaftlichen Texten per KI – und zwar so, dass sie auch für Fachfremde verständlich sind, ohne an wissenschaftlicher Präzision einzubüßen. 54 internationale Teams nahmen teil. Als Orientierung für die Bewertung hatten die Organisatoren die Aufgabe mithilfe einer KI-Standardmethode bearbeiten lassen und das Ergebnis als „Baseline“ festgelegt.

► Fachbereich Informatik 
► Studieren an der FH Dortmund

Tausend-Texte-Training

Die muss dafür nicht nur die wissenschaftlichen Formulierungen ins Verständliche übersetzen. Darüber hinaus muss sie erkennen, wo zusätzliche Erklärungen notwendig sind, um das bei Lai*innen fehlende Fach- und Hintergrundwissen auszugleichen.

Tabea Pakull und Hendrik Damm testeten unterschiedliche KI-Text-Modelle und kombinierten schließlich mehrere, um die bestmöglichen Resultate zu erhalten. Dabei griffen sie ausschließlich auf Open-Source-Software zurück, um die Nachvollziehbarkeit der Ergebnisse zu gewährleisten – anders als andere Teams, die Modelle wie ChatGPT einsetzten, die zwar leistungsfähig sind, aber als kommerzielle Produkte nicht vollständig durchschaubar arbeiten.

Dann entwickelten sie vier verschiedene Ansätze, mit der die KI an die Texte herangehen sollte. Sie ließen die KI die Denkweise einer Wissenschaftskommunikatorin imitieren, um die Texte zu bearbeiten. Ein anderer Ansatz war, ihr eine Schritt-für-Schritt-Anleitung vorzugeben. Ein Dritter gab der KI wiederum die größtmögliche Freiheit zur eigenen Herangehensweise. Mit diesen Methoden ließen sie jeden einzelnen Text durchspielen.

► Projektbeschreibung WisPerMed
► Website des Graduiertenkollege WisPerMed (englisch)

„Innovativster Ansatz“

Damit erzielten sie unter 54 Teams den vierten Platz. Die Baseline übertrafen sie um 5,5 Prozentpunkte – die Erstplatzierten lagen nur weitere 1,5 Prozentpunkte höher und viele Teams erreichten die Baseline noch nicht einmal. Für ihre Methode der kombinierten Modelle und Ansätze erhielten sie außerdem die Auszeichnung für den „most innovative approach“.

Begleitet wurden Tabea Pakull und Hendrik Damm von Prof. Dr. Christoph M. Friedrich vom Fachbereich Informatik der Fachhochschule Dortmund und dem Transfusionsmediziner Prof. Dr. Peter Horn vom Universitätsklinikum Essen.

Den Wettbewerb zu “BioLaySumm” leiteten Tomas Goldsack und Carolina Scarton (beide University of Sheffield), Matthew Shardlow (Manchester Metropolitan University) und Chenghua Lin (University of Manchester). Den Wettbewerb zu „Discharge Me!“ leiteten Justin Xu, Jean-Benoit Delbrouck, Andrew Johnston, Louis Blankemeier und Curtis Langlotz, die alle an der Stanford University arbeiten.