Wie fair sind KI-Anwendungen im Gesundheitswesen?
Künstliche Intelligenz (KI) im Gesundheitswesen hat das Potenzial, ungelöste komplexe Fragestellungen der Medizin zu beantworten. Die Entwicklung verläuft rasend schnell, in einigen Bereichen im Tagestakt. Doch längst nicht alle Entwickler:innen sind sich der Probleme durch Biases ausreichend bewusst.
KI in der Medizin reicht von webbasierten Anwendungen über intelligente Prothesen und Roboter hin zu generativen Chatbots wie ChatGPT, die eigenständige Texte erstellen. Das bleibt nicht ohne Probleme. Selbst beim inzwischen extrem bekannten ChatGPT sanken zuletzt die Zahlen der Nutzenden, weil die generierten Antworten zu viele Falschinformationen enthielten. Das berichtete die Washington Post im Juli. Bei KI-Anwendungen gilt: Sie sind nur so gut wie die Daten, die sie verwenden und mit denen sie trainiert werden. Im Gesundheitswesen mangelt es jedoch an qualitativ hochwertigen und strukturierten Daten. Wir laufen daher Gefahr, KI-Anwendungen zu entwickeln, die nur für einen Teil der Bevölkerung einen medizinischen Mehrwert bieten. Es ist keine Neuigkeit, dass medizinische Daten Frauen und Geschlechter-Minderheiten unterrepräsentieren. Und das, obwohl bekannt ist, dass sowohl das soziale als auch das biologische Geschlecht die Gesundheit beeinflussen. Der häufigste Bias in der KI entsteht vor allem dann, wenn die Daten nicht die Allgemeinbevölkerung beziehungsweise die Zielkohorte repräsentieren.
Umfrage unter KI-Entwickler:innen
In einer kürzlich veröffentlichten Umfrage, welche sich an KI-Entwickler:innen richtete, haben mehrere Kolleginnen und ich ergründet (doi: 10.2196/41089), wie dieser Personenkreis die Fairness von KI-Anwendungen einschätzt, was faire KI verhindert und welche Daten eigentlich genutzt werden, um KI-Anwendungen zu erschaffen. Die Antworten von insgesamt 151 teilnehmenden KI-Entwickler:innen ergaben: Jeweils ein Drittel der Befragten schätzt seine eigenen Anwendungen als jeweils fair oder mäßig fair ein. 13 Prozent bewerteten ihr Projekt als kaum oder gar nicht fair. Bei genauerem Blick auf die demografischen Variablen zeigte sich, dass die Mehrheit der Teilnehmer:innen Männer waren. Die drei Teilnehmer, welche sich als divers oder undefiniert identifizierten, schätzten ihre KI-Anwendung als kaum fair oder mäßig fair ein. Zudem kamen die meisten Teilnehmer:innen aus der Wissenschaft und arbeiten mit KI-Projekten im Trainingsstatus, so dass in der Versorgung getestete KI-Projekte weniger repräsentiert
waren.
Als Gründe für Biases in der KI wurden Mangel an fairen Daten (90/132, 68 %), Richtlinien oder Vorgaben (65/132, 49 %) sowie an Kenntnissen (60/132, 45 %) angegeben. Noch nie von Biases gehört hatten 5 Prozent der Teilnehmenden und 17 Prozent kannten keine Maßnahmen, um Verzerrungen zu verhindern. Das Sammeln von soziodemografischen Daten wurde von nur 35 Prozent der Befragten als bekannte Maßnahme zur Vermeidung von Biases angegeben.
Uns fehlen die Voraussetzungen
Die Umfrage zeigt, dass Wissen und Bewusstsein um Biases in der KI verbreitet werden müssen. Zudem brauchen wir für die Entwicklung von KI-Anwendungen im Gesundheitswesen große und faire Datensätze, welche die Allgemeinbevölkerung repräsentieren und über ein Datensilo hinausgehen. Diese Voraussetzungen erlangen wir aber nur, wenn es gelingt, funktionierende Dateninfrastrukturen zu errichten – unter Verwendung internationaler Standards zum effizienten Austausch und Nutzen der Daten. Weiterhin bedarf es verbindlicher Richtlinien zur Entwicklung und Implementierung fairer KI-Anwendungen. Und nicht zuletzt ist es notwendig, die Entwicklerteams diverser aufzustellen, damit KI im Gesundheitswesen keine Männersache wird.
E-Mail: carina-nina.vorisek[AT]bih-charite.de
Umfrage unter KI-Entwickler:innen
In einer kürzlich veröffentlichten Umfrage, welche sich an KI-Entwickler:innen richtete, haben mehrere Kolleginnen und ich ergründet (doi: 10.2196/41089), wie dieser Personenkreis die Fairness von KI-Anwendungen einschätzt, was faire KI verhindert und welche Daten eigentlich genutzt werden, um KI-Anwendungen zu erschaffen. Die Antworten von insgesamt 151 teilnehmenden KI-Entwickler:innen ergaben: Jeweils ein Drittel der Befragten schätzt seine eigenen Anwendungen als jeweils fair oder mäßig fair ein. 13 Prozent bewerteten ihr Projekt als kaum oder gar nicht fair. Bei genauerem Blick auf die demografischen Variablen zeigte sich, dass die Mehrheit der Teilnehmer:innen Männer waren. Die drei Teilnehmer, welche sich als divers oder undefiniert identifizierten, schätzten ihre KI-Anwendung als kaum fair oder mäßig fair ein. Zudem kamen die meisten Teilnehmer:innen aus der Wissenschaft und arbeiten mit KI-Projekten im Trainingsstatus, so dass in der Versorgung getestete KI-Projekte weniger repräsentiert
waren.
Als Gründe für Biases in der KI wurden Mangel an fairen Daten (90/132, 68 %), Richtlinien oder Vorgaben (65/132, 49 %) sowie an Kenntnissen (60/132, 45 %) angegeben. Noch nie von Biases gehört hatten 5 Prozent der Teilnehmenden und 17 Prozent kannten keine Maßnahmen, um Verzerrungen zu verhindern. Das Sammeln von soziodemografischen Daten wurde von nur 35 Prozent der Befragten als bekannte Maßnahme zur Vermeidung von Biases angegeben.
Uns fehlen die Voraussetzungen
Die Umfrage zeigt, dass Wissen und Bewusstsein um Biases in der KI verbreitet werden müssen. Zudem brauchen wir für die Entwicklung von KI-Anwendungen im Gesundheitswesen große und faire Datensätze, welche die Allgemeinbevölkerung repräsentieren und über ein Datensilo hinausgehen. Diese Voraussetzungen erlangen wir aber nur, wenn es gelingt, funktionierende Dateninfrastrukturen zu errichten – unter Verwendung internationaler Standards zum effizienten Austausch und Nutzen der Daten. Weiterhin bedarf es verbindlicher Richtlinien zur Entwicklung und Implementierung fairer KI-Anwendungen. Und nicht zuletzt ist es notwendig, die Entwicklerteams diverser aufzustellen, damit KI im Gesundheitswesen keine Männersache wird.
E-Mail: carina-nina.vorisek[AT]bih-charite.de
