Fotos: BIH/Rafalzyk

Ein zweischneidiges Schwert – Ausgrenzung und Inklusion mit KI

Die rasante Entwicklung von Künstlicher Intelligenz (KI) beeinflusst zahlreiche wissenschaftliche und medizinische Bereiche. Doch während KI-Systeme enormes Potenzial bieten, bergen sie auch Herausforderungen, insbesondere im Hinblick auf geschlechtsspezifische Datenlücken und algorithmische Verzerrungen. Ein zentrales Problem ist der Gender Data Gap in der Medizin, der u. a. dem geschuldet ist, dass Frauen – vor allem in der Vergangenheit – in vielen klinischen Studien unterrepräsentiert waren. Gleichzeitig zeigen moderne KI-Modelle, darunter Large Language Models (LLMs), oft sogenannte geschlechtsspezifische Biases oder Verzerrungen, die bestehende gesellschaftliche Ungleichheiten verstärken könnten. Andererseits hat KI auch dazu beigetragen, geschlechtsspezifische Symptome aufzudecken.

Ein drastisches Beispiel sind Herzinfarktdiagnosen: Traditionell wurden Herzinfarkt-Symptome anhand von Daten analysiert, die hauptsächlich aus männlichen Patientenpopulationen stammen. Erst durch die Anwendung von Machine Learning konnten spezifische Prädiktoren für Frauen identifiziert werden, die eine bessere medizinische Versorgung ermöglichen (1). In den 1990er Jahren rückten die unterschiedlichen Wirkungen und Nebenwirkungen von Medikamenten in den Fokus, da Frauen zuvor aus klinischen Studien ausgeschlossen wurden (2). Zwischen 1997 und 2000 wurden acht von zehn untersuchten Medikamenten in den USA vom Markt genommen, weil erst nach der Zulassung festgestellt wurde, dass sie für Frauen ein höheres Gesundheitsrisiko bergen als für Männer (3–4). Dies verdeutlicht die Notwendigkeit, geschlechtsspezifische Analysen bereits in der frühen Entwicklungsphase von Medikamenten zu integrieren. Trotz wachsender Sensibilisierung für das Problem bleiben viele klinische Studien in Bezug auf den Faktor Geschlecht unausgewogen (5).

Generative KI-Algorithmen werden auf riesigen Datensätzen aus dem Internet trainiert, die bestehende gesellschaftliche Vorurteile widerspiegeln. So bevorzugen KI-generierte Bilder oft männliche Merkmale, da die Trainingsdatensätze eine größere Menge an männlichen Darstellungen enthalten oder männlich codierte Eigenschaften überrepräsentiert sind (6).

Aber genauso wie KI das Potenzial hat, bestehende Ungleichheiten zu verstärken, kann sie auch positive Auswirkungen auf das Gesundheitssystem haben. In der Medizin könnten KI-gestützte Systeme, die spezifische Daten für Frauen und diverse Geschlechtsidentitäten berücksichtigen, dazu beitragen, personalisierte Behandlungsstrategien zu entwickeln. Beispielsweise wird an Methoden gearbeitet, um Trainingsdaten diverser zu gestalten oder Modelle so zu justieren, dass sie unterschiedliche demografische Gruppen fairer repräsentieren (7).

Neben den zugrundeliegenden Daten müssen auch die Metadaten hinsichtlich ihrer Diversität berücksichtigt werden, da auch in internationalen Standards und Terminologien, die digitale Daten standardisieren und ihre Interoperabilität sicherstellen, diskriminierende Verzerrungen verborgen sein können (8). Diese Biases können sich aus kulturellen, sprachlichen und systemischen Einflüssen in den Metadatenstrukturen ergeben. Daher ist es unerlässlich, diese auch regelmäßig auf Verzerrungen zu überprüfen und sicherzustellen, dass sie repräsentativ und inklusiv sind, um faire und unvoreingenommene Datennutzung zu gewährleisten.

Nina Haffer, Biotechnologin und Doktorandin, forscht am Berliner Institut für Gesundheitsforschung (BIH) zur semantischen Interoperabilität und Standardisierung medizinischer Daten (Schwerpunkt: geschlechtsspezifische Aspekte und Terminologiestandards). Sie übernimmt leitende Rollen in der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS) sowie der Medizininformatik-Initiative.

E-Mail: nina.haffer@charite.de


Prof. Dr. med. Sylvia Thun, Dipl.-Ing. , ist Expertin für IT-Standards im Gesundheitswesen. Sie lehrte seit 2011 an der Hochschule Niederrhein und ist seit 2021 Univ.-Professorin (W3) auf Lebenszeit für Digitale Medizin und Interoperabilität am BIH an der Charité Berlin (Bereich E-Health und Interoperabilität). Sie leitet u. a. das Projekt Digitalradar Krankenhaus, das die digitale Reife von Krankenhäusern misst. Sie ist DÄB-Mitglied.

sylvia.thun@bih-charite.de

Literatur:

  1. Tadiri CP, Raparelli V, Kautzy-Willer A, Norris CM. Gender disparities in cardiovascular care: A call for change. Lancet. 2022;400(10361):527–9. doi:10.1016/S0140-6736(22)01483-0
  2. C., Thun, S., Vorisek, CN., Poyraz, RA. (2024). Geschlechtersensible Medizin und künstliche Intelligenz – vom „Normmann“ bis zur Gleichberechtigung. In: Gondlach, K., Brinkmann, B., Brinkmann, M., Plath, J. (eds) Regenerative Zukünfte und künstliche Intelligenz. SDG - Forschung, Konzepte, Lösungsansätze zur Nachhaltigkeit. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-44852-3_5
  3. Jenkins, M. R., Munoz, M. A., Bak, D., Chai, G., Ready, T., South, E. M., Zinn, R. L., Zusterzeel, R., & Woodcock, J. (2021). Food and Drug Administration Beyond the 2001 Government Accountability Office Report: Promoting Drug Safety for Women. Journal of women's health (2002), 30(7), 927–934. https://doi.org/10.1089/jwh.2020.8380
  4. U.S. Government Accountability Office. Drug safety: most drugs withdrawn in recent years had greater health risks for women [Internet]. Washington, D.C.: GAO; 2001 Jan 19. Report No.: GAO-01-286R [cited 2025 Mar 6]. Available from: https://www.gao.gov/products/gao-01-286r
  5. Haupt S, Carcel C, Norton R. Neglecting sex and gender in research is a public-health risk. Nature [Internet]. 2024 May 15 [cited 2025 Mar 6];629(527-530). Available from: https://doi.org/10.1038/d41586-024-01372-2
  6. A. Chauhan et al., "Identifying Race and Gender Bias in Stable Diffusion AI Image Generation," 2024 IEEE 3rd International Conference on AI in Cybersecurity (ICAIC), Houston, TX, USA, 2024, pp. 1-6, doi: 10.1109/ICAIC60265.2024.10433840.
  7. Zou, J., & Schiebinger, L. (2021). Ensuring that biomedical AI benefits diverse populations. EBioMedicine, 67.
  8. Haffer, N., & Thun, S. (2024). Incorrect and Sex-Inconsistent Mapping of Disorders: Identification of Sex Biases in the ICD-10, ICD-11 and SNOMED CT and How to Work Around Them. Studies in health technology and informatics, 316, 1458–1462. https://doi.org/10.3233/SHTI240688
Mehr zum Thema