Krankenhäuser und Krankenkassen müssen auch in den USA Kosten senken. Deshalb investieren sie mehr in die Vorsorge, um spätere Krankheitsfälle zu vermeiden. Dabei kommen heute schon im großen Stil Algorithmen zum Einsatz, die Patienten und Patientinnen identifizieren, die von besserer Versorgung besonders stark profitieren würden. Diese Algorithmen werten Daten aus den Patientenakten aus: Diagnosen, Behandlungen, Medikationen. Daraus wird dann ein Risikowert berechnet, der vorhersagt, wie der Gesundheitszustand einer Person sich innerhalb des nächsten Jahres entwickelt. Doch als der Gesundheitswissenschaftler Ziad Obermeyer von der University of California in Berkeley und seine Kolleginnen und Kollegen überprüften, wie gut sich die Vorhersagen eines solchen Algorithmus mit der Realität decken, fiel ihnen auf: Bei Schwarzen liegt er auffällig oft daneben:
"Zwei Menschen mit demselben Risikowert werden vom Algorithmus als vergleichbar eingeschätzt. Ihre Gesundheit sollte sich im nächsten Jahr vergleichbar entwickeln. Aber wir haben gemerkt, dass sich die Gesundheit von Schwarzen Patienten viel schlechter entwickelt hat als die von Weißen Patienten mit demselben Risikowert."
So stellte sich heraus, dass die Risikowerte nicht stimmen konnten. Schwarze mussten beispielsweise viel mehr chronische Krankheiten haben als Weiße, um auf denselben Risikowert zu kommen. Und das hat Konsequenzen: Krankenhäuser nehmen beispielsweise chronisch Kranke mit einem hohen Risikowert eher in spezielle Behandlungsprogramme auf. Ziad Obermeyer sagt es klar und deutlich:
"Das heißt, gesündere Weiße Patienten werden gegenüber kränkeren Schwarzen Patienten bevorzugt."
Der untersuchte Algorithmus wird von vielen Kliniken und Krankenkassen eingesetzt. Algorithmen konkurrierender Anbieter funktionieren ähnlich. Niemand sagt diesen Algorithmen, dass sie Weiße bevorzugen sollen. Der untersuchte Algorithmus berücksichtigte die Hautfarbe explizit gar nicht. Er schaute neben der Krankheitsgeschichte vor allem auf eines - die Kosten, die Patienten und Patientinnen verursacht hatten. Und der Risikowert, den er auswarf, das war im Grunde ein Anhaltspunkt dafür, wie viele Kosten jemand im nächsten Jahr verursachen würde. Das aber korreliert mit der Hautfarbe. In den Abrechnungsdaten, die die Künstliche Intelligenz ausgewertet hatte, hat sich die Information über die Hautfarbe versteckt:
"Schwarze Patienten verursachen geringere Kosten, weil sie weniger medizinische Behandlung bekommen."
Fehlurteil über Gesundheitszustand Schwarzer
Mehrere Faktoren tragen dazu bei. Afroamerikaner und Afroamerikanerinnen stehen dem Gesundheitssystem oft kritisch gegenüber, weil es sie über Jahrhunderte missbraucht hat. Außerdem sind sie öfter arm und können sich Arztbesuche trotz Krankenversicherung nicht leisten. Und wenn sie zum Arzt gehen, werden ihre Beschwerden oft nicht so ernst genommen wie bei Weißen Patientinnen und Patienten. Ziad Obermeyer sagt, der Algorithmus habe die Kosten richtig vorhergesagt. Aber weil kranke Schwarze weniger medizinische Hilfe in Anspruch nehmen und weniger Kosten verursachen als gleich kranke Weiße, zieht das Programm den falschen Schluss, sie seien gesünder. Solche Fehlurteile können für Software-Entwickler schwer zu erkennen sein:
"Wer solche Algorithmen entwickelt, fällt unheimlich viele Entscheidungen, die sich nach kleinen, technischen Fragen anfühlen. Welche Variablen und Vorhersagewerte man nutzt - Programmierfragen. Aber tatsächlich sind das Entscheidungen mit großen Konsequenzen. Man ist sich gar nicht dessen bewusst, wie die Eingangsdaten von historischen und gesellschaftlichen Faktoren beeinflusst wurden."
Deshalb auf Unterstützung durch Künstliche Intelligenz zu verzichten hält der Mediziner aber für den falschen Weg. Die Forscherinnen und Forscher in Berkeley, Boston und Chicago haben stattdessen gemeinsam mit dem Hersteller des Algorithmus bessere Gesundheitsvorhersagemodelle entwickelt, die Schwarze nicht mehr systematisch benachteiligen.
