Una nueva investigación ha descubierto que la inteligencia artificial (IA) que analiza los escáneres médicos puede identificar la raza de los pacientes con un grado asombroso de precisión, mientras que sus homólogos humanos no pueden. Con la aprobación de la Administración de Alimentos y Medicamentos (FDA) de más algoritmos para uso médico, a los investigadores les preocupa que la IA termine perpetuando los prejuicios raciales. Están especialmente preocupados porque no pudieron averiguar con precisión cómo los modelos de aprendizaje automático pudieron identificar la raza, incluso a partir de imágenes muy corruptas y de baja resolución.
En el estudio, publicado en el servicio de preimpresión Arxiv, un equipo internacional de médicos investigó cómo los modelos de aprendizaje profundo pueden detectar la raza a partir de imágenes médicas. Utilizando escáneres de tórax privados y públicos y datos autoinformados sobre raza y etnia, primero evaluaron qué tan precisos eran los algoritmos, antes de investigar el mecanismo.
“Presumimos que si el modelo podía identificar la raza de un paciente, esto sugeriría que los modelos habían aprendido implícitamente a reconocer la información racial a pesar de no haber sido entrenados directamente para esa tarea”, escribió el equipo en su investigación.
Descubrieron, como habían hecho estudios anteriores, que los algoritmos de aprendizaje automático podían predecir con gran precisión si los pacientes eran negros, blancos o asiáticos. Luego, el equipo probó varias formas posibles en que el algoritmo podría recopilar esta información.
Entre las ideas propuestas estaba que la IA podría detectar diferencias en la densidad del tejido mamario o del hueso. Sin embargo, cuando estos factores fueron enmascarados (recortando el brillo de los píxeles al 60 por ciento para la densidad ósea), la IA aún pudo predecir con precisión la raza autoinformada de los pacientes.
Otras posibilidades incluyeron la adivinación de la IA a partir de las diferencias regionales en los marcadores en el escaneo (digamos que un hospital que ve a muchos pacientes blancos marca sus rayos X en un estilo específico, puede adivinarlo a partir de la demografía), o que había diferencias en qué tan alta resolución eran las exploraciones cuando se tomaron (por ejemplo, es posible que las áreas desfavorecidas no tengan un equipo tan bueno). Una vez más, estos factores se controlaron pixelando, recortando y difuminando las imágenes en gran medida. La IA aún podía predecir la etnia y la raza cuando los humanos no podían.
Incluso cuando la resolución del escaneo se redujo a 4 x 4 píxeles, las predicciones fueron mejores que las probabilidades aleatorias, y cuando la resolución se incrementó a 160 x 160 píxeles, la precisión superaba el 95 por ciento.
“Los modelos entrenados en imágenes filtradas de paso alto mantuvieron el rendimiento mucho más allá del punto en que las imágenes degradadas no contenían estructuras reconocibles”, escriben. “Para los coautores humanos y los radiólogos, ni siquiera estaba claro que la imagen fuera una radiografía”.
Se probaron otras variables y los resultados fueron los mismos.
“En general, no pudimos aislar las características de las imágenes que son responsables del reconocimiento de la identidad racial en las imágenes médicas, ya sea por la ubicación espacial, en el dominio de la frecuencia, o causadas por factores de confusión anatómicos y fenotípicos comunes asociados con la identidad racial”.
La IA puede adivinar su origen étnico y las personas que la entrenaron no saben cómo. Al equipo le preocupa que la incapacidad de anonimizar esta información de AI podría conducir a más disparidades en el tratamiento.
“Estos hallazgos sugieren que la identidad racial no solo se aprende trivialmente mediante modelos de IA, sino que parece probable que sea notablemente difícil debiasar estos sistemas”, explican. “Solo pudimos reducir la capacidad de los modelos para detectar la raza con una degradación extrema de la calidad de la imagen, al nivel en el que esperaríamos que el desempeño de la tarea también se viera gravemente afectado y, a menudo, mucho más allá de ese punto en el que las imágenes no sean diagnosticables para un radiólogo humano. . ”
Los autores señalan que hasta ahora, los reguladores no han tenido en cuenta los prejuicios raciales inesperados dentro de la IA, ni han producido procesos que puedan proteger contra los daños producidos por los prejuicios dentro de los modelos.
“Recomendamos encarecidamente que todos los desarrolladores, reguladores y usuarios que participan en el análisis de imágenes médicas consideren el uso de modelos de aprendizaje profundo con extrema precaución”, concluyen los autores. “En el contexto de los datos de imágenes de rayos X y tomografía computarizada, la identidad racial del paciente se puede aprender fácilmente solo a partir de los datos de la imagen, se generaliza a nuevos entornos y puede proporcionar un mecanismo directo para perpetuar o incluso empeorar las disparidades raciales que existen en la práctica médica actual . ”
Con información de IFL Science
