Un grupo de médicos se enfrentó a un nuevo tipo de “colega”. Uno que nunca estudió anatomía, ni hizo la práctica en urgencias, pero que sí había leído —digamos— todo. Los pusieron a competir en una prueba difícil: responder conversaciones médicas simuladas con pacientes reales y otros profesionales, evaluadas por criterios diseñados por 262 doctores de carne y hueso. El resultado fue, digamos, incómodo.

Los modelos de lenguaje más recientes superaron a los médicos… cuando estos no tenían ayuda. Pero si les pasaban las respuestas generadas por la IA como referencia, los médicos volvían al podio. Es decir: sin ayuda, los doctores quedaban atrás; con ayuda, hacían aún mejores respuestas que la IA.

La medicina según la IA

Todo esto fue parte de HealthBench, el benchmark más sofisticado que existe hoy para evaluar inteligencia artificial en el ámbito de la salud. A diferencia de otras pruebas que consisten en preguntas tipo PSU, HealthBench reproduce conversaciones clínicas realistas, con múltiples mensajes y temas complejos: desde derivaciones de urgencia hasta manejo de datos clínicos estructurados.

El avance ha sido rápido: mientras GPT-3.5 apenas alcanzaba un 16% de cumplimiento de los criterios, los modelos de abril 2025 como o3 ya llegan al 60%. En algunas tareas, como la detección de emergencias, la IA incluso supera sistemáticamente a los humanos.

Pero no todo es euforia. En el 34% de las conversaciones más difíciles (HealthBench Hard), ni el mejor modelo supera el 32%. Además, sigue teniendo problemas con el context seeking: si uno no entrega toda la información de entrada, el modelo rara vez sabe qué le falta. Y eso, en medicina, no es un detalle.

¿Y la ética? ¿El trabajo? Los autores no se andan con rodeos: hoy, los modelos de IA generan respuestas más completas y precisas que los médicos, a menos que estos trabajen con la IA como apoyo. Y aunque el modelo no sustituye al humano, sí redefine su rol. En este nuevo escenario, ser buen médico quizás no signifique saber más, sino saber cómo preguntar mejor.