Metaética: ¿es ético que una inteligencia artificial pueda tomar decisiones éticas en Medicina?

INTRODUCCIÓN

Tomar decisiones es lo que define la ética, la disciplina filosófica del hacer, que se contraponía a la filosofía del ser (la ontología) y a la de la belleza, la estética. Son las tres grandes ramas de ese saber. La ética alcanza el siglo XXI en formas que forzosamente tienen que ser prácticas, de modo que las éticas de nuestro tiempo son las propias de la praxis del momento y lugar, por citar tres ejemplos: ética de empresa, ética pedagógica o, en nuestro caso, ética asistencial. De este modo, la ética médica o asistencial no sería sino la aplicación de los grandes principios de la ética en escenarios clínicos en los que entran en conflicto valores, aquello que más se estima, por ser irreductibles a las demás categorías, algo nuevo, distinto y único en el ser¹.

El procedimiento o método propio de la toma de decisiones es la deliberación, el debate, la evaluación de pros, contras, ventajas y desventajas, hasta alcanzar una decisión que tenga en cuenta todos los cursos de acción o posibilidades. La decisión y debate será consigo mismo (sobre esto hablaremos en el siguiente apartado, Aristóteles) o con terceros, en deliberaciones de grupo que pueden llevar muchas horas hasta alcanzar la considerada mejor decisión. El asunto que aquí nos ocupa va un paso más allá: la toma de decisiones, no por uno mismo o por sesudos comités de ética asistencial, sino por la inteligencia artificial (IA). De alguna manera nos reemplazaría, lógicamente tras un proceso algorítmico de aprendizaje que incluiría multitud de escenarios clínicos con conflictos de valores. La IA sería capaz de segregar los valores en juego, de cuantificarlos, de tener en cuenta las consecuencias de cada decisión y de llegar a una propuesta que supuestamente ha de ser la mejor para ese caso o situación. En el fondo, estaría replicando nuestro costoso proceso de deliberación. Y más que eso: como venimos diciendo, nos estaría sustituyendo, convertida en sujeto de decisiones en asuntos en los que entran en juego factores de confidencialidad, de larga intimidad con pacientes hasta desentrañar valores existenciales muy personales que difícilmente admiten cuantificación. Estamos ante procedimientos en los que el quehacer clínico se demuestra de alta complejidad y más necesario que nunca, y la experiencia clave para entender cómo alcanzar esa deseada decisión. Así las cosas, toca ahora desentrañar si la IA podrá tomar esas decisiones y si eso será ético. Advierto al lector que escribo estas líneas justo tras leer una noticia que habla del fiasco de la interpretación de una obra musical nada menos que por la formación sinfónica de la orquesta de Radio Televisión Española y en el Teatro Monumental de Madrid. La obra la había compuesto un programa de IA y, al parecer, pretendía imitar a Shostakóvich. Fue calificada de pastiche y de fracaso². Puede que en el asunto que nos ocupa no sea tan diferente. Vamos a analizarlo.

ENTENDER QUÉ ES LA ÉTICA: ARISTÓTELES

En las Éticas de Aristóteles, de las que la más leída y conocida es la Ética a Nicómaco³ (Fig. 1), se fundamentan conceptos que son relevantes para responder a la pregunta de este artículo, aquella de si es ético que la IA tome decisiones éticas en medicina. Vamos a exponerlos como guía para el lector no experto y como fuente de argumentación para nuestro análisis.

FIGURA 1. Imagen de Aristóteles en busto de mármol (dominio público) junto a la edición de la Ética a Nicómaco manejada en el presente trabajo.

El primero de ellos es que estamos ante una ciencia práctica, un medio para conducirse que el filósofo considera parte de la ciencia práctica suprema: la política, que por esto mismo y en su obra sería fundamentalmente moral. La ética de este autor es en esencia teleológica, es decir, que se manifiesta con acciones que nos acercarían a lo que es bueno para el hombre. Es, por añadidura, una ética aplicada o casuística que busca decidir lo que se ha de hacer en unas determinadas circunstancias, diferencia fundamental con la ética abstracta o del deber, que a nuestros efectos interesa menos. Un rasgo definitorio final de esta ética es que no es demostrativa, característica fundamental que la diferencia de las ciencias y la techné⁴ (pp. 210-213).

El segundo concepto que nos interesa es el de que estamos ante una ética que, con su objetivo de acercarnos a la virtud (en seguida trataremos de esto), es aprendida. El comportamiento virtuoso no se produce ni por naturaleza ni contra naturaleza, sino por la costumbre. Es decir, que más que de disposiciones naturales se trataría de un ejercicio o de una actividad, en palabras del estagirita: «lo que hay que hacer después de haber aprendido lo aprendemos haciéndolo… tocando la cítara se hacen tanto los buenos como los malos citaristas»³ (pp. 52-53). Esto tiene consecuencias: uno es responsable de sus actos o, en sentido estricto, de su patrón de actuación, de ser malo o ser bueno, porque en asuntos de ética solo cabe uno de los contrarios (bueno o malo, justo o injusto, etc.), a diferencia de asuntos de ciencia, en los que hay espacio para los contrarios, como en medicina para la salud y la enfermedad. Subrayamos estos dos conceptos: que el comportamiento moral y virtuoso es aprendido, que el resultado es uno y nunca su contrario y que estamos ante un aprendizaje moral que nos hará responsables de nuestros actos y carácter, de nuestras costumbres y decisiones. ¿Ocurre así con la IA? Solo en parte, pues la IA en efecto aprende, bien o mal, eso queda para la discusión final, pero en cambio no es responsable de sus actos, debate tampoco cerrado en otros ámbitos de sus actuaciones, que por sí mismo debería marcar un límite a estas.

Aristóteles remarca muy bien en qué se fundamenta el aprendizaje del comportamiento virtuoso. No es en otra cosa que en el placer y en el dolor, dos contrarios que determinan nuestras actuaciones. Saber aceptar o renunciar a uno o a su contrario marcará la diferencia entre el vicio y la virtud, el comportamiento ético o el que no lo es. El filósofo vive entre el 384 y 322 a. C., por lo que lógicamente no habla de emociones o de sus mecanismos, pero sí sabe reconocer sus desencadenantes y la existencia de una voluntad y razón capaces de modular la conducta. De este aspecto deducimos (hoy podemos afirmar que sabemos) que el placer y el dolor, es decir, las emociones que desencadenan, son determinantes de la conducta y el carácter a lo largo de un extenso proceso de aprendizaje. No ocurre así con la IA, en la que el aprendizaje algorítmico en efecto existe, pero en cambio no va anclado a emociones por más que sepa imitarlas. Esto mismo pasa en otras actividades que se han relacionada con ella, como el arte⁵. Marca una diferencia, en nuestra opinión esencial, entre los humanos y la IA, con sus pros y con sus contras.

Como sabemos, la ética se asienta en la toma de decisiones particulares en casos igualmente concretos y particulares, y ello mediante un proceso de deliberación y de elección. Estamos en el caso individual, en el que el propio sujeto elige de forma voluntaria, de modo que, insiste Aristóteles, «la virtud y el vicio están en nuestro poder». En último término, el carácter sería el resultado de los sucesivos cursos de acción y toma de decisiones. Como el lector sin duda conoce, para Aristóteles la virtud es el justo medio entre dos extremos, con múltiples ejemplos que no podemos analizar aquí. Pero sí queremos subrayar dos aspectos: el primero es que «es trabajoso ser bueno, pues en todas las cosas es difícil hallar el justo medio». Nos ilustra con el ejemplo de la facilidad de dar dinero y gastarlo frente a la dificultad de darlo a quienes se debe, en la cantidad debida, en el momento oportuno y por la razón y en la manera debidas. Por eso el bien es raro, laudable y escaso³ (p. 69). El segundo aspecto que mencionar hace referencia al «objeto de deliberación, que es lo propio de un hombre de juicio, no de loco o un necio», y que hace referencia a cosas que suceden de una determinada manera y que tienen un desenlace no claro o indeterminado. De esta deliberación hemos de subrayar aquí que hace referencia «no a los fines, sino a los medios que conducen a los fines». Estos fines serían preexistentes, como el médico curar o el político legislar bien³ (p. 79). Es decir, que hallar el justo medio es particularmente complejo, difícil y detallado, a la vez que importa tener en cuenta que se delibera y elige un medio, no un fin. Aquí toca preguntarse si la IA está preparada para gestas como la de navegar en la complejidad del justo medio o para diferenciar qué es un medio y qué un fin.

Aristóteles reflexiona sobre cinco disposiciones del alma (hoy hablaríamos de métodos o recursos) por las que esta posee la verdad: la techné, es decir, la ciencia, que es un modo de ser demostrativo, ajeno a la ética, que no lo es; la epistemé, que es un modo de ser productivo, como ocurre con el arte, capaz de transformar un material en obra; el nous, que sería el entendimiento en el sentido de intuición e intelecto; la sabiduría, que hace referencia a las cosas grandes a la vez que inútiles, pues solo si la reflexión es a causa de algo y práctica mejoran la condición humana y nos acercan al bien. Esto es lo propio de la phronesis, que es propiamente la opinión moral y la prudencia de las que estamos tratando, un modo de ser racional, verdadero y práctico que versa sobre cosas que pueden ser de otra manera, a diferencia de la ciencia³ (pp. 163-165). En el caso de la IA, el acceso a la razón práctica, a la prudencia del caso concreto, es el resultado de procesos evidentemente científicos o de techné (algoritmos), lo que introduce factores de complejidad e interferencia que pueden limitar la validez del resultado propuesto: en los humanos solo la phronesis o prudencia alcanza la elección.

Finalmente, mencionar que el filósofo distingue tres elementos predominantes en el alma: la sensación, que nunca determina las acciones que nos ocupan, presente como está en los animales, y por otra parte la razón y el deseo. Es este último el motor de la elección y de la acción como deseo deliberativo dirigido a alcanzar un fin. A su vez, se requeriría de la razón en su vertiente calculadora o práctica (diferente a la científica de la verdad demostrativa), la de la verdad sobre los medios para conseguir el recto deseo⁴ (p. 241). A nuestros efectos, destacamos la importancia del deseo, de la voluntad e impulso como elemento primario, luego regido por la recta razón. En contraste, la IA sería pura razón, por añadidura científica o demostrativa (algoritmos), en ningún caso práctica o calculadora, como es pertinente en la toma de decisiones éticas. En la tabla 1 se resumen los elementos centrales citados.

LA IA ES UNA TÉCNICA, PERO ¿QUÉ ES LA TÉCNICA? ORTEGA Y GASSET

Para responder a la pregunta de este artículo sobre la ética de la toma de decisiones por parte de la IA en medicina conviene que desentrañemos antes qué es la técnica, pues la IA es parte y continuidad de esta. Entender que la técnica es condición inseparable de la especie Homo, de manera que no habría hombre sin técnica, que es acumulativa y parte del llamado progreso en las sociedades liberales y que adquirió autonomía propia mucho antes de la llegada de la IA, relegando al hombre a su servidor, nos llevará a que la respuesta a esa pregunta inicial resulte obvia. Así las cosas, el factor añadido en este asunto de la ética sería precisamente este, es decir, dejar que una tecnología se adueñe, no ya de habilidades prácticas manuales, sino de lo que nos hace más humanos: el pensamiento complejo, que es sin duda el operativo en la toma de decisiones éticas en medicina. Si esto se cumpliera, se daría continuidad a lo que va pareciendo un secreto a voces: que nuestros jóvenes universitarios, la élite intelectual del futuro inmediato, no leen (ni entienden) textos complejos, por lo que difícilmente podrían elaborar el pensamiento complejo⁶.

A esos efectos, vamos a guiarnos por la obra de Ortega y Gasset, y más concretamente en su libro Meditación de la técnica⁷ (Fig. 2). En él nos advierte, antes que nada, de que el hombre se empeña en vivir, en alimentarse, en calentarse, en desplazarse. A esto le llama pervivir. Pero que a la vez el hombre es más que biología, de modo que busca salirse de esta circunstancia suya que se le impone para asentarse en sí mismo, para ensimismarse. De esta manera «puede ocuparse de cosas que no son directa ni inmediatamente los imperativos de su circunstancia»⁷ (p. 65). Así inventa, crea, imagina cómo hacer fuego o cómo despellejar a un animal para protegerse del frío con su piel. Estos son los actos técnicos que constituyen la técnica, que no sería sino el conjunto de aquellos que el hombre impone a la naturaleza para la satisfacción de sus necesidades. Así crea una sobrenaturaleza, de modo y manera que la técnica no es la adaptación del hombre a la naturaleza, sino a la inversa, la adaptación de la naturaleza al hombre. No hay hombre sin técnica, y esto al menos desde la aparición de las especies Homo. No puede concebirse. Bien distinto es el grado de sofisticación o progreso tecnológico que se alcance, que dependerá del momento histórico y lugar, y estos a su vez de factores más ambientales o geográficos, y luego sociales y políticos, que de otros estrictamente biológicos, desterrando creencias racistas que Ortega en 1933 no supo dilucidar (habla de salvajes primitivos refiriéndose a cazadores recolectores de tierras sin recursos para haber dejado de serlo) pero que la moderna historia ha desentrañado con datos de elevada calidad científica⁸.

FIGURA 2. Fotografía de Ortega de 1920 de autor desconocido (dominio público) junto a la edición de la obra manejada en el presente trabajo.

Así las cosas, el hombre, como venimos diciendo técnico por definición, «no tiene empeño alguno por estar en el mundo. En lo que tiene empeño es en estar bien»⁷ (p. 71). Así que todo lo que hace va encaminado a ese bienestar, término que ya aparece en Aristóteles como equivalente aproximado a la eudemonia (vide supra). Ortega dice que busca lo superfluo, por lo que (con sus palabras) «el hombre es un animal para el que solo lo superfluo es necesario»⁷ (p. 71). Si el simple vivir biológico es una magnitud física fija en cada especie (incluida la nuestra), el vivir bien, el bienestar, es una magnitud enormemente variable, realmente sin límite. Y aquí podríamos incluir el concepto de progreso, la acumulación de la técnica, supuestamente liberadora del hombre, aunque obviamente es discutible que sea siempre así, pues dependerá de la propiedad y usos de las tecnologías más avanzadas, no siempre ventajosas para el mismo hombre⁹. En esta búsqueda de los superfluo y este avanzar sin límites cabe englobar a la IA. Ya Ortega anticipa en su obra que en estos estadios avanzados (recuerde el lector que escribe en 1933) la técnica deja al hombre sin proyecto, vacío, de modo que se limita a imitar al vecino, entonces adquiriendo automóvil, radio y gramola. En nuestro caso estaríamos ante la toma de decisiones de la complejidad de las éticas por parte de la IA, procedimiento que, como vamos viendo, es susceptible de crear un vacío de consecuencias imprevisibles. Lo superfluo no puede reemplazar a lo necesario: el pensamiento complejo humano.

Con sus actos técnicos el hombre asegura, antes que nada, la satisfacción de sus necesidades elementales, logra que se haga con el mínimo esfuerzo y crea posibilidades nuevas al crear objetos ajenos a la naturaleza del hombre⁷ (p. 78). Libre de las obligaciones impuestas por la naturaleza se inventa una nueva vida. Con el afán de ahorrar esfuerzo crea la técnica (afirmación válida en nuestra época de IA) y se hace esa nueva vida, fabricada por él, nunca dada. De modo que solo la técnica permite que el hombre sea lo que es y que tenga un proyecto vital. El problema de esto es el límite, las consecuencias de aquello a lo que se renuncia, nada menos que la complejidad del pensamiento y la experiencia humana en el caso de la IA en nuestro contexto, como venimos diciendo. Y ello, además, empeorado por la necesidad de no vaciar la vida, lo que requiere un esfuerzo de imaginación y creatividad que no está al alcance de todos, pues muchos serán presa de las inercias del poder de su tiempo, ahora reforzado por la IA.

Ortega aprovecha esta obra para asentarnos en la esencia de su pensamiento: que lo que se llama «vida no es sino el afán de realizar un determinado proyecto o programa de existencia. Y su Yo, el de cada cual, no es sino ese programa imaginario»⁷ (p. 85). Si en el universo todo es lo que es, coincidiendo potencialidad y realidad, el caso del hombre sería único: con su vida inventada es pura pretensión, vida por hacer, el drama de la lucha por llegar a ser lo que tiene que ser. Este ser no le es dado, se construye, con enorme variabilidad entre individuos. Eso y no otra cosa es la conocida circunstancia orteguiana que perfila el drama de la vida. Y hemos llegado a ella por medio de la técnica y su desarrollo, alcanzado ahora un problema de tensión de límite.

Existir es un problema, una dificultad, el drama orteguiano por excelencia. El hombre ha de autofabricarse, autoproducirse, de modo que la contemplación tan deseada vendrá solo después. Es este el tiempo del otium, del ocio, cómo ocuparse de lo más humano del hombre: la organización social, las ciencias, las artes. El problema del hombre actual (que como hemos apuntado ya sacó a la luz Ortega) es que le falta imaginación para inventar el argumento de su propia vida, convirtiéndose en presa fácil del poder, hoy evidentemente tecnológico y, cada vez más, liderado por la IA, para la que la ética asistencial no tiene que suponer, teóricamente, ningún límite. En este punto Ortega erró en su predicción, pues habló de «la enorme improbabilidad de que se constituya una tecnocracia»⁷ (p. 91), al considerar que el técnico no puede mandar y que su papel es siempre de segundo plano. Más bien ha ocurrido lo contrario.

Para terminar de exponer las ideas orteguianas clave en este asunto de la tecnología recordamos que el autor diferencia tres fases en el desarrollo tecnológico: el estadio del azar, el de la artesanía y el propiamente técnico. La fase del azar es la fase paleolítica, en la que el hombre descubre de manera casual y sin conciencia aún de lo tecnológico del hecho eventos como el fuego. Ha visto el rayo que hace arder el suelo sobre el que cae y luego descubre que frotando dos palos o dos piedras lo genera. No sabe aún lo que ha inventado, así que lo atribuye a magia, la magia de los actos que explica lo desconocido, acompañante de los primeros descubrimientos, del simbolismo e incluso del primer arte humano.

La segunda fase es la de la artesanía, propia de la Grecia clásica, de Roma o de la Edad Media. Aquí no habrá aún cambios radicales: el artesano no se separa de su instrumento (que aún no es una máquina) y por ello no tiene tampoco conciencia de técnico. Los actos y posibilidades artesanas son obviamente múltiples, ligadas a su pasado y abiertas a pequeños avances. Si algo común caracteriza al artesano es el largo aprendizaje, que le permite usar el instrumento y trabajar para sí mismo, mantener su poder de producción sobre el instrumento, que labora a su servicio. Con la fase tercera o técnica propiamente dicha el sujeto trabaja ya con la máquina (diferente al instrumento), que aparece con el Barroco y el desarrollo de la primera física experimental, de auténtico taller, con Galileo o Descartes. La máquina se independiza con los primeros telares, al convertirse la misma en fabricante o productora directa del producto, según describe Ortega y Gasset citando a Robert en una publicación de 1825⁷ (p. 123). El hombre es un mero obrero en apoyo de la máquina. El técnico propiamente dicho se ha convertido en ingeniero o diseñador de máquinas autónomas. Esto se ejemplifica muy bien en el caso de las fábricas tradicionales, cada vez más mecanizadas y con menos operarios, cuyo cometido esencial es supervisar la actividad mecánica autónoma. Vea el lector que el hombre ya no es el protagonista activo de esta actividad técnica (más allá de su diseño). Esto mismo ocurriría con la IA en la toma de decisiones éticas: las habríamos delegado en un dispositivo algorítmico, en un salto de delegación que incluso va más allá, pues se renuncia incluso a la supervisión propia del obrero de la fábrica. La más compleja de las tareas de la mente humana, la toma de decisiones en situaciones críticas con riesgo para los valores de un sujeto enfermo. Ortega vio bien la esencia de la tecnología, aunque difícilmente podía anticipar el grado de dominio potencial y de instrumentalización de esta.

LLEGA LA IA: ¿PUEDE CONSIDERARSE AGENTE MORAL?

La pregunta de este trabajo puede simplificarse por la de este epígrafe: ¿es la IA agente moral, es decir, capaz de tomar decisiones éticas, en nuestro caso en escenarios clínicos asistenciales? Se trata de un debate no cerrado en el que se incluye la consideración de la IA como agente moral, que es en el que nos centraremos, o como paciente moral, o sea, merecedor de trato ético, asunto este que trataremos muy de pasada.

El estatus moral de la IA o de la máquina implica que realiza tareas como las de la mente humana, algo propio de la IA por definición¹⁰. Dotada con esta capacidad, el debate se centra en su poder de tomar decisiones que impliquen consecuencias éticas (el ejemplo básico es el de un coche sin conductor enfrentado a un atropello o a arriesgar la vida de sus ocupantes), que sería el primer paso, o en otorgar a la IA auténticas capacidades morales para decidir en escenarios en conflicto de valores, como los propios de la ética asistencial. Es esta la agencia moral completa, la que atañe al título de este ensayo y de la que prioritariamente nos ocuparemos. El lector ya conoce las limitaciones de la IA que hemos ido exponiendo al definir qué es la ética siguiendo a Aristóteles y qué es la técnica siguiendo a Ortega. Con ese bagaje no le costará seguirnos ahora.

A estos efectos, la agencia moral del ejemplo citado del coche sin conductor se considera una agencia moral suave, implícita en los actos de la IA implementada en los sistemas. En cambio, se podría dotar a esos sistemas de la capacidad para el razonamiento moral, el juicio y la toma de decisiones¹¹ (p. 51). En este caso, la agencia moral sería completa, pues en nada se diferenciaría de la de los humanos. Sobre estos aspectos existen diferentes posturas en el ámbito de los pensadores. Por una parte, una corriente conservadora considera que las máquinas o la IA carecen de emociones propias, de libre albedrío o de capacidad para sentir estados mentales, es decir, para entrar en la mente emocional del otro. Por ello es cuestionable que los humanos podamos hacer una delegación completa en la IA asumiendo que puede tomar decisiones morales correctas. Estas carecerían de la necesaria libertad propia del libre albedrío y de las cualidades necesarias para las decisiones éticas autónomas. Solo los humanos creamos la IA, la utilizamos y disponemos de las necesarias capacidades propias de la agencia moral completa.

Otra postura respecto a ese asunto es la contraria. Así, Mark Coeckelbergh cita a Michael y Susan Anderson como defensores de la idea de que máquinas y la IA «pueden incluso ser mejores que los seres humanos en el razonamiento moral, ya que son más racionales y no se dejan llevar por sus emociones»¹¹ (p. 52). No podemos compartir esta postura. Las emociones son necesarias para las decisiones morales, incluso no son el único factor que precisan, pues quedan otros como voluntad, libertad o libre albedrío, ya citados. Por si esto fuera poco, la moralidad es irreductible a reglas que en el caso y escenario concreto (el lector sabe que desde Aristóteles la moral es práctica y de casos prácticos) suelen ser contradictorias, otras veces excluyentes y aun otras complementarias. No hay principios que condensen la moralidad, ni aprendizaje suficiente posible de esta por parte de la IA. Carece de las necesarias cualidades para su ejecución, por más que una escuela filosófica así lo defienda.

Permítasenos dar aún otra vuelta de tuerca a este asunto de la moralidad potencial completa por parte de la IA. Bien pensado, una IA sin emociones propias (que a lo sumo detecta e imita) carece de los necesarios sentimientos para entender la moralidad, como decimos irreductible a principios dada su complejidad. Esta carencia puede equipararse a una psicopatía desde el punto de vista médico y humano. Imaginemos ahora que esa misma IA con dotación de agente moral pleno yerra en sus decisiones, algo que se conoce bien en escenarios diversos, como la adjudicación de recursos en servicios sociales o la toma de decisiones jurídicas. Estaríamos ante una IA enloquecida, frente a auténticos psicópatas de silicio, con consecuencias trágicas para los humanos sobre los que decide. Como neurólogo, no quiero penetrar más en temas propios de la psiquiatría con sus diagnósticos.

No quisiera pasar por alto un escenario que aquí es pertinente. Asumiendo que a la IA ya operativa en la toma de decisiones se le otorgue una moralidad, siquiera parcial, pues es obvio que la tiene y la precisa, esta puede analizarse en situaciones clásicas como el conocido dilema del vagón o el dilema del pasajero, que fácilmente pueden imaginarse en situaciones como las que describimos (Fig. 3). En ambos dilemas un sujeto se enfrenta a una situación en la que ha de escoger entre ver cómo se generan cinco muertes o reducirlo a una sola mediante una acción ejecutada por él mismo: en el caso del vagón accionando una palanca, en el de la pasarela empujando hacia las vías a un observador inocente. En las entrevistas hechas a humanos suele escogerse accionar la palanca para salvar cinco vidas en vez de una; rara vez se opta por empujar a un humano, para lo que se requiere contacto físico. Este último escenario, como decimos excepcional en humanos, es utilitarista en el sentido de maximizar el beneficio del grupo, racional casi puro y de asiento anatómico prefrontal. En cambio, en el caso del dilema del vagón la decisión es más rápida y de fondo emocional, una reacción encaminada a la evitación del daño como prioridad esencial, de ubicación en los circuitos emocionales, sobre todo el córtex cingular posterior y la amígdala¹². La dificultad que potencialmente tenemos los humanos en este tipo de decisiones se reduciría bastante si fuéramos capaces de confrontarlas con principios emocionalmente asépticos, que con toda probabilidad optarían por el utilitario, con el matiz de que el resultado es el mismo en ambos escenarios, por lo que ignoramos por cuál y por qué razones optaría la IA, si es que no enloquece y busca un tercero ajeno a ellos. Llegados aquí, como el lector experto seguramente conoce, hay que aclarar que la ética muy rara vez afronta dilemas, sino problemas y procesos, con implicación de múltiples variables, múltiples resultados posibles y elevada complejidad, que solo la razón, las emociones operativas y el libre albedrío son capaces de enfrontar y resolver. Escenarios como el del vagón o la pasarela son en la práctica artificiosos y de uso más didáctico teórico que práctico.

FIGURA 3. Dilemas clásicos del vagón y del puente. Ejemplifican decisiones éticas de valor preferente utilitarista para cuya adopción los humanos mostrarán más dificultades y sesgos que la inteligencia artificial (IA) dada la ausencia de emocionalidad y el puro raciocinio de esta. Está por ver qué ocurriría con la IA ante dos opciones de igual resultado potencial. Son escenarios didácticos, no prácticos.

Hay autores convencidos del antropocentrismo de posturas como las que aquí defendemos, pues nosotros no aceptamos una IA con agencia moral plena como para tomar decisiones con sus consecuencias. Proponen una postura original que salvaría los muebles de la agencia plena de la IA¹¹ (p. 54). Se trataría de una moralidad a-mental, ajena a las características de los seres humanos. Bastaría con que tuviera suficiente autonomía, interactividad y adaptabilidad, y que ejecutara acciones moralmente calificables. Así las cosas, si fuera autónoma de los programadores, ejecutara sus acciones de modo que tuviera intencionalidad moral (es decir, hacer el bien o el mal, ser virtuosa o viciosa) y mostrara responsabilidad frente a otros agentes morales, entonces esa IA sería no humana, a-mental y dotada de agencia moral plena. En mi opinión, con este juego de cambio de nombres y descenso de requerimientos para la agencia moral, rebajados a los de una IA incluso no avanzada, no cambiaríamos nada de lo dicho hasta aquí, pues las decisiones siguen afectando a humanos, que ni podemos ni debemos alejarnos de nuestra moralidad, de sus principios y de sus consecuencias. Los defensores de esa postura sostienen posiciones muy cercanas al transhumanismo. En otro lugar hemos analizado nuestra posición opuesta a este movimiento¹³, que reuniría criterios de auténtica tiranía. La dignidad de la persona en sentido kantiano es incompatible con ello.

Terminamos este aparatado sobre estatus moral de la IA con una breve mención a la paciencia moral de la IA, es decir, la consideración que debe dársele y que merece, bien distinta de la acción de esta con carácter autónomo pleno, la acción de agente. Es decir, pasamos de tratar la IA como sujeto moral a hacerlo como objeto moral. El asunto es: ¿cómo debemos tratar a la IA? ¿Podemos desprendernos de ella, descuidarla, romperla, golpearla o, por el contrario, merece la máxima dignidad y cuidado, como un humano o al menos como un animal? Los humanos tendemos a establecer vínculos con facilidad con nuestro entorno inmediato, incluyendo las cosas. Esto se facilita por el aspecto humanoide de robots que encierran IA o por la fácil tendencia a humanizar aquellos comportamientos o conductas que nos evoquen las nuestras (hablar, escuchar, proponer, sentir, etc.). De momento no conocemos un estatus moral paciente obligado en la IA, aunque de avanzar sus usos y capacidades no sería nada raro que el debate fuera en todo superponible al del tratamiento debido a los animales, objeto de la reciente ley de bienestar animal¹⁴. Con ella se han establecido deberes hacia ellos, cerrando un curso de varios siglos en el que el menosprecio animal (en algunos momentos discutible, según hemos argumentado en otro lugar) termina. Entre los hitos destacables, de aplicación probable en la IA, está Kant, que establece que los deberes hacia los animales son una forma indirecta hacia la humanidad, pues maltratarlos no nos hace mejores personas y traiciona nuestro deber y autonomía moral, vinculados al imperativo categórico¹⁵. En este contexto no debemos olvidar que los animalistas pretenden ir un paso más allá de la vigente ley de bienestar animal. Proponen que, al menos las especies más sociales e inteligentes, sean considerados agentes morales de pleno derecho, y por tanto equiparables en derechos a los humanos como especie. El salto es de una enorme envergadura y dudamos que llegue a implementarse. Como médico vería en peligro, entre otras cosas, la investigación con animales. El lector notará el paralelismo de este asunto con la IA como agente aquí tratado. Por resumir el asunto de la paciencia moral de la IA, está por perfilar y parece que lo adecuado es darle el trato respetuoso propio de los objetos o herramientas que usamos a diario. Humanizarlo por la simple convivencia (robots) mejorará el trato, eso sí, a expensas de ignorar las limitaciones y riesgos de esta poderosa técnica y herramienta.

EL ESCENARIO ASISTENCIAL

Llegados aquí, es momento de revisar las limitaciones de la IA como agente moral, es decir, como elemento tecnológico que toma decisiones éticas en medicina. Pedimos al lector que se sitúe en un caso clínico en el que deba asesorar (comité de ética asistencial), o incluso dar una opinión decisiva, por ejemplo como consultor o como miembro de un comité de garantía en un caso de solicitud de prestación de ayuda para morir, escenarios hoy corrientes para cualquier profesional médico con dedicación a la ética asistencial.

Son situaciones en las que lo primero que salta a la vista es la complejidad de los casos y de las decisiones. ¿Por qué? Pues porque entran en juego valores que van más allá de lo estrictamente médico, cuya excelencia habrá de confirmar el buen profesional de la bioética aun sin ser experto en ese campo o especialidad médica. Esos valores colisionan entre ellos, proceden de ámbitos de la vida personal o social del enfermo o incluso de sus familiares, se contradicen y hasta pueden estar ocultos y habrán de aflorarse. En un intento de sistematización, vamos a tratar de resumir las limitaciones que mostraría una IA en la toma de decisiones de casos de la complejidad que acabamos de mencionar.

Sesgos y limitaciones de la anamnesis

Desafiamos a cualquier consultor de ética a que indique a un sistema de IA que realice la entrevista de experto al paciente, familiares varios y profesionales del entorno con datos que aportar. Aun asumiendo que esté dotada con la misma información clínica que usted, es probable que la IA no sepa ni a quién tiene que dirigirse, o que su selección sea muy parcial y sesgada e incluso que delegue en usted a esos efectos, señalando el siguiente interlocutor.

Si ya la selección de las personas a quien decida entrevistarse es altamente probable que resulte sesgada, no es menos cierto que la misma anamnesis le resultará imposible a la máquina virtual, pues entran en juego variables muy diversas como detalles asistenciales, matices críticos sobre el dolor físico, estados emocionales de muy difícil abordaje e incluso factores críticos como los existenciales de la vida del enfermo, es decir, aquellos determinantes de lo que fueron sus valores esenciales, muchas veces latentes y determinantes en el conflicto actual de valores. De nuevo entramos en una complejidad que no vemos cómo podría abordar un sistema algorítmico.

Sesgos y limitaciones en la obtención de datos

Es el corolario natural de lo que acabamos de exponer. Estamos ante datos muy diferentes de los cuantificables o sistematizables, más cercanos a una entrevista de tipo cualitativo que a la matematización propia de los algoritmos. Es muy difícil que la IA incorpore matices críticos como los citados valores existenciales latentes o estados emocionales fluctuantes con sus efectos en diversos sistemas. Estamos ante universos humanos de sufrimiento, de dimensiones fenomenológicas casi puras, multidimensionales, que la IA será incapaz de entender, aun cuando extraiga patrones y a partir de estos conclusiones. Ya sabemos que el aprendizaje con la IA no va ligado a emociones y que aquella carece de voluntad propia. El primer factor, el emocional, resulta crítico también en la arena práctica en la que ahora estamos, no solo como implicación teórica aristotélica (Tabla 1): es imposible un aprendizaje ético o siquiera una comprensión externa (desde fuera de la mente del que sufre) sin sentir el placer y el dolor, con sus decisivas conexiones emocionales, como ocurre con la IA, carente de ellos, por más que los identifique e imite.

Sesgos y limitaciones en la interpretación

Como vemos, la IA es incapaz de decidir por sí misma: en primer lugar, si un caso merece una consideración ético-asistencial o no (prueben a preguntárselo en un caso límite o que realmente no lo sea, como aquellos en los que se confunde con problemas de índole deontológica), en segundo lugar los sujetos de la entrevista y, finalmente, las características de esencia cualitativa, fenomenológica y compleja de los datos. Así las cosas, es obvia la existencia de sesgos y deformaciones en la interpretación, conclusiones y recomendaciones que pueda hacer el sistema de IA. Y es previsible que aquellas estén llenas de errores y que se oculten por el bien de los pacientes o consultantes. Son taras de difícil reparación, dado que están fundamentadas en limitaciones propias de la esencia de la misma IA, según hemos ido exponiendo. Por tanto, el aprendizaje y la mejora inherente a este que en principio son universales en la IA, difícilmente podrán mejorarse aquí, en la arena de las decisiones éticas, mediante la mayor experiencia del sistema.

Sesgos, limitaciones y riesgos inherentes a la esencia de la IA

A este efecto, remitimos al lector a las tablas 1 y 2 (y en su caso, a las explicaciones del texto de los apartados precedentes sobre Aristóteles y Ortega y Gasset), donde enumeramos estas limitaciones y ahora explicamos brevemente, a modo de corolario de este ensayo, para el escenario asistencial aquí enjuiciado. Son estas:

• Carencia de deseo, voluntad y libre albedrío, propio de los humanos, dotados de sentido moral y de capacidades éticas que incluyen decidir actuar o no y cuándo (en la arena clínica en qué casos).
• En la ética, incluida la asistencial, los humanos actuamos con responsabilidad, que siempre asumiremos, pues es propio de la inevitable formación ética que da la costumbre. ¿Quién lo hará si las decisiones las toma un sistema de IA? La pregunta es pertinente, puesto que vemos que está expuesta a innumerables sesgos y limitaciones, con altas probabilidades de errores susceptibles de asunción de responsabilidades.
• La deliberación de equipos, altamente enriquecedora, demuestra la complejidad de estos casos asistenciales y las dificultades de lo que Aristóteles llamó navegar por el justo medio. Evaluar alternativas y propuestas en base a datos obtenidos tras entrevistas que demandan una elevada experiencia clínica y conocimiento, además de cualidades humanas de empatía y elevada humanidad, está fuera del alcance de la IA, que a lo sumo lo simulará desde sus limitaciones.
• La opinión moral y la prudencia son las herramientas para alcanzar la verdad en la deliberación (consigo mismo o como parte del grupo de expertos). Se trata de una pura estimativa fundamentada en ese saber de la experiencia, la citada prudencia y el conocimiento profundo del caso y de los valores en juego, con frecuencia múltiples y enfrentados. En el caso de la IA, esta estimativa se transforma en un conocimiento propio de estadística y algoritmos, es decir, en una techné radicalmente diferente a la estimativa que citamos. No sorprenderá que el resultado de ambos procedimientos, el humano y el de la IA, también lo sea.
• Al margen de estos diferentes resultados y de las limitaciones expuestas, la misma esencia de la IA convertida en actor esencial (agente moral completo) en las decisiones éticas asistenciales supone un vaciamiento de los sujetos que la acepten. Se trata de un dominio de lo tecnológico sobre la inteligencia individual y colectiva, y de un acercamiento cada vez mayor entre lo real y lo virtual digital. Se hace en beneficio de lo digital, absorbente, aniquilador de voluntades y objeto de los gigantes tecnológicos. Así se evitan roces y fricciones en una sociedad cada vez más líquida¹⁶ donde la tecnología ya no nos necesitaría ni como sus obreros en la tercera fase orteguiana. Estos son los riesgos que, en opinión de quien escribe, asumiría la clase médica si acepta (ahora o en el futuro cercano) que la IA sea agente ejecutor de decisiones éticas.

FINANCIACIÓN

El presente trabajo no ha recibido ninguna subvención oficial, beca o apoyo de un programa de investigación destinados a la redacción de su contenido.

CONFLICTO DE INTERESES

El autor no comunica conflicto de intereses en relación con el contenido del trabajo.

RESPONSABILIDADES ÉTICAS

Protección de personas y animales

El autor declara que para este trabajo no se han realizado experimentos en seres humanos ni en animales.

Confidencialidad de los datos

El autor declara que en este trabajo no aparecen datos de pacientes.

Derecho a la privacidad y consentimiento informado

El autor declara que en este trabajo no aparecen datos de pacientes.

Uso de IA generativa

El autor declara que no ha utilizado ningún tipo de IA generativa en la redacción de este manuscrito ni en la creación de figuras, gráficos, tablas o sus correspondientes pies o leyendas.