Cuando los algoritmos toman el poder: una distopía clínica

Cuando los algoritmos toman el poder: una distopía clínica

Los algoritmos se convirtieron en la nueva clínica y los médicos en una mera tecnología para aplicarlos

Fuente: Cerebro clínico | 27 DIC 17 intramed.net nogracias.eu

“La imbecilidad es una roca inexpugnable: todo el que choca contra ella se despedaza”. Gustave Flaubert.

Amanece. El Dr. Turing baja las escaleras del hospital custodiado por un robot que lo aferra del brazo. Es un artefacto antropomórfico, blanco, metálico. Se llama Isaac A.; se conocen. El edificio es enorme, más de veinte pisos. Una mole de hormigón macizo con solo una docena de  ventanas pequeñas. La arquitectura es funcional, racionalista y brutal. Antes de subir a la camioneta Turing se detiene y mira hacia atrás. Una silueta se asoma por la ventana del último piso, es una sombra irreconocible. Agita algo con su brazo en alto. Turing sonríe. El robot le baja la cabeza y lo ayuda a sentarse en el interior de la camioneta. Desde el asiento delantero baja una cortina automática. El supervisor gira: “Bienvenido doctor, será trasladado a un instituto de rehabilitación”. La cortina vuelve a cerrarse. Huele a desinfectante, hace frío.

Isaac A. se sienta a su lado. Ejerce una presión calculada sobre su brazo. Debe indicar autoridad y producir sumisión. El sistema está muy bien calibrado. Los sensores táctiles de su mano electrónica denominados «caja de empatía» evalúan la impedancia de la piel, la temperatura, la frecuencia cardíaca, el sudor y, en base a esos datos, se ajusta la presión. El mecanismo se retroalimenta con indicadores que evalúan las emociones. Debe impedir que la persona que custodia se relaje en exceso o que sienta pánico. La medida exacta prevista en su setpoint autorregulable programa los ajustes necesarios. Algunos modelos más avanzados que Isaac A. estaban equipados con el “órgano de ánimos Penfield”, una máquina capaz de producir emociones en quienes lo utilizaban.Turing conoce aquellos dispositivos ya que los médicos los empleaban con sus pacientes aunque en el sentido contrario: producir confianza y serenidad. Un monitor muestra las variables emocionales y les sugiere una serie de refuerzos conductuales mediante una ayuda que aparece en pantalla: sonría, acerque la silla, toque la mano, haga silencio, ofrezca un pañuelo de papel y otras recomendaciones por el estilo. En general Turing prefiere evitarlo, lo ignora hasta que suena una alarma y se ve obligado a simular que le obedece.

El vehículo recorre el camino de salida hasta la autopista a través de un parque desolado. El sol dibuja una delgada línea anaranjada en el horizonte. Un cartel luminoso con letras queda a sus espaldas: Centro Médico Metrópolis. Antes de salir aparece un edificio extendido en superficie de dos pisos de altura, es la “Unidad de Resistencia Antibiótica”.Allí se confina a las personas que padecen cualquier clase de infección: desde una simple angina estreptocóccica a una sepsis fulminante. Hace más de una década que no existen antibióticos capaces de controlar estas enfermedades. Los pacientes reciben asistencia de soporte y se confían a su propia inmunidad para resolver el cuadro. Los que no lo logran, mueren. Sus cadáveres son incinerados de inmediato en una cámara de aislamiento hasta la que son transportados mediante cintas automáticas sin ningún contacto con el personal sanitario. El procedimiento es seguro, limpio, perfecto.

Turing conoce el camino. No es la primera vez en que se ve obligado a internarse en el Centro de Rehabilitación para Profesionales. Apoya la cabeza sobre el respaldo y rememora sus actividades del día. Algo que no debió ser percibido por el sistema de control de gestión tiene que haber sido detectado. Es un riesgo que siempre tiene presente. Lo acepta. Lo que le espera es el precio a su conducta fuera del protocolo. Recuerda, busca identificar el momento del error.

«El futuro ya llegó hace rato, todo un palo ya lo ves»

A primera hora trabajó en el área de métrica y datificación. Los pacientes tenían una primera consulta con un sistema experto donde, ellos mismos, cargaban sus datos personales, tildando sus síntomas y antecedentes en una planilla de autorreporte en las computadoras de admisión. Buscaban en un extenso menú de opciones predeterminadas aquellas que describieran lo que sentían. Se había eliminado la opción “texto libre o narrativo” ya que dificultaba la codificación sin aportar nada relevante para el sistema. El proceso finalizaba con una serie de indicaciones acerca de qué dispositivos de monitoreo y estudios complementarios debían recomendarse. En una sala vecina, personal técnico les realizaba los exámenes y les colocaba los dispositivos ambulatorios en general como aplicaciones en sus teléfonos celulares o mediante electrodos en distintas partes del cuerpo: registro de frecuencia cardíaca, presión arterial, electroencefalograma, electrocardiograma, diario automatizado de síntomas, monitoreo continuo de glucemia implantable, registro fotográfico de comidas y cálculo automático de su contenido calórico, monitor de apneas y otros según el caso. Uno o dos días más tarde  se retiraban los equipos y se analizaban los registros buscando detectar patrones contrastando sus resultados con los de las gigantescas bases de datos poblacionales. Los algoritmos se habían convertido en la nueva zona de confort médico. Los tranquilizaban como un narcótico cognitivo que les permitía ignorar la inexorable incerteza clínica.

Allí trabajó Turing toda la mañana. La sala era inmensa y pulcra. La música ambiental repetía incesantemente la misma canción Daisy Bell en una versión tecno que le resultaba especialmente insoportable. Supervisó que estuviera completa la carga de datos y cotejó las sugerencias que arrojaban los multiprocesadores. En general este trabajo lo aburría. Al cabo de una hora sentía sueño y se estimulaba discutiendo las probabilidades que le sugería el sistema inteligente. Era un enorme procesador algorítmico que se alimentaba desde los hospitales de todo el país. Le llamaban HAL por sus siglas en inglés: Heuristically Programmed Algorithmic Computer. Sabía que no podía modificar sus diagnósticos a los que él, en secreto, denominaba “sentencias”. La lista de probabilidades incluía tres o más categorías que debían cotejarse con nuevos datos cuando era necesario. Finalmente se volvía a procesar la información hasta que la probabilidad adquiría una significación estadística que descartaba el error y eliminaba la incertidumbre. El reporte formulaba las recomendaciones de tratamiento ya sea ambulatorio o mediante la internación, o el alta y el egreso del sistema. Recientemente se había aprobado un dispositivo de monitoreo de la adherencia a las indicaciones del sistema. Se llamaba Abilify MyCite, consistía en un comprimido que, una vez ingerido por el paciente, habilitaba un sensor que detectaba la llegada de los fármacos prescriptos al estómago y transmitía esa información a una aplicación que era monitoreada desde una central única de seguimiento. En situaciones excepcionales el profesional podía solicitar autorización para mantener una entrevista personal con el paciente. Esto no era bien visto ya que los nuevos datos recabados a través de la interacción humana eran considerados un mero ruido comunicacional que “ensuciaba” el procesamiento algorítmico de la información. Turing lo hacía con demasiada frecuencia lo que le había costado varias llamadas de atención emitidas por la computadora general de control de calidad.

Al mediodía decidió no ir al comedor y emplear el tiempo del almuerzo para leer en la habitación de médicos. Guardaba algunos libros ya inhallables en ediciones del siglo pasado. Leer lo liberaba durante un rato del hastío y de la asfixia. Quedó conmovido por la lectura que conocía pero casi había olvidado. Por la tarde cumplió con su turno semanal de docencia con alumnos del último año de la carrera. Las clases se habían transformado por completo desde la época en la que él había estudiado. La exposición y la discusión crítica ahora habían sido reemplazadas por dispositivos de motivación y formación de hábitos. Todo estaba reglado según los fundamentos de una pedagogía basada en la utilidad y organizado mediante una serie de estrategias didácticas rígidas basadas en la evidencia de sus resultados conductuales específicos. Turing se había opuesto a esta metodología lo que le costó su primera internación en el Instituto de Rehabilitación para Profesionales (IRP). La estructura básica era en un modelo denominado Hook del que era imposible alejarse. Consistía en generar desencadenantes o motivadores externos que producían determinada conducta (acción) en el alumno lo que le otorgaba una recompensa variable que, a su vez, estimulaba a que el estudiante invirtiera cierto trabajo o acción con lo que constituía su capital acumulado y se comportaba como un desencadenante interno para un nuevo ciclo de estímulo y respuesta. El objetivo final era la formación de hábitos permanentes que se auto-perpetuaran en respuestas estereotipadas almacenadas en la memoria activándose cada vez que el estímulo fuera un patrón reconocible. La obtención de este automatismo se consideraba un logro de aprendizaje. Los cursos de formación docente consistían exclusivamente en la adquisición de habilidades en el uso del modelo que se aplicaba a cualquier contenido a “enseñar”. Toda otra pedagogía había sido eliminada por carecer de evidencias mensurables en la conducta y se la consideraba un ejercicio trivial y arcaico de una verborragia insustancial.

Esa tarde decidió romper la rutina de la estrategia Hook y de su rol de “facilitador” como denominaban ahora al docente. Miró en silencio a los alumnos, uno veinte jóvenes sentados en círculo con sus dispositivos móviles y auriculares dispuestos a practicar los ejercicios de condicionamiento operante. Esperaban atentos el primer estímulo y la recompensa variable que premiaría su respuesta. Turing les pidió que apagaran sus teléfonos y tablets. Algunos lo hicieron pero otros solo los pusieron en modo silencio. No soportaban separarse por completo de sus pantallas. “Hoy vamos a leer”, dijo con tono sereno pero firme. Extrajo de su bolso de mano un ejemplar viejo y repleto de anotaciones de “Un hombre afortunado” de John Berger. Leyó. La mayoría se sorprendió al principio pero luego lo miraban ausentes con una expresión bovina y sin interés. Otros escondían sus manos debajo de la mesa para operar sus teléfonos con disimulo. Al cabo de unos quince minutos, Turing cerró el libro y miró a los estudiantes. Nadie parecía haber comprendido nada. Nada. Esperaban un estímulo que no encontraban en el texto. Desde la última fila de asientos se levantó una joven pelirroja. Delgada, con la piel de un color anémico y la mirada absorta. Se acercó a Turing con pasos largos y decididos. ¿Qué es eso?, preguntó. “Un viejo libro que me hizo estudiar medicina”, respondió Turing. La joven mostraba un minúsculo temblor en el labio inferior y cierta humedad en los ojos. “Quiero ese libro”, dijo mirándolo fijamente. Turing extrajo algunos papeles intercalados entre las páginas y se lo entregó: “ahora es tuyo”, dijo con el brazo extendido. La joven lo guardó y regresó a su asiento sin otro comentario.

Al rememorar esa escena Turing sintió en el cuerpo el estremecimiento de la revelación: ¡era eso! Alguien debió detectar su transgresión a los protocolos de enseñanza en el aula. Esa falta sumada a las numerosas advertencias que recibía casi a diario había colmado la medida. Sin embargo se sintió feliz por un instante. Isaac A. percibió el cambio y ajustó la presión sobre su brazo. El viaje hacia el Instituto de Rehabilitación Profesional avanzaba lentamente debido a la congestión de tránsito en la autopista. Había que atravesar la circunvalación urbana de Metrópolis para alcanzar la periferia rural donde estaba el Instituto. Volvió a recostar la cabeza y cerró los ojos. Recordar lo sustraía del presente.

«Conozco muchas MÁQUINAS que pueden pensar, pero todas son PERSONAS». Keith Devlin

Sus alumnos deberían rendir su examen final de idoneidad muy pronto. Pero algo había cambiado en esa prueba de competencias. Y ese cambio lo había expulsado de la comunidad, lo había convertido en extranjero para la tribu.

Durante la época dorada de su formación, los médicos interactuaban con las primeras máquinas de inteligencia artificial. La relación era extraordinaria, las capacidades de cómputo tan superiores a las humanas fortalecían las inferencias diagnósticas con conclusiones más robustas. Cada actividad cognitiva del trabajo profesional que podía beneficiarse del procesamiento masivo de datos se veía enriquecida por los dispositivos. Él contribuyó al diseño de interfaces entre la tecnología, los pacientes y los médicos. El proceso de atención no paraba de mejorar. En la investigación se planteaban hipótesis y se apelaba al Big Data para ponerlas a prueba. Las ideas brotaban creativamente de los equipos desde todas partes del mundo y se contrastaban con bases de datos internacionales. La confirmación o refutación de una conjetura era cada vez más rápida y certera. Las correlaciones advertían a los investigadores acerca de la posibilidad de que algo nuevo y desconocido estuviera ocurriendo y ellos elaboraban nuevas teorías para explicarlo, lo que reiniciaba el ciclo. Las ideas podían trasladarse a los pacientes con una rapidez nunca vista antes. Turing vivió esos años con una euforia lúcida.

La expansión fue vertiginosa. No hubo tiempo para adaptarse a los cambios y la fascinación ciega comenzó a sustituir a la reflexión y al uso crítico de las herramientas. Surgieron fundamentalistas que propusieron la generación de algoritmos para tareas que, o no los necesitaban, o no podían reducirse a una secuencia de acciones programadas en lenguaje binario. Turing anticipó el peligro que ello implicaba y escribió algunos relatos que circularon de mano en manos entre sus colegas. Contaba historias que desnudaban lo absurdo del entusiasmo a través de un personaje de ficción que bautizó como  B.E. (Boludo Enfático). La caracterización tuvo mucho éxito mientras sus colegas se sintieron ajenos a él, los divertía. Pero las narraciones avanzaron hacia las escenas cotidianas y, a medida que se sintieron reflejados en lo que B.E. hacía, las simpatías terminaron de inmediato. El personaje se hizo célebre y él conquistó el rechazo generalizado de sus pares.

Los procedimientos superaron a los fines o, ellos mismos, se convirtieron en los fines del acto médico

Turing diseñó una prueba, un test para advertir a la comunidad profesional de las diferencias entre una persona y un simple procesador y almacenador de datos y del enorme peligro de olvidarlas. Propuso que un observador evaluara las respuestas a una serie de preguntas de dos entes a quienes él no podría ver. El objetivo era identificar cuál era la máquina y cuál humano. Los primeros resultados dejaron en claro las diferencias de modo categórico. Sin embargo eso no atenuó el entusiasmo y la fascinación se volvió un arma ciega y poderosa. Los algoritmos se convirtieron en la nueva clínica y los médicos en una mera tecnología para aplicarlos. Los procedimientos superaron a los fines o, ellos mismos, se convirtieron en los fines del acto médico. La confianza de las personas en las mentes no humanas era puramente intuitiva, sobredimensionada. Una fantasía naive y peligrosa. Una reducción de lo humano a la medida del artefacto.Turing sintió que algo moría en medio de una atmósfera de entusiasmo maníaco. Registró el desasosiego de una época que él no podría detener y que sus colegas no lograban percibir. En poco tiempo vio cumplirse, uno a uno, sus pronósticos más sombríos.

Excepto con su viejo profesor Skrabanek ya no podía hablar con nadie. Lo buscaba en su casa los fines de semana y discutían acerca de lo que estaba ocurriendo en conversaciones interminables y profundas. El profesor no resistió la mediocridad que los amenazaba y decidió abandonar la profesión. Se jubiló anticipadamente, lo que lo dejó todavía más solo y aislado. “Querido Turing -le decía agobiado- estamos confundiendo a las personas con los datos que proceden de ellas. Los datos cuentan, es decir computan; pero no “cuentan”, es decir no narran. Sin historias no hay medicina. El padecimiento no es un algoritmo ni el consuelo una gesto sugerido por una ayuda en pantalla”.  Skrabanek se fue callando con el paso de los años. Ahora vive encerrado en sí mismo y no ya puede reconocerlo cuando lo visita. Tal vez sea mejor, piensa, al volver derrotado de cada encuentro.

El examen al que pronto deberán someterse sus alumnos se había transformado en la versión negativa del test que Turing había diseñado unos años antes. Un profesor (facilitador) formulaba preguntas mediante un micrófono hacia el cuarto contiguo donde se encontraba el alumno examinado y una terminal de HAL, la supercomputadora clínica. La evaluación consistía en alcanzar el punto en el que las respuestas del procesador y las del alumno le resultaran indistinguibles al examinador. Solo cuando se daba esa situación se aprobaba el examen. En su test original los procedimientos cognitivos se transferían, en una versión reducida y simplificada, desde las personas a las computadoras. Ahora la transferencia se realizaba en el sentido inverso. El objetivo a alcanzar mediante la educación era dotar al alumno de los modos de procesar la información de una máquina. Eso, que la comunidad profesional y académica consideraba una medida del éxito, Turing lo evaluaba como la dimensión de la catástrofe.

La Unidad de Traslado se detuvo en la casilla de guardia del Instituto de Rehabilitación Profesional. Turing se sorprendió, sumido en sus recuerdos había perdido la noción del viaje. Mientras el supervisor e Isaac A. hacían el chequeo digital de identidad miró el edificio que ya conocía. Anticipó lo que le esperaba: interminables sesiones diarias de entrenamiento en el procedimiento Hook, reiteradas pruebas con el test de semejanza cognitiva contra la terminal HAL, ejercicios de obediencia a la significación estadística. Lo que más temía era el bombardeo de estímulos con frases cortas y sin contexto que le aparecerían en todo momento y lugar con el decálogo del Instituto y otras insensateces por el estilo que podía recordar de sus internaciones anteriores. El método se parecía más al del entrenamiento canino que a la educación tal como él la entendía.

Decálogo del Instituto de Rehabilitación Profesional

  1. La realidad es un conjunto de datos.
  2. Los datos son hechos.
  3. Los datos hablan por sí mismos.
  4. La teoría es innecesaria cuando abundan los datos.
  5. Las hipótesis no se corroboran con los datos, nacen de ellos.
  6. El conocimiento surge de la correlación y la inducción.
  7. Saber es saber reconocer patrones.
  8. Las métricas clínicas salvarán a los médicos de sí mismos.
  9. La creatividad es una forma de cálculo.
  10. Los que dudan o son escépticos no son más que «mecanismos fallidos».

Isaac A. abrió la puerta y lo invitó a bajar. Lo deslumbró el sol del mediodía. Volvió a ver en un destello de su memoria la imagen en la ventana del último piso al salir del hospital. Una silueta agitando su brazo en alto. Ahora reconoció a la joven pelirroja mostrándole el libro que Turing le había regalado. La imaginó leyendo durante la noche entera. Le pareció que su exclusión y su aislamiento valían la pena. Se sintió menos solo en su naufragio. Pensó que no sabía su nombre. Decidió llamarla “Viernes”.

Daniel Flichtentrei


*Este texto es un homenaje (y un robo) a la gente que admiro: George Orwell, Alan Turing, Isaac Asimov, Philip K. Dick, Fritz Lang, John Berger, Arthur C. Clarke, Stanly Kubrick, Petr Skrabanek, Daniel Defoe

La verdad y otras mentiras. Por Daniel Flichtentrei

Defiende el derecho a la salud

Cada vez es más difícil sostener económicamente las acciones de OSALDE y esta página web. Si crees en nuestro proyecto por favor, hazte socia.

You have Successfully Subscribed!