{"id":6550,"date":"2018-11-11T16:44:52","date_gmt":"2018-11-11T15:44:52","guid":{"rendered":"https:\/\/osalde.org\/?p=6550"},"modified":"2018-11-11T16:44:52","modified_gmt":"2018-11-11T15:44:52","slug":"los-algoritmos-aumentan-las-desigualdades-sociales","status":"publish","type":"post","link":"https:\/\/osalde.org\/eu\/los-algoritmos-aumentan-las-desigualdades-sociales\/","title":{"rendered":"\u201cLos algoritmos aumentan las desigualdades sociales\u201d"},"content":{"rendered":"

Fuente:\u00a0<\/strong>lavanguardia.com<\/a>\u00a0

<\/p>\n

La matem\u00e1tica Cathy O\u2019Neil ha dado la voz de alarma sobre c\u00f3mo los algoritmos pueden empeorar la vida de las personas. O\u2019Neil, doctora en Matem\u00e1ticas por la Universidad de Harvard y postdoctorada en el departamento de Matem\u00e1ticas del MIT, trabaj\u00f3 como analista cuantitativa para un destacado fondo de cobertura en medio de la crisis crediticia.<\/p>\n

\u201cLa crisis financiera dej\u00f3 bien claro que las matem\u00e1ticas no solo estaban profundamente involucradas en los problemas del mundo, sino que adem\u00e1s agravaban muchos de ellos. La crisis inmobiliaria, la ruina de grandes entidades financieras, el aumento del desempleo: todo esto hab\u00eda sido impulsado e inducido por matem\u00e1ticas que bland\u00edan f\u00f3rmulas m\u00e1gicas\u201d, explica.<\/p><\/blockquote>\n

Lejos del solucionismo tecnol\u00f3gico, que pregona que los modelos matem\u00e1ticos conducen a sociedades m\u00e1s igualitarias porque juzgan con las mismas reglas cualquier asunto, O\u2019Neil alerta de que, en realidad, ocurre todo lo contrario.<\/p>\n

En el libro Armas de destrucci\u00f3n matem\u00e1tica. C\u00f3mo el big data aumenta la desigualdad y amenaza la democracia<\/em> (Capit\u00e1n Swing, 2016), O\u2019Neil se\u00f1ala que los algoritmos, incontestables, secretos y discriminatorios, dan forma a nuestro futuro como individuos y como sociedad. Sirven para calificar a profesores y estudiantes, conceder (o negar) pr\u00e9stamos, ordenar curr\u00edculos, evaluar a los trabajadores, dirigir a los votantes, determinar horarios comerciales e incluso fijar condenas judiciales.<\/p>\n

O\u2019Neil visita por primera vez Barcelona para participar como conferenciante principal del festival The influencers, celebrado en el CCCB el pasado fin de semana. Hablamos con ella para reflexionar sobre los peligros del big data, los sesgos de los algoritmos y el impacto de los modelos predictivos.<\/p>\n

\u00bfPor qu\u00e9 afirma que los algoritmos son armas de destrucci\u00f3n matem\u00e1tica?<\/b><\/p>\n

Los algoritmos sobre los que alerto son modelos matem\u00e1ticos que cumplen tres requisitos. En primer lugar, son modelos incontestables. Les otorgamos el poder m\u00e1gico de solucionar de manera justa cualquier problema que tenemos, desde encontrar la persona adecuada para un lugar de trabajo hasta ordenar la informaci\u00f3n que recibimos a trav\u00e9s de las redes sociales. Segundo, son secretos. Desconocemos sobre qu\u00e9 reglas han sido construidos y a menudo no somos conscientes de que nos estamos sometiendo a su juicio. La transparencia importa, pero en estos casos siempre hay un \u201csecreto industrial\u201d que impide conocer el origen y la existencia de estos algoritmos. Tercero, son modelos injustos. Bajo ese secretismo los algoritmos suelen operar contra los intereses de las personas. Estas tres caracter\u00edsticas hacen que los algoritmos no solucionen los problemas que tenemos, sino que los hagan peores<\/p>\n

Usted trabaj\u00f3 como analista de big data para un importante fondo de cobertura en los a\u00f1os de la crisis, \u00bfqu\u00e9 papel tuvieron los algoritmos en ese contexto?<\/b><\/p>\n

Las hipotecas subprime que se acumularon durante el auge inmobiliario no eran algoritmos defectuosos. Eran instrumentos financieros y ten\u00edan poco que ver con las matem\u00e1ticas. Sin embargo, cuando los bancos empezaron a cargar las hipotecas basura en distintas clases de t\u00edtulos para venderlas, s\u00ed que utilizaron modelos matem\u00e1ticos, algoritmos. La internacionalizaci\u00f3n de la crisis se debi\u00f3, en parte, a c\u00f3mo las agencias de calificaci\u00f3n manejaban los datos para hacer confiables unas hipotecas que no lo eran. Las agencias daban la triple A, el s\u00edmbolo de mejor producto financiero, a hipotecas de clientes poco solventes, a sabiendas de lo que estaban haciendo y lo que ello pod\u00eda representar para el sistema financiero. El poder de la inform\u00e1tica moderna impuls\u00f3 el fraude hasta una escala sin precedentes de la historia.<\/p>\n

 <\/p>\n

 <\/p>\n

Alerta de que los algoritmos tambi\u00e9n est\u00e1n detr\u00e1s de nuestra dieta informativa. Muchas personas acceden a las noticias a trav\u00e9s de Facebook, \u00bfcu\u00e1les son los riesgos?<\/b><\/p>\n

En primer lugar, el tipo de publicidad que hay en esas plataformas. La publicidad de las redes sociales, distribuida a trav\u00e9s de un algoritmo, est\u00e1 hipersegmentada y se env\u00eda a partir de todos los datos que la empresa tiene sobre cada persona. Las tecnol\u00f3gicas, que registran nuestros patrones de navegaci\u00f3n digital, saben todo sobre nosotros y nos ofrecen publicidad que apela a nuestras emociones. El algoritmo de Facebook, por otro lado, decide qu\u00e9 noticias nos muestra y en qu\u00e9 orden. Nos ofrece informaci\u00f3n que sabe que nos va a gustar y sobre la que haremos clic. Este fen\u00f3meno se conoce como \u201cc\u00e1mara de eco\u201d y hace referencia a que las tecnol\u00f3gicas nos ofrecen la informaci\u00f3n que refuerza nuestras creencias.<\/p>\n

Debemos ser responsables sobre nuestro comportamiento digital.<\/b><\/p>\n

S\u00ed, y debemos asumir que, aunque Facebook actuara de otra manera, hay algo en nuestra condici\u00f3n humana que nos empuja a tener ese comportamiento. Es m\u00e1s f\u00e1cil moverse en un contexto que nos resulta c\u00f3modo que en uno que nos es hostil. Nosotros mismos compartimos cosas en Facebook porque nos gustar\u00eda que fueran verdad, no porqu\u00e9 lo sean. La tecnolog\u00eda facilita ese tipo de comportamiento.<\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

Los medios de comunicaci\u00f3n tambi\u00e9n buscan influir en los ciudadanos con determinados contenidos\u2026<\/b><\/p>\n

Los medios tradicionales, a trav\u00e9s del gatekeeper, el periodista que filtraba y jerarquizaba la informaci\u00f3n, manten\u00eda a raya las voces m\u00e1s extremas. Los algoritmos de las redes sociales, sin embargo, han amplificado estas voces. Adem\u00e1s, una de las cosas m\u00e1s preocupantes de las tecnol\u00f3gicas es que tienen mucho poder, pero ninguna responsabilidad. Se esconden bajo una apariencia de neutralidad a pesar de tener una fuerte influencia en las democracias actuales.<\/p>\n

Usted asegura que el sistema judicial estadounidense se basa en los algoritmos para calificar a los delincuentes y dictaminar condenas. \u00bfQu\u00e9 consecuencias tienen los programas predictivos en el sistema judicial?<\/b><\/p>\n

Los programas predictivos de delitos son la \u00faltima moda en los departamentos policiales de los Estados Unidos. Estos programas procesan los datos hist\u00f3ricos de delincuencia de una ciudad y realizan un c\u00e1lculo para determinar los d\u00edas y las horas en las que es m\u00e1s probable que se cometa un delito. Con presupuestos bajo m\u00ednimos en todo el pa\u00eds, los departamentos de polic\u00eda patrullan los cuadrantes identificados como peligrosos en cada momento y publican \u00edndices de delincuencia a la baja. Las faltas leves son end\u00e9micas en muchos barrios empobrecidos. Este tipo de sistemas ponen el foco determinados delitos e invisibilizan otros, generando un mapa de la delincuencia que en realidad traza el rastro de la pobreza.<\/p>\n

 <\/p>\n

 <\/p>\n

Se crea un bucle de retroalimentaci\u00f3n pernicioso.<\/b><\/p>\n

S\u00ed, y las c\u00e1rceles se llenan de pobres de color. En los Estados Unidos las condenas de c\u00e1rcel impuestas a hombres de color son un 20% m\u00e1s largas que las impuestas a hombres blancos por delitos similares. Podr\u00edamos pensar que la utilizaci\u00f3n de modelos informatizados deber\u00eda reducir la influencia de los prejuicios en las condenas y que contribuir\u00eda a que el trato sea imparcial. Esa es la esperanza que ha impulsado a m\u00e1s de una veintena de estados del pa\u00eds a recurrir a los llamados modelos de reincidencia, que ayudan a los jueces a evaluar el peligro que representa cada individuo.<\/p>\n

Pero no es as\u00ed.<\/b><\/p>\n

Uno de los modelos m\u00e1s populares incluye algunas preguntas que es f\u00e1cil imaginar que los reclusos de origen privilegiado contestar\u00e1n de una manera y los de los barrios pobres de otra. Por ejemplo, cuestiones acerca de \u201cla primera vez que tuvo trato con la polic\u00eda\u201d o si amigos y familiares tienen antecedentes penales. Las bases de datos que construyen los polic\u00edas son incompletas y contienen sesgos que no favorecen a las minor\u00edas.<\/p>\n

 <\/p>\n

 <\/p>\n

\u00bfY los jueces toman decisiones en funci\u00f3n de esas bases de datos?<\/b><\/p>\n

En algunos estados, estos datos se utilizan \u00fanicamente para identificar a los reclusos con puntuaciones de alto riesgo para incluirlos en programas de prevenci\u00f3n de reincidencia. Aunque en otros, sirven para decidir condenas.<\/p>\n

\u00bfCu\u00e1l es el papel de los algoritmos en los procesos de selecci\u00f3n de empleo?<\/b><\/p>\n

Cada vez m\u00e1s empresas utilizan algoritmos para la selecci\u00f3n de personal. Puede ocurrir que un candidato sea descartado por los datos que hay en la red sobre \u00e9l. Kyle Behm, por ejemplo, es un estudiante de grado al que se le neg\u00f3 un trabajo en un supermercado bas\u00e1ndose en unos datos que la empresa recogi\u00f3 de \u00e9l en una prueba de personalidad. Fue descartado porque anteriormente hab\u00eda sido tratado en un hospital por trastorno bipolar. Su caso podr\u00eda representar una violaci\u00f3n de la ley estadounidense de discapacidades y est\u00e1 pendiente de juicio.<\/p>\n

La semana pasada Amazon reconoc\u00eda que un algoritmo interno utilizado para promover a sus trabajadores ten\u00eda sesgo por razones de g\u00e9nero.<\/b><\/p>\n

S\u00ed, Amazon ha hecho algo que muy pocas compa\u00f1\u00edas hacen: auditar sus propios algoritmos. En este proceso descubrieron que uno de ellos perpetuaba el sesgo de la industria tecnol\u00f3gica contra las mujeres. Una universidad de mujeres en la secci\u00f3n de educaci\u00f3n de un curr\u00edculum era un dem\u00e9rito autom\u00e1tico. Por contra, la presencia de vocabulario t\u00edpicamente masculino, como \u201cejecutivo\u201d, era un punto a favor. Lo que hace destacable el caso de Amazon es que descubri\u00f3 el sesgo y decidi\u00f3 no usar el algoritmo. Eso es mucho m\u00e1s de lo que la mayor\u00eda de las empresas pueden decir.<\/p>\n

En el terreno laboral, alerta tambi\u00e9n sobre el\u00a0clopening<\/i>. \u00bfDe qu\u00e9 se trata?<\/b><\/p>\n

Es un nuevo verbo que han inventado las grandes corporaciones en Estados Unidos y viene de close, cerrar, y open, abrir. Cada vez es m\u00e1s habitual que los trabajadores con salarios bajos en empresas como Starbucks y McDonald\u2019s tengan horarios irregulares como resultado de la econom\u00eda de datos. El big data permite conocer los d\u00edas de m\u00e1s actividad de una tienda e incluso las horas de mayor afluencia de clientes, y el an\u00e1lisis de datos se pone al servicio de la m\u00e1xima optimizaci\u00f3n de la empresa al mismo tiempo que descuida la salud y la conciliaci\u00f3n del trabajador que conoce los turnos casi sin previo aviso. El clopening es lo que hace un empleado que trabaja hasta el cierre por la noche en una tienda y vuelve unas horas m\u00e1s tarde, antes del amanecer, para abrir.<\/p>\n

\u00bfEl problema est\u00e1 en los algoritmos o en los matem\u00e1ticos e ingenieros que los dise\u00f1an?<\/b><\/p>\n

El problema radica en las personas que los dise\u00f1an, sin duda. Y la mayor\u00eda de ellos cumplen un mismo prototipo: son hombres blancos de mediana edad que se han formado en universidades de \u00e9lite de los Estados Unidos.<\/p>\n

\u00bfLa soluci\u00f3n pasa por educar a los futuros matem\u00e1ticos e ingenieros para que no introduzcan tales sesgos en sus modelos matem\u00e1ticos?<\/b><\/p>\n

S\u00ed, pero en Silicon Valley no interesa este discurso. Las grandes empresas tratan de fingir que tales problemas no existen, incluso cuando se duplican y triplican los algoritmos de reclutamiento, despido u otros recursos humanos, e incluso cuando venden o implementan algoritmos de cr\u00e9dito, seguros y publicidad. Las universidades tampoco est\u00e1n ofreciendo respuestas. La tecnolog\u00eda va demasiado r\u00e1pido. La \u00e9tica deber\u00eda aplicarse en universidades y empresas, pero eso es algo que no se hace.<\/p>\n

En los \u00faltimos a\u00f1os hemos visto que ingenieros de Facebook y Google han abandonado sus lugares de trabajo porque no estaban de acuerdo con los productos que estaban dise\u00f1ando e implementando, y han fundado sus propias compa\u00f1\u00edas. \u00bfVe ah\u00ed algo de esperanza?<\/b><\/p>\n

Est\u00e1 bien que empecemos a ser conscientes de los riesgos de cuantificarlo todo, pero soy esc\u00e9ptica con estos objetores de conciencia de Silicon Valley. Los trabajadores de Google tambi\u00e9n han alzado la voz por la participaci\u00f3n de la empresa en un programa del Pent\u00e1gono que utiliza la inteligencia artificial para interpretar mejor las im\u00e1genes captadas por drones que se utilizan en las guerras. El poder de estas personas y sus proyectos no es comparable, de momento, al de los gigantes tecnol\u00f3gicos.<\/p>\n

\u00bfY qu\u00e9 hay sobre la regulaci\u00f3n? \u00bfHace falta crear nuevas normas o ser\u00eda suficiente con aplicar las que hay?<\/b><\/p>\n

Ser\u00eda suficiente con aplicar la legislaci\u00f3n existente, pero tampoco se hace. Las grandes corporaciones prefieren mirar hacia otro lado y negar los problemas. Este a\u00f1o hemos visto al fundador de Facebook, Mark Zuckerberg, mentir de manera descarada en el congreso de los Estados Unidos. Conf\u00edo en que m\u00e1s casos como los de Facebook, Amazon o Google har\u00e1n que legisladores y periodistas aten cabos acerca de lo que est\u00e1 pasando. Pero las matem\u00e1ticas asustan porque se desconocen. Y por ello se les otorgan poderes m\u00e1gicos. Es crucial entender que, bajo la apariencia de neutralidad de los algoritmos, hay decisiones morales que perpet\u00faan y aumentan las desigualdades sociales.<\/p>\n

\u00bfC\u00f3mo imagina el futuro si no tomamos medidas para frenar el discurso del solucionismo tecnol\u00f3gico?<\/b><\/p>\n

Podemos mirar a China para saber lo que vendr\u00e1. China utiliza el big data para conceder o denegar pr\u00e9stamos, pero tambi\u00e9n para puntuar a las personas en funci\u00f3n de su ideolog\u00eda. All\u00ed est\u00e1 surgiendo un complejo sistema de control y vigilancia que podr\u00eda exportarse internacionalmente. China se encuentra en medio de una revoluci\u00f3n digital y ya ha dejado claro que se trata de una prioridad estrat\u00e9gica nacional.<\/p>\n<\/span>","protected":false},"excerpt":{"rendered":"

Fuente:\u00a0lavanguardia.com\u00a004\/11\/2018<\/p>\n","protected":false},"author":2,"featured_media":6551,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[104,967,812],"tags":[500,501],"class_list":["post-6550","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-entrada-del-blog","category-epistemologia","category-investigacion","tag-algoritmos","tag-big-data"],"translation":{"provider":"WPGlobus","version":"3.0.2","language":"eu","enabled_languages":["es","eu"],"languages":{"es":{"title":true,"content":true,"excerpt":false},"eu":{"title":false,"content":false,"excerpt":false}}},"_links":{"self":[{"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/posts\/6550","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/comments?post=6550"}],"version-history":[{"count":0,"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/posts\/6550\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/media\/6551"}],"wp:attachment":[{"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/media?parent=6550"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/categories?post=6550"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/osalde.org\/eu\/wp-json\/wp\/v2\/tags?post=6550"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}