La estrategia 2018 del Departamento de Defensa para la IA, lanzada poco después de la creación de un nuevo Centro Conjunto de Inteligencia Artificial, propone acelerar la adopción de la IA fomentando "una cultura de experimentación y toma de riesgos calculada", un enfoque extraído de la Defensa Nacional más amplia Estrategia . Pero, ¿qué tipo de riesgos calculados podría implicar la IA? La estrategia de IA no tiene casi nada que decir sobre los riesgos incurridos por el mayor desarrollo y uso de la IA. Por el contrario, la estrategia propone utilizar la IA para reducir los riesgos, incluidos los de "fuerzas desplegadas y civiles".
Si bien reconoce la posibilidad de que la IA pueda usarse de manera que reduzca algunos riesgos, este breve ensayo describe algunos de los riesgos que conlleva el mayor desarrollo y despliegue de la IA, y qué se puede hacer para reducir esos riesgos. Al principio, debe reconocerse que los riesgos asociados con la IA no pueden calcularse de manera confiable. En cambio, son propiedades emergentes que surgen de la "complejidad arbitraria" de los sistemas de información. No obstante, la historia proporciona alguna orientación sobre los tipos de riesgos que pueden surgir y cómo podrían mitigarse. Sostengo que, tal vez de forma contraintuitiva, el uso de IA para gestionar y reducir riesgos requerirá el desarrollo de capacidades humanas y sociales únicas.
Una breve historia de la IA, de la automatización a la simbiosis
La estrategia del Departamento de Defensa para la IA contiene al menos dos concepciones relacionadas pero distintas de la IA. El primero se centra en la mimesis , es decir, diseñar máquinas que puedan imitar el trabajo humano . El documento de estrategia define la mimesis como "la capacidad de las máquinas para realizar tareas que normalmente requieren inteligencia humana, por ejemplo, reconocer patrones, aprender de la experiencia, sacar conclusiones, hacer predicciones o tomar medidas". Un enfoque algo distinto de la IA se centra en lo que algunos han llamado simbiosis hombre-máquina, donde los humanos y las máquinas trabajan en estrecha colaboración, aprovechando sus tipos distintivos de inteligencia para transformar los procesos de trabajo y la organización. Esta visión también se puede encontrar en la estrategia de inteligencia artificial, que tiene como objetivo "utilizar información, herramientas y sistemas habilitados para inteligencia artificial para empoderar, no reemplazar, a los que sirven".
Por supuesto, la mimesis y la simbiosis no son mutuamente excluyentes. La mimesis puede entenderse como un medio para la simbiosis, como lo sugiere la propuesta del Departamento de Defensa de "aumentar las capacidades de nuestro personal mediante la descarga de tediosas tareas cognitivas o físicas". Pero la simbiosis es posiblemente el más revolucionario de los dos conceptos y también, en mi opinión, la clave para comprender los riesgos asociados con la IA.
Ambos enfoques de la IA son bastante antiguos. Las máquinas han estado asumiendo tareas que de otro modo requerirían inteligencia humana durante décadas, si no siglos. En 1950, el matemático Alan Turing propuso que se puede decir que una máquina "piensa" si puede imitar persuasivamente el comportamiento humano, y más tarde en la década, los ingenieros informáticos diseñaron máquinas que podían "aprender". Para 1959, un investigador concluyó que "se puede programar una computadora para que aprenda a jugar un mejor juego de damas que la persona que escribió el programa".
Mientras tanto, otros estaban comenzando a avanzar en un enfoque más interactivo para la inteligencia artificial. Esta visión fue quizás la más prominente articulada por JCR Licklider, un psicólogo que estudia las interacciones humano-computadora. En un artículo de 1960 sobre " Simbiosis hombre-computadora ", Licklider eligió "evitar discusiones con (otros) entusiastas de la inteligencia artificial al conceder el dominio en el futuro lejano de la cerebración a las máquinas solo". Sin embargo, continuó: "Sin embargo, habrá un período intermedio bastante largo durante el cual los principales avances intelectuales serán realizados por hombres y computadoras trabajando juntos en asociación íntima".
Las nociones de simbiosis fueron influenciadas por la experiencia con las computadoras para el entorno terrestre semiautomático (SAGE), que reunió información de radares de alerta temprana y coordinó un sistema de defensa aérea a nivel nacional. Así como el Departamento de Defensa tiene como objetivo utilizar la IA para mantenerse al día con las amenazas que cambian rápidamente, SAGE fue diseñado para contrarrestar la posibilidad de ataques cada vez más rápidos en los Estados Unidos, específicamente bombarderos de bajo vuelo que podrían evadir la detección de radar hasta que estuvieran muy cerca de sus objetivos.
A diferencia de otras computadoras de la década de 1950, las computadoras SAGE podrían responder instantáneamente a las entradas de los operadores humanos. Por ejemplo, los operadores podrían usar una pistola ligera para seleccionar un avión en la pantalla, y así recopilar información sobre la identificación, la velocidad y la dirección del avión. SAGE se convirtió en el modelo para los sistemas de comando y control en todo el ejército de los EE. UU., Incluido el Sistema de alerta temprana de misiles balísticos, que fue diseñado para contrarrestar una amenaza aún más rápida: misiles balísticos intercontinentales, que podrían entregar su carga útil en todo el mundo en solo media hora. Todavía podemos ver el modelo SAGE hoy en sistemas como el sistema de defensa antimisiles Patriot, que está diseñado para destruir misiles de corto alcance, aquellos que llegan con solo unos minutos de aviso.
SAGE también inspiró un enfoque nuevo y más interactivo para la informática, no solo dentro del Departamento de Defensa, sino en toda la industria informática. Licklider avanzó esta visión después de convertirse en director de la Oficina de Tecnologías de Procesamiento de Información del Departamento de Defensa, dentro de la Agencia de Proyectos de Investigación Avanzada, en 1962. Bajo la dirección de Licklider , la oficina financió una amplia gama de proyectos de investigación que transformaron la forma en que las personas interactuarían con las computadoras, como como interfaces gráficas de usuario y redes de computadoras que eventualmente condujeron a Internet.
Las tecnologías de simbiosis han contribuido a la competitividad no principalmente al reemplazar a las personas, sino al permitir nuevos tipos de análisis y operaciones. Las tecnologías interactivas de información y comunicación han rediseñado las operaciones militares, permitiendo una coordinación más rápida y cambios en los planes. También han habilitado nuevos modos de comercio. Y crearon nuevas oportunidades para el poder blando a medida que tecnologías como computadoras personales, teléfonos inteligentes e Internet se hicieron más ampliamente disponibles en todo el mundo, donde a menudo se los veía como evidencia del progreso estadounidense.
La mimesis y la simbiosis tienen oportunidades y riesgos algo distintos. El enfoque en las máquinas que imitan el comportamiento humano ha provocado inquietudes sobre, por ejemplo, si los resultados producidos por el razonamiento de la máquina deben ser más confiables que los resultados derivados del razonamiento humano. Tales preocupaciones han estimulado el trabajo sobre la "IA explicable", en la que los resultados de la máquina van acompañados de explicaciones humanamente comprensibles para esos resultados.
Por el contrario, la simbiosis llama la atención sobre las promesas y los riesgos de enredos más íntimos y complejos de humanos y máquinas. Lograr una simbiosis óptima requiere más que una tecnología bien diseñada. También requiere una reflexión continua y una revisión de los modelos que rigen las interacciones hombre-máquina. Los humanos usan modelos para diseñar algoritmos de IA y para seleccionar y construir los datos utilizados para entrenar dichos sistemas. Los diseñadores humanos también inscriben modelos de uso (supuestos sobre las competencias y preferencias de los usuarios y los contextos físicos y organizativos de uso) en las tecnologías que crean. Así, "como un guión de cine, los objetos técnicos definen un marco de acciónjunto con los actores y el espacio en el que se supone que deben actuar ". Los scripts no determinan completamente la acción, pero configuran las relaciones entre humanos, organizaciones y máquinas de manera que restringen y dan forma al comportamiento del usuario. Desafortunadamente, estos sistemas sociotécnicos interactivamente complejos a menudo exhiben un comportamiento emergente que es contrario a las intenciones de los diseñadores y usuarios.
Ventajas competitivas y riesgos
Debido a que los modelos no pueden predecir adecuadamente todos los resultados posibles de sistemas sociotécnicos complejos, una mayor dependencia de las máquinas inteligentes conlleva al menos cuatro tipos de riesgos: los modelos de cómo las máquinas recopilan y procesan la información, y los modelos de interacción hombre-máquina, pueden ser inadvertidamente defectuoso o manipulado deliberadamente de formas no previstas por los diseñadores. Se pueden encontrar ejemplos de cada uno de estos tipos de riesgos en experiencias pasadas con máquinas "inteligentes".
Primero, las circunstancias cambiantes pueden hacer que los modelos utilizados para desarrollar inteligencia artificial sean irrelevantes. Por lo tanto, esos modelos y los algoritmos asociados necesitan mantenimiento y actualización constantes. Por ejemplo, lo que ahora es el sistema de defensa antimisiles Patriot se diseñó inicialmente para defensa aérea, pero se rediseñó y desplegó rápidamente en Arabia Saudita e Israel para defenderse contra misiles de corto alcance durante la Guerra del Golfo de 1991. Como sistema de defensa aérea, funcionó durante unas pocas horas seguidas, pero como sistema de defensa antimisiles funcionó durante días sin reiniciar. En estas nuevas condiciones de funcionamiento, se hizo evidente un error de sincronización en el software. El 25 de febrero de 1991, este error provocó que el sistema perdiera un misil que golpeó un cuartel del ejército estadounidense en Dhahran, Arabia Saudita, matando a 28 soldados estadounidenses. Un parche de software para corregir el error. Llegué a Dhahran un día demasiado tarde.
En segundo lugar, los modelos sobre los cuales las máquinas están diseñadas para operar pueden explotarse con fines engañosos. Considere, por ejemplo, la Operación Igloo White, un esfuerzo por reunir información sobre y detener el movimiento de suministros y tropas norvietnamitas a fines de los años sesenta y principios de los setenta. La operación arrojó sensores en toda la jungla, como micrófonos, para detectar voces y vibraciones de camiones, así como dispositivos que podían detectar los olores de amoníaco de la orina. Estos sensores enviaron señales a los aviones que sobrevuelan, lo que a su vez los envió a un centro de vigilancia similar a SAGE que podría enviar bombarderos. Sin embargo, el programa fue un fracaso muy costoso. Una razón es que los sensores eran susceptibles de falsificación. Por ejemplo, los norvietnamitas podrían enviar camiones vacíos a un área para enviar información falsa sobre movimientos de tropas, o use animales para activar sensores de orina .
Tercero, se pueden usar máquinas inteligentes para crear guiones que promulguen formas de racionalidad estrechamente instrumentales, socavando así objetivos estratégicos más amplios. Por ejemplo, los operadores de vehículos aéreos no piloto tienen la tarea de usar secuencias de video granuladas, señales electrónicas y suposiciones sobre lo que constituye un comportamiento sospechoso para identificar y luego matar a los actores amenazadores, mientras minimizan el daño colateral. Los operadores que siguen este script tienen, a veces, asumieron que un grupo de hombres con armas planeaba un ataque, cuando de hecho iban camino a una boda en una región donde se acostumbraba disparar con armas de fuego, y que las familias que rezaban al amanecer eran yihadistas en lugar de simplemente musulmanes observadores. Si bien puede ser tentador doblar estos errores como "errores del operador", esto sería demasiado simple. Dichos operadores están inscritos en un guión profundamente defectuoso, uno que presume que la tecnología se puede utilizar para identificar correctamente las amenazas a través de grandes distancias geográficas, culturales e interpersonales, y que el mayor riesgo de matar a civiles inocentes vale la pena la mayor protección ofrecida a los combatientes estadounidenses. . No se puede esperar que los operadores hagan juicios perfectamente confiables a través de tales distancias, y es poco probable que el simple despliegue de la tecnología más precisa que prometen los entusiastas de la IA pueda salvar las distancias que los sistemas remotos se hicieron para mantener. En una era en la que el poder blando es inextricable del poder militar, tales usos potencialmente deshumanizantes de la tecnología de la información no solo son éticamente problemáticos, sino que también pueden generar mala voluntad y retroceso.
Finalmente, las secuencias de comandos que configuran las relaciones entre los humanos y las máquinas inteligentes pueden, en última instancia, alentar a los humanos a comportarse de manera similar a una máquina que otros puedan manipular. Esto es quizás más evidente en el uso creciente de los bots sociales y las nuevas redes sociales para influir en el comportamiento de los ciudadanos y los votantes. Los bots pueden imitar fácilmente a los humanos en las redes sociales, en parte porque esas tecnologías ya han programado el comportamiento de los usuarios, que deben interactuar mediante me gusta, seguimiento, etiquetado, etc. Si bien las operaciones de influencia explotan los prejuicios cognitivos compartidos por todos los humanos, como la tendencia a interpretar la evidencia de manera que confirme las creencias preexistentes, los usuarios que han desarrollado hábitos similares a las máquinas (gusto reactivo, seguimiento e interacción sin reflexión) El más fácil de manipular.
Conclusión
Alcanzar la competitividad militar, económica y política en una era de IA implicará diseñar máquinas de manera que alienten a los humanos a mantener y cultivar tipos de inteligencia exclusivamente humanos, como la empatía, la autorreflexión y el pensamiento innovador. También requerirá un mantenimiento continuo de los sistemas inteligentes para garantizar que los modelos utilizados para crear inteligencia artificial no estén desactualizados. Los modelos estructuran la percepción, el pensamiento y el aprendizaje, ya sea por humanos o máquinas. Pero la capacidad de cuestionar y reevaluar estos supuestos es prerrogativa y responsabilidad del ser humano, no de la máquina.
Rebecca Slayton es profesora asociada en el Departamento de Estudios de Ciencia y Tecnología y en el Instituto Judith Reppy de Estudios de Paz y Conflicto, ambos en la Universidad de Cornell. Actualmente está trabajando en un libro sobre la historia de la experiencia en seguridad cibernética.
