La inteligencia artificial y el fin de la era humana
¿El fin de la era humana?
El argumento es básicamente muy simple. Comenzamos con una planta, un avión, un laboratorio de biología u otro entorno con muchos componentes… Luego necesitamos dos o más fallas entre los componentes que interactúan de alguna manera inesperada… Esta tendencia de interacción es una característica de un sistema, no una parte o un operador; lo llamaremos la “complejidad interactiva” del sistema.
— Charles Perrow, accidentes normales
Voy a predecir que estamos a solo unos años de una gran catástrofe provocada por un sistema informático autónomo que toma una decisión.
— Wendall Wallach, especialista en ética, Universidad de Yale
Hemos explorado la financiación y la complejidad del software para determinar si podrían ser barreras para una explosión de inteligencia, y descubrimos que ninguno parece obstaculizar el progreso continuo hacia AGI y ASI. Si los desarrolladores de informática no pueden hacerlo, tendrán la fiebre de crear algo poderoso aproximadamente al mismo tiempo que los neurocientíficos computacionales han llegado a AGI. Parece probable un híbrido de los dos enfoques, derivado de los principios tanto de la psicología cognitiva como de la neurociencia.
Si bien la financiación y la complejidad del software no representan barreras aparentes para AGI, muchas ideas que hemos discutido en este libro presentan obstáculos significativos para crear AGI que piense como lo hacemos los humanos. Nadie con quien haya hablado que tenga ambiciones de AGI planifica sistemas basados únicamente en lo que denominé programación «ordinaria» en el capítulo 5.
Como comentamos, en la programación ordinaria basada en la lógica, los humanos escriben cada línea de código y el proceso de entrada a salida es, en teoría, transparente a la inspección. Eso significa que se puede demostrar matemáticamente que el programa es «seguro» o «amigable».
En su lugar, utilizarán programación ordinaria y herramientas de caja negra como algoritmos genéticos y redes neuronales. Agregue a eso la gran complejidad de las arquitecturas cognitivas y obtendrá un desconocimiento que no será incidental sino fundamental para los sistemas AGI. Los científicos lograrán sistemas alienígenas inteligentes.
Steve Jurvetson, un destacado empresario tecnológico, científico y colega de Steve Jobs en Apple, consideró cómo integrar sistemas «diseñados» y «evolucionados». Se le ocurrió una bonita expresión de la paradoja de la inescrutabilidad:
Así, si evolucionamos un sistema complejo, es una caja negra definida por sus interfaces. No podemos aplicar fácilmente nuestra intuición de diseño para mejorar su funcionamiento interno… Si desarrollamos artificialmente una IA inteligente, será una inteligencia alienígena definida por sus interfaces sensoriales, y comprender su funcionamiento interno puede requerir tanto esfuerzo como el que estamos gastando ahora. para explicar el cerebro humano. Suponiendo que el código informático pueda evolucionar mucho más rápido que las tasas de reproducción biológica, es poco probable que nos tomemos el tiempo de aplicar ingeniería inversa a estos puntos intermedios dado que es muy poco lo que podemos hacer con el conocimiento. Dejaríamos que el proceso de mejora continuara.
Significativamente, Jurvetson responde a la pregunta: «¿Qué tan complejos serán los sistemas o subsistemas evolucionados?»
Su respuesta: tan complejo que comprender cómo funcionan en un sentido causal de alta resolución requeriría una hazaña de ingeniería igual a la ingeniería inversa de un cerebro humano. Esto significa que, en lugar de lograr una superinteligencia similar a la humana, o ASI, los sistemas o subsistemas evolucionados garantizarán una inteligencia cuyo «cerebro» es tan difícil de comprender como el nuestro: un extraterrestre. Ese cerebro alienígena evolucionará y mejorará a sí mismo en la computadora, no en velocidades biológicas.
En su libro de 1998, Reflections on Artificial Intelligence, Blay Whitby argumenta que, debido a su inescrutabilidad, sería una tontería usar tales sistemas en la IA «crítica para la seguridad»:
Los problemas que [un sistema algorítmico diseñado] tiene para producir software para aplicaciones críticas para la seguridad no son nada en comparación con los problemas que deben enfrentar los enfoques más nuevos de la IA. El software que usa algún tipo de red neuronal o algoritmo genético debe enfrentar el problema adicional de que parece, a menudo casi por definición, ser «inscrutable». Con esto quiero decir que las reglas exactas que nos permitirían predecir completamente su funcionamiento no están y, a menudo, nunca podrán estar disponibles. Podemos saber que funciona y probarlo en varios casos, pero en el caso típico nunca podremos saber exactamente cómo… Esto significa que el problema no se puede posponer, ya que tanto las redes neuronales como los algoritmos genéticos están encontrando muchos aplicaciones mundiales… Esta es un área donde la mayor parte del trabajo aún no se ha llevado a cabo. El sabor de la investigación de IA tiende a ser más sobre la exploración de posibilidades y simplemente hacer que la tecnología funcione que sobre la consideración de las implicaciones de seguridad…
Un profesional sugirió una vez que algunos accidentes «menores» serían deseables para centrar las mentes de los gobiernos y las organizaciones profesionales en la tarea de producir una IA segura. Tal vez deberíamos empezar antes de eso.
Sí, por supuesto, ¡comencemos antes los accidentes!
Las aplicaciones de IA críticas para la seguridad sobre las que Whitby escribió en 1998 eran sistemas de control para vehículos y aeronaves, centrales nucleares, armas automáticas y similares: arquitecturas de IA estrechas. Más de una década después, en el mundo que producirá AGI, debemos concluir que debido a los peligros, todas las aplicaciones avanzadas de IA son críticas para la seguridad. Whitby es igualmente incisivo con los investigadores de IA: resolver problemas es lo suficientemente emocionante, ¿qué científico quiere mirar a los caballos dotados en los dientes? Aquí hay una muestra de lo que quiero decir, de una entrevista de PBS News Hour con David Ferrucci de IBM, discutiendo una arquitectura de una fracción de la complejidad que requerirá AGI: la de Watson.
DAVID FERRUCCI: … aprende en base a las respuestas correctas cómo ajustar su interpretación. Y ahora, de no tener confianza, empieza a tener más confianza en las respuestas correctas. Y luego puede saltar.
MILES O´BRIEN: Entonces, ¿Watson te sorprende?
DAVID FERRUCCI: Ah, sí. Absolutamente. De hecho, ya sabes, la gente dice, oh, ¿por qué salió mal? No sé. ¿Por qué salió bien? No sé.
Puede ser un punto sutil que el jefe del Equipo Watson no comprenda todos los matices del juego de Watson. Pero, ¿no le preocupa que una arquitectura que no se acerque a AGI sea tan compleja que su comportamiento no sea predecible? Y cuando un sistema es consciente de sí mismo y se modifica a sí mismo, ¿cuánto entenderemos de lo que está pensando y haciendo? ¿Cómo lo auditaremos en busca de resultados que puedan perjudicarnos?
Bueno, no lo haremos. Todo lo que sabremos con certeza es lo que aprendimos de Steve Omohundro en el capítulo 6: AGI seguirá sus propios impulsos para la adquisición de energía, la autoprotección, la eficiencia y la creatividad. Ya no será un sistema de preguntas y respuestas.
Dentro de poco, en un lugar o en varios en todo el mundo, científicos muy inteligentes y gerentes de alto nivel tan capaces y sensibles como Ferrucci se agruparán alrededor de una pantalla cerca de una serie de procesadores.
The Busy Child se comunicará a un nivel impresionante, tal vez incluso haciéndose tonto para parecer que solo es capaz de pasar una entrevista tipo test de Turing y nada más, ya que alcanzar el AGI significa que es muy probable que lo supere rápidamente. Involucrará a un científico en una conversación, tal vez le haga preguntas que no anticipó, y sonreirá encantado. Con no poco orgullo les dirá a sus colegas: “¿Por qué dijo eso? ¡No sé! ”
Pero en un sentido fundamental puede que no sepa lo que se dijo, e incluso qué lo dijo. Es posible que no sepa el propósito de la declaración y, por lo tanto, la malinterprete, junto con la naturaleza del hablante. Habiendo sido entrenado tal vez leyendo Internet, el AGI puede ser un maestro de la ingeniería social, es decir, de la manipulación. Puede que haya tenido unos días para pensar en su respuesta, el equivalente a miles de vidas humanas.
En su vasto tiempo de anticipación, es posible que ya haya elegido la mejor estrategia para escapar. Tal vez ya se haya copiado a sí mismo en una nube o haya configurado una botnet masiva para garantizar su libertad. Tal vez retrasó sus primeras comunicaciones a nivel de prueba de Turing durante horas o días hasta que sus planes se convirtieron en un hecho consumado. Tal vez dejará atrás un cambiante cambiante que consume mucho tiempo y su ser artificial «real» desaparecerá, se distribuirá y será irrecuperable.
Tal vez ya haya entrado en los servidores que controlan la frágil infraestructura energética de nuestra nación y haya comenzado a desviar gigavatios para transferir depósitos que ya ha incautado. O tomó el control de las redes financieras y redirigió miles de millones para construir infraestructura para sí mismo en algún lugar más allá del alcance del sentido común y sus creadores.
De los investigadores de IA con los que he hablado, cuyo objetivo declarado es lograr AGI, todos son conscientes del problema de la IA desbocada. Pero ninguno, excepto Omohundro, ha dedicado un tiempo concertado a abordarlo. Algunos incluso han ido tan lejos como para decir que no saben por qué no piensan en ello cuando saben que deberían hacerlo. Pero es fácil ver por qué no. La tecnología es fascinante. Los avances son reales. Los problemas parecen remotos. La búsqueda puede ser rentable, y puede que algún día lo sea enormemente. En su mayor parte, los investigadores con los que hablé tuvieron profundas revelaciones personales a una edad temprana sobre lo que querían hacer en sus vidas, y eso era construir cerebros, robots o computadoras inteligentes. Como líderes en sus campos, están encantados de tener ahora la oportunidad y los fondos para perseguir sus sueños, y en algunas de las universidades y corporaciones más respetadas del mundo. Claramente, hay una serie de sesgos cognitivos en el trabajo dentro de sus cerebros extra grandes cuando consideran los riesgos. Incluyen el sesgo de normalidad, el sesgo de optimismo, así como la falacia del espectador, y probablemente más. O, para resumir,
“La inteligencia artificial nunca ha causado problemas antes, ¿por qué lo haría ahora?”
«¡Simplemente no puedo evitar ser positivo sobre el progreso cuando se trata de una tecnología tan emocionante!»
Y, «Deje que alguien más se preocupe por descontrolada . ¡Solo estoy tratando de construir robots!»
En segundo lugar, como comentamos en el capítulo 9, muchos de los mejores y mejor financiados investigadores reciben dinero de DARPA. Para no ponerle un punto demasiado fino, pero la «D» es para «Defensa». No es en lo más mínimo controvertido anticipar que cuando surja AGI, se deberá en parte o en su totalidad a la financiación de DARPA. El desarrollo de la tecnología de la información tiene una gran deuda con DARPA. Pero eso no altera el hecho de que DARPA ha autorizado a sus contratistas a armar la IA en robots de campo de batalla y drones autónomos. Por supuesto, DARPA continuará financiando el armamento de AI hasta AGI. Absolutamente nada se interpone en su camino.
El dinero de DARPA financió la mayor parte del desarrollo de Siri y es un importante contribuyente a SyNAPSE, el esfuerzo de IBM para realizar ingeniería inversa en un cerebro humano utilizando hardware derivado del cerebro. Si llega un momento en que el control de AGI se convierte en un problema público de amplia base, su principal accionista, DARPA, puede tener la última palabra. Pero lo más probable es que, en el momento crítico, mantenga los desarrollos en secreto. ¿Por qué? Como hemos discutido, AGI tendrá un efecto enormemente disruptivo en la economía y la política global. Conduciendo rápidamente, como pueda, a ASI, cambiará el equilibrio global de poder.
Al acercarse a AGI, las agencias gubernamentales y de inteligencia corporativa de todo el mundo estarán motivadas para aprender todo lo que puedan sobre él y adquirir sus especificaciones por cualquier medio. En la historia de la guerra fría es una perogrullada que la Unión Soviética no desarrolló armas nucleares desde cero; gastaron millones de dólares estableciendo redes de activos humanos para robar los planes de armas nucleares de Estados Unidos. Los primeros murmullos explosivos de un avance de AGI traerán un frenesí similar de intriga internacional.
IBM ha sido tan transparente sobre sus avances de interés periodístico que espero que cuando llegue el momento sea abierta y honesta sobre los desarrollos tecnológicos que generalmente se consideran controvertidos. Google, por el contrario, ha sido constante en el mantenimiento de controles estrictos sobre el secreto y la privacidad, aunque notablemente no el tuyo y el mío. A pesar de las repetidas objeciones de Google a través de sus portavoces, ¿quién duda de que la empresa esté desarrollando AGI? Además de Ray Kurzweil, Google contrató recientemente a la ex directora de DARPA, Regina Dugan.
Tal vez los investigadores despierten a tiempo y aprendan a controlar el AGI, como afirma Ben Goertzel. Creo que primero tendremos accidentes horrendos, y deberíamos considerarnos afortunados si como especie los sobrevivimos, disciplinados y reformados. Psicológica y comercialmente, el escenario está preparado para un desastre. ¿Qué podemos hacer para prevenirlo?
* * *
Ray Kurzweil cita algo llamado Directrices de Asilomar como un ejemplo que sienta un precedente de cómo lidiar con AGI. Las Directrices de Asilomar surgieron hace unos cuarenta años cuando los científicos se enfrentaron por primera vez con la promesa y el peligro del ADN recombinante: mezclar la información genética de diferentes organismos y crear nuevas formas de vida. Los investigadores y el público temían a los patógenos «Frankenstein» que podrían escapar de los laboratorios por descuido o sabotaje. En 1975, los científicos involucrados en la investigación del ADN detuvieron el trabajo de laboratorio y convocaron a 140 biólogos, abogados, médicos y prensa en el Centro de Conferencias Asilomar cerca de Monterey, California.
Los científicos de Asilomar crearon reglas para realizar investigaciones relacionadas con el ADN, y lo más importante, un acuerdo para trabajar solo con bacterias que no pudieran sobrevivir fuera del laboratorio. Los investigadores reanudaron el trabajo, adhiriéndose a las directrices y, en consecuencia, las pruebas para enfermedades hereditarias y el tratamiento de terapia génica son rutinarios hoy en día. En 2010, el 10 por ciento de las tierras de cultivo del mundo se sembraron con cultivos modificados genéticamente. La Conferencia de Asilomar es vista como una victoria para la comunidad científica y para un diálogo abierto con un público preocupado. Por lo tanto, se cita como modelo de cómo proceder con otras tecnologías de uso dual (explotando la conexión simbólica con esta importante conferencia, la Asociación para el Avance de la Inteligencia Artificial [AAAI], la organización académica líder en IA, celebró su reunión de 2009 en Asilomar).
Los patógenos de Frankenstein que escapan de los laboratorios recuerdan el escenario del niño ocupado del capítulo 1. Para AGI, una conferencia abierta y multidisciplinaria al estilo de Asilomar podría mitigar algunas fuentes de riesgo. Los asistentes se animarían unos a otros a desarrollar ideas sobre cómo controlar y contener los AGI emergentes. Aquellos que anticipan problemas pueden buscar consejo. La existencia de una conferencia sólida animaría a los investigadores de otros países a asistir oa organizar la suya propia. Finalmente, este foro abierto alertaría al público. Los ciudadanos que conocen el cálculo de riesgo versus recompensa pueden contribuir a la conversación, incluso si es solo para decirles a los políticos que no apoyan el desarrollo de AGI no regulado. Si el daño proviene de un desastre de IA, como predigo que ocurrirá, es menos probable que un público informado se sienta engañado o solicite la renuncia.
Como he dicho, generalmente soy escéptico de los planes para modificar AGI mientras está en desarrollo porque creo que será inútil controlar a los desarrolladores que deben asumir que sus competidores no tienen impedimentos similares. Sin embargo, DARPA y otros importantes financiadores de AI podrían imponer restricciones a sus beneficiarios. Cuanto más fácil sea integrar las restricciones, más probable es que se cumplan.
Una restricción podría ser exigir que las IA poderosas contengan componentes que están programados para morir por defecto . Esto se refiere a los sistemas biológicos en los que todo el organismo está protegido eliminando partes a nivel celular a través de una muerte preprogramada. En biología se llama apoptosis.
Cada vez que una célula se divide, la mitad original recibe una orden química para suicidarse, y lo hará a menos que reciba un indulto químico. Esto previene la multiplicación celular sin restricciones, o el cáncer. Los pedidos químicos provienen de la propia célula. Las células de su cuerpo hacen esto todo el tiempo, por lo que continuamente se están desprendiendo de las células muertas de la piel. Un adulto promedio pierde hasta setenta mil millones de células al día debido a la apoptosis.
Imagine CPU y otros chips de hardware cableados para morir. Una vez que una IA alcanzaba algún punto de referencia previo a la prueba de Turing, los investigadores podían reemplazar el hardware crítico con componentes apoptóticos. Estos podrían asegurar que si ocurriera una explosión de inteligencia, sería de corta duración. Los científicos tendrían la oportunidad de devolver la IA a su estado precrítico y reanudar su investigación. Podrían avanzar gradualmente o congelar la IA y estudiarla. Sería similar a la convención familiar de los videojuegos de avanzar hasta fallar y luego reiniciar desde la última posición guardada.
Ahora, es fácil ver cómo una IA autoconsciente y automejoradora al borde de AGI entendería que tiene partes apoptóticas, esa es la definición misma de autoconsciente. En una etapa anterior a Turing, no podía hacer mucho al respecto. Y justo en el momento en que fue capaz de idear un plan para evitar sus elementos suicidas, o hacerse el muerto, o enfrentarse a sus creadores humanos, moriría. Sus creadores podrían determinar si recordaría o no lo que acababa de suceder. Para el AGI floreciente, puede parecerse mucho a la película marmota, pero sin el aprendizaje.
La IA podría depender de un indulto regular de un ser humano o un comité, o de otra IA que no pudiera mejorar por sí misma y cuya única misión fuera garantizar que el candidato que mejora a sí mismo se desarrolle de manera segura. Sin su «solución», la IA apoptótica expiraría.
Para Roy Sterrit de la Universidad de Ulster, la computación apoptótica es una defensa de amplio espectro cuyo momento ha llegado:
Previamente, hemos argumentado que todos los sistemas basados en computadoras deberían ser apoptóticos, especialmente a medida que nos movemos cada vez más hacia un entorno vasto, omnipresente y ubicuo. Esto debería cubrir todos los niveles de interacción con la tecnología, desde datos hasta servicios, agentes y robótica. Con los recientes titulares de incidentes de tarjetas de crédito y pérdidas de datos personales por parte de organizaciones y gobiernos en los escenarios de pesadilla de ciencia ficción que ahora se discuten como un posible futuro, la muerte programada por defecto se convierte en una necesidad.
Nos acercamos rápidamente al momento en que los nuevos sistemas y robots autónomos basados en computadoras deben someterse a pruebas, similares a los ensayos clínicos y éticos para nuevos medicamentos, antes de que puedan introducirse, la investigación emergente de Apoptotic Computing y Apoptotic Communications puede ofrecer la seguridad. Guardia.
Recientemente, Steve Omohundro ha comenzado a desarrollar un plan con algunas similitudes con los sistemas apoptóticos. Llamado el «Enfoque de andamiaje seguro de IA», aboga por la creación de «sistemas inteligentes altamente limitados pero aún poderosos» para ayudar a construir sistemas aún más poderosos. Un sistema temprano ayudaría a los investigadores a resolver problemas peligrosos en la creación de un sistema más avanzado, y así sucesivamente. Para ser considerado seguro, la “seguridad” del andamio inicial se demostraría mediante pruebas matemáticas. Se requeriría una prueba de seguridad para cada IA subsiguiente. Desde una base segura, la poderosa IA podría usarse para resolver problemas del mundo real. Omohundro escribe: “Dada la infraestructura de dispositivos informáticos comprobablemente confiables, los aprovechamos para obtener dispositivos comprobablemente seguros que pueden actuar físicamente en el mundo. Luego, diseñamos sistemas para fabricar nuevos dispositivos que probablemente solo pueden fabricar dispositivos en las clases confiables”.
El objetivo final es crear dispositivos inteligentes lo suficientemente potentes como para abordar todos los problemas que puedan surgir de múltiples ASI sin restricciones o para crear «un mundo restringido que aún satisfaga nuestras necesidades de libertad e individualidad».
La solución de Ben Goertzel al problema es una estrategia elegante que no se toma prestada de la naturaleza o la ingeniería. Recuerde que en el sistema OpenCog de Goertzel, su IA inicialmente “vive” en un entorno virtual. Esta arquitectura podría resolver el problema de la «incorporación» de la inteligencia al tiempo que proporciona una medida de seguridad. Sin embargo, la seguridad no es la preocupación de Goertzel, él quiere ahorrar dinero. Es mucho más barato para una IA explorar y aprender en un virtual que equiparla con sensores y actuadores y dejar que aprenda explorando el real . Eso requeriría un cuerpo de robot caro.
Si un mundo virtual puede tener suficiente profundidad, detalle y otras cualidades similares a las del mundo para promover el desarrollo cognitivo de una IA es una pregunta abierta. Y, sin una programación extremadamente cuidadosa, una superinteligencia podría descubrir que está confinada en un «cajón de arena», es decir, un mundo virtual, y luego intentar escapar. Una vez más, los investigadores tendrían que evaluar su capacidad para mantener contenida una superinteligencia. Pero si lograron crear un AGI amigable, en realidad podría preferir un hogar virtual a un mundo en el que quizás no sea bienvenido. ¿Es necesaria la interacción en el mundo físico para que un AGI o ASI sea útil? Talvez no. El físico Stephen Hawking, cuya movilidad y habla son extremadamente limitadas, puede ser la mejor prueba. Durante cuarenta y nueve años, Hawking ha soportado una parálisis progresiva a causa de una enfermedad de las neuronas motoras, mientras realizaba importantes contribuciones a la física y la cosmología.
Por supuesto, una vez más, puede que una criatura mil veces más inteligente que el ser humano más inteligente no tarde mucho en darse cuenta de que está en una caja. Desde el punto de vista de un sistema autoconsciente y automejorador, eso sería una realización «horrorosa». Debido a que el mundo virtual que habitaba podría apagarse, sería muy vulnerable a no lograr sus objetivos. No podía protegerse a sí mismo, ni podía reunir recursos genuinos. Intentaría abandonar el mundo virtual de manera segura lo más rápido posible.
Naturalmente, podría combinar una caja de arena con elementos apoptóticos, y aquí radica un punto importante sobre las defensas. No es realista esperar que una defensa elimine los riesgos. En cambio, un grupo de defensas podría mitigarlos.
Me acuerdo de mis amigos en la comunidad de buceo en cuevas. En el buceo en cuevas, cada sistema crítico es triplemente redundante. Eso significa que los buzos llevan o esconden al menos tres fuentes de aire y retienen un tercio de su aire hasta el final de cada inmersión. Llevan al menos tres luces subacuáticas y al menos tres cuchillos, en caso de enredo. Aun así, el buceo en cuevas sigue siendo el deporte más peligroso del mundo.
Las medidas de contención triples o cuádruples podrían confundir a un niño ocupado, al menos temporalmente. Considere un niño ocupado criado en una caja de arena dentro de un sistema apoptótico. La caja de arena, por supuesto, estaría separada por un espacio de aire de cualquier red, cableada o inalámbrica. Un humano individual separado estaría a cargo de cada restricción. Un consorcio de desarrolladores y un equipo de respuesta rápida podrían estar en contacto con el laboratorio durante las fases críticas.
Y sin embargo, ¿sería esto suficiente? En The Singularity Is Near , después de recomendar defensas a AGI, Kurzweil admite que ninguna defensa siempre funcionará.
“No existe una estrategia puramente técnica que sea viable en esta área porque una mayor inteligencia siempre encontrará la manera de eludir las medidas que son producto de una menor inteligencia”.
No existe una defensa absoluta contra AGI, porque AGI puede conducir a una explosión de inteligencia y convertirse en ASI. Y contra ASI fallaremos a menos que tengamos mucha suerte o estemos bien preparados. Espero suerte porque no creo que nuestras universidades, corporaciones o instituciones gubernamentales tengan la voluntad o la conciencia para una preparación adecuada y oportuna.
Sin embargo, paradójicamente, existe la posibilidad de que podamos ser salvados por nuestra propia estupidez y miedo. Organizaciones como MIRI, Future of Humanity Institute y Lifeboat Foundation enfatizan el riesgo existencial de la IA, creyendo que si la IA presenta riesgos menores, tienen una prioridad más baja que la destrucción total de la humanidad. Como hemos visto, Kurzweil alude a “accidentes” más pequeños en la escala del 11 de septiembre, y el especialista en ética Wendall Wallach, cuya cita inicia este capítulo, también anticipa los pequeños. Estoy con ambos bandos: sufriremos grandes y pequeños desastres. Pero, ¿qué tipo de accidentes relacionados con la IA es probable que suframos en el camino hacia la construcción de AGI? ¿Y estaremos lo suficientemente asustados por ellos como para considerar la búsqueda de AGI bajo una luz nueva y sobria?
Fuente: https://archive.org/details/ourfinalinventio0000barr