Porque el futuro esta mejor sin nosotros.

Por qué el futuro no nos necesita.

Nuestras más poderosas tecnologías del siglo XXI -la robótica, la ingeniería genética y la nanotecnología- amenazan con hacer de los seres humanos una especie en peligro de extinción.

Desde el momento en que me involucré en la creación de nuevas tecnologías, sus dimensiones éticas me han preocupado, pero fue sólo en el otoño de 1998 que me hice ansiosamente consciente de los peligros que nos enfrentamos en el siglo XXI. Puedo fechar el inicio de mi inquietud hasta el día que conocí a Ray Kurzweil, el inventor merecidamente famoso de la primera máquina de lectura para ciegos y muchas otras cosas asombrosas.

Este artículo se ha reproducido en un nuevo formato y puede estar faltando contenido o contiene enlaces defectuosos. Póngase en contacto con wiredlabs@wired.com para informar de un problema.

Ray y yo éramos oradores en la conferencia Telecosm de George Gilder, y lo encontré por casualidad en el bar del hotel después de que ambas sesiones terminaran. Yo estaba sentado con John Searle, un filósofo de Berkeley que estudia la conciencia. Mientras hablábamos, Ray se acercó y comenzó una conversación, cuyo tema me persigue hasta el día de hoy.

Había extrañado la charla de Ray y el siguiente panel en el que Ray y John habían estado, y ahora recogieron lo que habían dejado, con Ray diciendo que la velocidad de la mejora tecnológica iba a acelerarse y que íbamos a Se convierten en robots o se fusionan con robots o algo así, y John contrarrestar que esto no podría suceder, porque los robots no podían ser conscientes.

Mientras yo había escuchado tal charla antes, siempre había sentido que los robots sensibles estaban en el reino de la ciencia ficción. Pero ahora, de alguien que yo respetaba, estaba escuchando un fuerte argumento de que eran una posibilidad a corto plazo. Me sorprendió, especialmente dada la probada capacidad de Ray para imaginar y crear el futuro. Ya sabía que las nuevas tecnologías como la ingeniería genética y la nanotecnología nos estaban dando el poder de rehacer el mundo, pero un escenario realista e inminente para los robots inteligentes me sorprendió.

Es fácil dejarse llevar por esos avances. Escuchamos en las noticias casi todos los días de algún tipo de avance tecnológico o científico. Sin embargo, esta no era una predicción ordinaria. En el bar del hotel, Ray me dio una preimpresión parcial de su libro, El futuro de las máquinas espirituales, que describía una utopía que previó -una en la que los seres humanos ganaron cerca de la inmortalidad convirtiéndose en uno con tecnología robótica. Al leerlo, mi sensación de malestar sólo se intensificó; Estaba seguro de que tenía que estar subestimando los peligros, subestimando la probabilidad de un mal resultado a lo largo de este camino.

Me encontré muy preocupado por un pasaje que detallaba un escenario distópico:

EL NUEVO DESAFÍO DE LUDDITE

Primero vamos a postular que los científicos de la computación tienen éxito en el desarrollo de máquinas inteligentes que pueden hacer todas las cosas mejor de lo que los seres humanos pueden hacer. En ese caso presumiblemente todo el trabajo será hecho por sistemas de máquinas grandes y altamente organizados y ningún esfuerzo humano será necesario. Cualquiera de dos casos podría ocurrir. Las máquinas pueden ser autorizadas a tomar todas sus propias decisiones sin supervisión humana, o bien el control humano sobre las máquinas podría ser retenido.

Si a las máquinas se les permite tomar sus propias decisiones, no podemos hacer ninguna conjetura en cuanto a los resultados, porque es imposible adivinar cómo podrían comportarse tales máquinas. Sólo señalamos que el destino de la raza humana estaría a merced de las máquinas. Se podría argumentar que la raza humana nunca sería tan tonta como para entregar toda la energía a las máquinas. Pero no estamos sugiriendo que la raza humana voluntariamente volteara el poder a las máquinas ni que las máquinas tomarían deliberadamente el poder. Lo que sí sugerimos es que la raza humana pudiera permitirse fácilmente desplazarse hacia una posición de tal dependencia de las máquinas que no tendría más opción práctica que aceptar todas las decisiones de las máquinas. A medida que la sociedad y los problemas que enfrenta se vuelven cada vez más complejas y las máquinas se vuelven más y más inteligentes, la gente dejará que las máquinas tomen más decisiones por ellos, simplemente porque las decisiones hechas por la máquina traerán mejores resultados que las hechas por el hombre. Finalmente, se puede llegar a una etapa en la que las decisiones necesarias para mantener el sistema en funcionamiento serán tan complejas que los seres humanos serán incapaces de hacerlas inteligentemente. En esa fase las máquinas estarán en control efectivo. La gente no será capaz de apagar las máquinas, porque serán tan dependientes de ellas que apagarlas equivaldría a suicidarse.

Por otra parte es posible que el control humano sobre las máquinas pueda ser retenido. En ese caso, el hombre promedio puede tener control sobre ciertas máquinas privadas de su propiedad, como su automóvil o su computadora personal, pero el control sobre grandes sistemas de máquinas estará en manos de una pequeña élite, tal como es hoy, pero Con dos diferencias. Debido a técnicas mejoradas, la élite tendrá mayor control sobre las masas; Y porque el trabajo humano ya no será necesario

Las masas serán superfluas, una carga inútil para el sistema. Si la élite es despiadada, puede simplemente decidir exterminar a la masa de la humanidad. Si son humanas, pueden usar propaganda u otras técnicas psicológicas o biológicas para reducir la tasa de natalidad hasta que la masa de la humanidad se extinga, dejando el mundo a la élite. O, si la élite consiste de liberales de corazón suave, pueden decidir desempeñar el papel de buenos pastores para el resto de la raza humana. Se ocuparán de que todas las necesidades físicas de cada uno estén satisfechas, de que todos los niños se crien bajo condiciones psicológicamente higiénicas, de que todo el mundo tenga un afición sano para mantenerlo ocupado y que cualquier persona que pueda quedar insatisfecha se someta a un "tratamiento" para curar su problema. "Por supuesto, la vida será tan desprovista de propósito que la gente tendrá que ser biológica o psicológicamente diseñada para eliminar su necesidad del proceso de poder o para hacer que" sublimen "su impulso para el poder en alguna manía inofensiva. Estos seres humanos manipulados pueden ser felices en tal sociedad, pero ciertamente no serán libres. Se habrán reducido a la condición de animales domésticos. En el libro, no descubres hasta que pases la página que el autor de este pasaje es Theodore Kaczynski - el Unabomber. No soy un apologista de Kaczynski. Sus bombas mataron a tres personas durante una campaña de terror de 17 años e hirieron a muchos otros. Una de sus bombas gravemente heridas a mi amigo David Gelernter, uno de los más brillantes y visionarios informáticos de nuestro tiempo. Como muchos de mis colegas, sentí que fácilmente podría haber sido el próximo objetivo de Unabomber. Las acciones de Kaczynski fueron asesinas y, en mi opinión, criminalmente locas. Es claramente un ludita, pero simplemente diciendo esto no descarta su argumento; Tan difícil como para mí reconocer, vi algún mérito en el razonamiento en este solo pasaje. La visión distópica de Kaczynski describe las consecuencias no deseadas, un problema bien conocido con el diseño y uso de la tecnología, y que está claramente relacionado con la ley de Murphy: "Cualquier cosa que pueda salir mal, lo hará". (De hecho, Esta es la ley de Finagle, lo que en sí mismo demuestra que Finagle tenía razón.) Nuestro uso excesivo de antibióticos ha llevado a lo que puede ser el mayor problema hasta el momento: la aparición de bacterias resistentes a los antibióticos y mucho más peligrosas. Cosas similares ocurrieron cuando los intentos de eliminar los mosquitos palúdicos con DDT les hicieron adquirir resistencia al DDT; Los parásitos de la malaria también adquirieron genes resistentes a múltiples fármacos.2 La causa de muchas de estas sorpresas parece clara: Los sistemas involucrados son complejos, implicando interacción y retroalimentación entre muchas partes. Cualquier cambio en un sistema de este tipo se pondrá en cascada de maneras que son difíciles de predecir; Esto es especialmente cierto cuando las acciones humanas están involucradas. Comencé a mostrar a los amigos la cita de Kaczynski de The Age of Spiritual Machines; Les entregaba el libro de Kurzweil, los dejaba leer la cita y luego observaba su reacción cuando descubrieron quién la había escrito. Alrededor del mismo tiempo, encontré el libro de Hans Moravec Robot: Mere Machine to Transcendent Mind. Moravec es uno de los líderes en investigación robótica y fue fundador del programa de investigación robótica más grande del mundo, en la Universidad Carnegie Mellon. Robot me dio más material para probar a mis amigos - material que sorprendentemente apoyaba el argumento de Kaczynski. Por ejemplo: El corto plazo (principios del 2000) Las especies biológicas casi nunca sobreviven encuentros con competidores superiores. Hace diez millones de años, América del Sur y Norte estaban separadas por un istmo hundido de Panamá. América del Sur, como Australia hoy, estaba poblada por mamíferos marsupiales, incluyendo equivalentes pouched de ratas, ciervos y tigres. Cuando el istmo que conecta América del Norte y del Sur aumentó, tomó solamente algunos mil años para las especies septentrionales de la placenta, con metabolismos ligeramente más eficaces y sistemas reproductivos y nerviosos, desplazar y eliminar casi todos los marsupiales meridionales. En un mercado completamente libre, Los robots superiores seguramente afectarían a los seres humanos cuando los placentales norteamericanos afectaran a los marsupiales sudamericanos (y como los seres humanos han afectado a innumerables especies). Las industrias robóticas competirían vigorosamente entre sí por la materia, la energía y el espacio, incidentalmente conduciendo su precio más allá del alcance humano. Incapaz de permitirse las necesidades de la vida, los seres humanos biológicos serían extirpados de existencia. Hay probablemente un cierto espacio de respiración, porque no vivimos en un mercado completamente libre. El gobierno coacciona el comportamiento no comercial, especialmente recaudando impuestos. Judicialmente aplicada, la coerción gubernamental podría apoyar a las poblaciones humanas en alto estilo sobre los frutos de la mano de obra robótica, tal vez por un tiempo largo. Una distopía de libros de texto - y Moravec acaba de llegar a la liquidación. Él continúa discutiendo cómo nuestro trabajo principal en el siglo XXI será "asegurar la cooperación continua de las industrias del robot" aprobando las leyes que decretan que sean "agradables", 3 y describir cómoSeriamente peligroso, un ser humano puede ser "una vez transformado en un robot superinteligente ilimitado". La visión de Moravec es que los robots eventualmente nos sucederán - que los seres humanos claramente enfrentan la extinción. Decidí que era hora de hablar con mi amigo Danny Hillis. Danny se hizo famoso como el cofundador de Thinking Machines Corporation, que construyó un superordenador paralelo muy potente. A pesar de mi actual título de Jefe de Científico en Sun Microsystems, soy más un arquitecto de computadoras que un científico, y respeto el conocimiento de Danny de la información y las ciencias físicas más que el de cualquier otra persona que conozco. Danny es también un futurista de gran prestigio que piensa a largo plazo - hace cuatro años que fundó la Fundación Long Now, que está construyendo un reloj diseñado para durar 10.000 años, en un intento de llamar la atención sobre el lapso de atención lamentablemente corto de nuestra sociedad. Así que volé a Los Ángeles con el propósito expreso de cenar con Danny y su esposa, Pati. (Vea "Test of Time", Wired 8.03, pág. Pasé por mi rutina ahora familiar, trotando las ideas y pasajes que me parecieron tan inquietantes. La respuesta de Danny - dirigida específicamente al escenario de Kurzweil de la fusión de seres humanos con robots - llegó rápidamente y me sorprendió bastante. Él dijo, simplemente, que los cambios vendrían gradualmente, y que nos acostumbramos a ellos. Pero supongo que no estaba totalmente sorprendido. Había visto una cita de Danny en el libro de Kurzweil, en la que decía: "Me gusta tanto mi cuerpo como cualquiera, pero si puedo ser 200 con un cuerpo de silicio, lo tomaré". Parecía que él Mientras estaba hablando y pensando en Kurzweil, Kaczynski y Moravec, de repente me acordé de una novela que había leído hace casi 20 años -La plaga blanca, de Frank Herbert - en la que yo estaba en paz con este proceso y sus riesgos. Que un biólogo molecular se vuelve loco por el asesinato sin sentido de su familia. Para buscar venganza, él construye y disemina una nueva y altamente contagiosa plaga que mata ampliamente pero selectivamente. (Tenemos suerte de que Kaczynski fuera un matemático, no un biólogo molecular.) También me recordaron a los Borg de Star Trek, una colmena de criaturas en parte biológicas, en parte robóticas, con una fuerte racha destructiva. Los desastres tipo Borg son un elemento básico de la ciencia ficción, así que ¿por qué no me había preocupado más por tales distopías robóticas antes? ¿Por qué otras personas no estaban más preocupadas por estos escenarios de pesadilla? La responsabilidad de la respuesta reside ciertamente en nuestra actitud hacia lo nuevo, en nuestro sesgo hacia la familiaridad instantánea y la aceptación incondicional. Acostumbrados a vivir con avances científicos casi rutinarios, todavía tenemos que llegar a un acuerdo con el hecho de que las tecnologías más convincentes del siglo XXI -la robótica, la ingeniería genética y la nanotecnología- representan una amenaza diferente a la de las tecnologías anteriores. Específicamente, los robots, los organismos de ingeniería y los nanobots comparten un factor de amplificación peligroso: pueden auto-replicarse. Una bomba es volada sólo una vez - pero un bot puede llegar a ser muchos, y rápidamente salir de control.Mucho de mi trabajo en los últimos 25 años ha sido en redes de computadoras, donde el envío y recepción de mensajes crea la oportunidad de out- De-control de replicación. Pero mientras que la replicación en un ordenador o una red de ordenadores puede ser una molestia, en el peor de los casos, desactiva una máquina o toma abajo de una red o servicio de red. La auto-replicación incontrolada en estas nuevas tecnologías corre un riesgo mucho mayor: un riesgo de daño sustancial en el mundo físico. Cada una de estas tecnologías también ofrece promesas incalculables: La visión de la inmortalidad cercana que Kurzweil ve en sus sueños de robot nos impulsa hacia adelante; La ingeniería genética puede proporcionar pronto tratamientos, si no curas directas, para la mayoría de las enfermedades; Y la nanotecnología y la nanomedicina pueden abordar aún más enfermedades. Juntos podrían extender significativamente nuestra vida promedio y mejorar la calidad de nuestras vidas. Sin embargo, con cada una de estas tecnologías, una secuencia de pequeños avances, individualmente sensibles, conduce a una acumulación de gran poder y, concomitantemente, a un gran peligro. ¿Qué era diferente en el siglo XX? Ciertamente, las tecnologías subyacentes a las armas de destrucción masiva (armas de destrucción masiva) - nucleares, biológicas y químicas (NBC) - eran poderosas y las armas constituían una enorme amenaza. Pero la construcción de armas nucleares requirió, al menos por un tiempo, acceso a materias primas raras -de hecho, efectivamente indisponibles- e información altamente protegida; Los programas de armas biológicas y químicas también tienden a requerir actividades a gran escala. Las tecnologías del siglo XXI, la genética, la nanotecnología y la robótica (GNR), son tan poderosas que pueden generar nuevas clases de accidentes y abusos. Muy peligrosamente, por primera vez, estos accidentes y abusos están ampliamente al alcance de individuos o grupos pequeños. No requerirán instalaciones grandes o materias primas raras. El conocimiento por sí solo permitirá el uso de ellos. Así tenemos la posibilidad no sólo de armas de destrucción masiva sino de conocimiento(KMD), esta destructividad enormemente amplificada por el poder de auto-replicación. Creo que no es exagerado decir que estamos en la cúspide de la perfección del mal extremo, un mal cuya posibilidad se extiende mucho más allá de eso Que las armas de destrucción masiva legaron a los estados-nación, a un sorprendente y terrible empoderamiento de los individuos extremos. Nada de la forma en que me involucré con las computadoras me sugirió que iba a enfrentar este tipo de problemas. Ha sido impulsado por una profunda necesidad de hacer preguntas y encontrar respuestas. Cuando yo tenía 3 años, ya estaba leyendo, así que mi padre me llevó a la escuela primaria, donde me senté en el regazo del director y le leí una historia. Comencé la escuela temprano, más tarde salté un grado, y escapé en los libros - estaba increíblemente motivado para aprender. Pregunté muchas preguntas, conduciendo a menudo a los adultos a distraction.As un adolescente que estaba muy interesado en la ciencia y la tecnología. Quería ser un operador de radioaficionado pero no tenía el dinero para comprar el equipo. Ham radio era el Internet de su tiempo: muy adictivo, y bastante solitario. Dejando a un lado los problemas de dinero, mi madre puso su pie abajo - yo no iba a ser un jamón; Ya era bastante antisocial. Puede que no haya tenido muchos amigos cercanos, pero estaba inundado de ideas. En la escuela secundaria, había descubierto a los grandes escritores de ciencia ficción. Recuerdo especialmente Heinlein tiene Spacesuit viajará y Asimov I, Robot, con sus tres leyes de la robótica. Yo estaba encantado por las descripciones de los viajes espaciales, y quería tener un telescopio para mirar las estrellas; Ya que no tenía dinero para comprar o hacer uno, revisé libros de telescopio de la biblioteca y leí sobre cómo hacerlos. Yo subí en mi imaginación. Los jueves mis padres salieron a jugar a los bolos, y los niños nos quedamos en casa solos. Era la noche de Star Trek original de Gene Roddenberry, y el programa me causó una gran impresión. Llegué a aceptar su noción de que los humanos tenían un futuro en el espacio, de estilo occidental, con grandes héroes y aventuras. La visión de Roddenberry de los siglos venideros era una de valores morales fuertes, encarnada en códigos como la Directiva Prime: no interferir en el desarrollo de civilizaciones menos avanzadas tecnológicamente. Esto me atrajo increíblemente; Los seres humanos éticos, no los robots, dominaron este futuro, y tomé el sueño de Roddenberry como parte de mi propio. Yo sobresalí en las matemáticas en la escuela secundaria, y cuando fui a la Universidad de Michigan como un estudiante de ingeniería de graduación tomé el currículo avanzado de la Matemáticas mayores. Resolver problemas matemáticos fue un desafío emocionante, pero cuando descubrí las computadoras encontré algo mucho más interesante: una máquina en la que se podía poner un programa que intentaba resolver un problema, después de lo cual la máquina comprobó rápidamente la solución. La computadora tenía una noción clara de correcto e incorrecto, verdadero y falso. ¿Mis ideas estaban correctas? La máquina podría decirme. Esto fue muy seductor. Yo tuve la suerte de conseguir un trabajo de programación de los primeros supercomputadores y descubrió el asombroso poder de las grandes máquinas para simular numéricamente diseños avanzados. Cuando fui a la escuela de posgrado en UC Berkeley a mediados de los años setenta, empecé a quedarme hasta tarde, a menudo toda la noche, inventando nuevos mundos dentro de las máquinas. Resolviendo problemas. En la agonía y el éxtasis, la novela biográfica de Irving Stone de Miguel Ángel, Stone describió vívidamente cómo Miguel Ángel lanzó las estatuas de la piedra, "rompiendo el hechizo de mármol", talla de las imágenes en su En mis momentos más extáticos, el software de la computadora surgió de la misma manera. Una vez que lo había imaginado en mi mente sentí que ya estaba allí en la máquina, esperando a ser liberado. Después de unos años en Berkeley empecé a enviar algunos de los programas que había escrito: un sistema Pascal instructivo, utilidades de Unix y Editor de texto llamado vi (que todavía es, para mi sorpresa, ampliamente utilizado más de 20 años más tarde) - a otros que tenían minicomputadores PDP-11 y VAX similares. Estas aventuras en el software finalmente se convirtió en la versión de Berkeley del sistema operativo Unix, que se convirtió en un personal "desastre de éxito" - muchas personas querían que nunca terminó mi doctorado. En cambio, conseguí un trabajo trabajando para Darpa poniendo Berkeley Unix en Internet y fijándolo para ser confiable y para ejecutar grandes aplicaciones de investigación. Todo esto fue muy divertido y muy gratificante. Y, francamente, no vi ningún robot aquí, o en cualquier lugar cercano. Todavía, a principios de los 80, me estaba ahogando. Los lanzamientos de Unix fueron muy exitosos, y mi pequeño proyecto de uno pronto tenía dinero y personal, pero el problema en Berkeley era siempre espacio de oficina en lugar de dinero - no había espacio para la ayuda que el proyecto necesitaba, por lo que cuando los otros fundadores De Sun Microsystems apareció me salté a la oportunidad de unirse a ellos. En Sun, las largas horas continuaronEn los primeros días de estaciones de trabajo y computadoras personales, y he disfrutado participando en la creación de tecnologías avanzadas de microprocesadores y tecnologías de Internet como Java y Jini.

...