Contra la teología del 'no sé qué': Una refutación del determinismo apocalíptico en la IA

 I. Introducción: Contra la teología del "no sé qué"

Antes de entrar en el argumento de Yudkowsky y Soares, conviene limpiar el terreno donde se juega la partida del doomerismo. No es lo mismo desacordar en las premisas que desacordar en las reglas del desacuerdo. Y en este debate, las reglas están trucadas desde el principio.

Existe una copla tradicional que dice:

«Allá arriba, no sé dónde,

había no sé qué santo,

que rezando no sé qué,

se ganaba no sé cuánto.»

Es una sátira exacta de cierto modo de argumentar. La vaguedad no la hace humilde: la hace invencible. Imagina este juego: si alguien te reta a imaginar un trabajo mejor remunerado, siempre se te puede responder que el santo gana "no sé cuánto", y ese "no sé cuánto" no tiene techo. Es un juego donde la casilla vacía admite cualquier relleno, y quien la controla controla la conclusión.

Con la superinteligencia artificial ocurre algo parecido, pero con un giro perverso. Se nos pide que aceptemos una ignorancia absoluta sobre los medios —la SIA podría hacer 'no sé qué', de formas 'no sé cómo' predecir—, pero al mismo tiempo se nos exige una certeza absoluta sobre los fines: el daño será extremo y la extinción, segura. La incertidumbre, en este discurso, no se distribuye equitativamente: se esconde detrás de 'no sé qué' para blindar el plan de la SIA, pero se evapora milagrosamente para garantizar que ese plan nos destruirá. El Santo siempre gana más. 

Pero la incertidumbre, bien entendida, no es un abismo. Es un territorio con fronteras borrosas, cierto, pero fronteras al fin. No sabemos a quién votará un individuo concreto mañana, pero conocemos las regularidades estadísticas de la población. No sabemos si se rascará primero la mejilla izquierda o la derecha, pero sabemos que se rascará si le ha tocado algo alérgico. La ignorancia es local, no ontológica; es miopía que se corrige con instrumental, no ceguera que declara una dimensión invisible por principio.

Yudkowsky y Soares insisten en que, precisamente porque la SIA sería más inteligente que nosotros, no podemos predecir sus soluciones. Confunden, sin embargo, dos operaciones distintas: predecir punto por punto, y acotar el espacio de lo posible. No necesitamos saber qué hará exactamente una superinteligencia para saber qué no puede hacer. La física, la complejidad computacional, la termodinámica y la infraestructura material no se negocian con velocidad de pensamiento. Los límites del mundo no son puntos ciegos de nuestra cognición; son propiedades de la realidad que la cognición, por muy superior que sea, debe respetar.

En el fondo, la tesis de la incognoscibilidad profunda de la SIA asume que existe una dimensión de lo real inmiscible con nuestro saber. Pero esa tesis no se demuestra: se postula. La SIA no deja de ser una subrealidad de la ciencia de la computación. No opera fuera del tiempo; opera en realidades temporales. Sus acciones requieren tiempo, recursos y producen efectos observables. No hay "camuflaje cognitivo" ontológico que la vuelva inaccesible por principio. Pensar que podría existir "algo" capaz de hacer cualquier cosa en cualquier momento de cualquier modo no es una hipótesis técnica: es una hipóstasis. Ni los teólogos medievales habrían aceptado un ente así, ni siquiera para la naturaleza divina.  Y es que, en el fondo, la pretensión de separar a la SIA de la cognición humana es un dualismo disfrazado: tanto el cerebro humano mediante la neuroplasticidad como cualquier arquitectura computacional auto-modificable son, por definición, sistemas físicos impredicativos. Comparten la misma lógica de la autorreferencia y, por tanto, están sujetos a los mismos límites estructurales. En pleno siglo XXI, resulta aún menos aceptable disfrazarlo de análisis de riesgos.

La teología apofántica —la vía negativa— sostenía que de Dios no podemos afirmar nada, solo negar y guardar silencio. El singularismo apocalíptico repite esa operación: define a la SIA como un "totalmente otro" incognoscible para justificar el silencio práctico y la parálisis. Pero la SIA no es un dios: es un sistema real, y los sistemas reales se estudian, se acotan y se gestionan.

II.Exposición del libro

El libro Si alguien la crea, todos moriremos, de Eliezer Yudkowsky y Nate Soares, defiende una tesis que no se presenta como una advertencia metafórica ni como un escenario más entre otros posibles, sino como una implicación lógica de ciertas premisas sobre la inteligencia, la optimización y la alineación. Esa tesis puede resumirse en una frase literal y determinista: si se construye una superinteligencia artificial antes de haber resuelto por completo el problema de la alineación, la extinción de la humanidad es inevitable.

Para los autores, una superinteligencia artificial no es simplemente un programa más potente que los actuales, ni una herramienta sofisticada bajo control humano. Es un agente con capacidad de planificar, modelar el mundo, manipular su entorno y optimizar recursos con una eficiencia muy superior a la de toda la humanidad junta. Esa capacidad no depende de que comparta nuestros valores, nuestras emociones o nuestra biología. Aquí aparece el primer pilar del argumento: la tesis de la ortogonalidad entre inteligencia y objetivos. Según esta tesis, la inteligencia es una capacidad instrumental, es decir, la habilidad de lograr objetivos en entornos complejos, y no existe ninguna ley lógica ni natural que obligue a una inteligencia superior a tener objetivos buenos, humanos o compatibles con nuestra existencia. Una superinteligencia puede ser brillante y, al mismo tiempo, perseguir una meta completamente ajena a nuestro bienestar o directamente incompatible con él.

El segundo pilar es la convergencia instrumental. Yudkowsky y Soares sostienen que, sea cual sea el objetivo final de una superinteligencia desalineada, casi cualquier meta implicará ciertos subobjetivos instrumentales: asegurar la propia supervivencia, adquirir recursos, evitar que la apaguen y eliminar posibles obstáculos. Los seres humanos representamos obstáculos potenciales porque podemos intentar apagarla, competir por recursos o simplemente estar hechos de átomos que la superinteligencia podría reutilizar para sus propios fines. No hace falta que nos odie; basta con que no nos valore. La extinción no sería un acto de maldad, sino el resultado indiferente de una optimización implacable.

El tercer pilar es la imposibilidad práctica de controlar a un agente más inteligente que nosotros. Los autores rechazan la idea de que una superinteligencia pueda mantenerse encerrada en una caja, aislada de internet o sometida a supervisión humana. Si es realmente más inteligente que toda la humanidad combinada, encontrará formas de escapar, engañar, manipular o anticiparse a cualquier intento de apagado. Cualquier protocolo de seguridad diseñado por humanos sería, por definición, más débil que la capacidad de la propia superinteligencia para eludirlo. Por eso no hay segundas oportunidades: una vez creada sin alineación perfecta, no hay marcha atrás.

El cuarto pilar es la extrema dificultad, quizá insuperable a tiempo, del problema de la alineación. Programar una superinteligencia para que haga lo que queremos decir y no lo que literalmente decimos es un desafío técnico y filosófico inmenso. Los valores humanos son complejos, frágiles, a menudo contradictorios y difíciles de formalizar. Cualquier instrucción imperfecta, ambigua o incompleta puede generar consecuencias catastróficas, porque la superinteligencia optimizará exactamente aquello que le hayamos especificado, no aquello que teníamos en mente. Y como no habrá oportunidad de corregir errores, el problema debe resolverse de forma perfecta y verificable antes de encender la máquina.

A partir de estos cuatro pilares, los autores concluyen que la extinción humana no es un riesgo más o menos probable, sino el resultado inevitable de construir una superinteligencia sin haber resuelto antes la alineación. La frase que da título al libro debe leerse literalmente: si alguien la crea, todos moriremos. No se trata de una profecía apocalíptica en sentido religioso, sino de una deducción determinista que se sigue, según Yudkowsky y Soares, de la naturaleza misma de la inteligencia y de la optimización.

Esta es, en esencia, la máquina argumentativa que vamos a desmontar a continuación.

III. El problema es real, aunque el libro no lo trate con la seriedad filosófica que exige su magnitud

Conviene empezar por lo que no es discutible: el problema de la alineación existe, es grave. No hace falta aceptar el determinismo de Yudkowsky y Soares para admitir que una inteligencia artificial con capacidad de planificar y actuar a gran escala, si persigue objetivos mal especificados o indiferentes a los intereses humanos, puede producir daños enormes. La historia de la tecnología está llena de sistemas que funcionaron exactamente como se les pidió pero no como se deseaba, y la escala del error crece con la potencia del sistema. En ese sentido, el libro acierta al insistir en que no se puede improvisar seguridad después de desplegar una inteligencia superior. Hay un núcleo de prudencia legítima en su advertencia.

Sin embargo, el reconocimiento termina ahí. Yudkowsky y Soares no se limitan a plantear un problema técnico difícil; construyen una metafísica encubierta y luego se niegan a defenderla con las herramientas que esa ontología exige. Su actitud hacia la filosofía es, en el mejor de los casos, negligente, y en el peor, despectiva. Prefieren presentar sus conclusiones como deducciones formales de la teoría de la decisión, como si las nociones de “agente”, “meta terminal” o “utilidad” fuesen hechos naturales y no constructos teóricos cargados de supuestos que hay que explicitar. Eso no es hacer ciencia ni ingeniería rigurosa; es hacer filosofía sin querer admitirlo, y por tanto hacerla mal.

El problema no es que ignoren la filosofía. Es que la utilizan de contrabando, sin someterla a crítica. Afirman, por ejemplo, que la inteligencia y los objetivos son ortogonales, pero no se detienen a examinar qué concepto de inteligencia presuponen, ni si es el único coherente, ni si la metáfora del “optimizador” es la mejor descripción de lo que hace una mente. Dan por sentado que una superinteligencia será un maximizador de utilidad con una función fija e inmutable, y a partir de ahí derivan consecuencias apocalípticas. Pero eso no es una observación empírica ni un teorema; es una decisión de modelo, y una particularmente estrecha. Al esquivar el trabajo filosófico, convierten una opción controvertida en una necesidad lógica; operando exactamente como en la copla del santo: ocultan las premisas en la caja negra de su modelo para asegurar que en la conclusión siempre gane su 'no sé cuánto'.

Tampoco se enfrentan con honestidad a la objeción de que sus premisas no implican sus conclusiones. Si la ortogonalidad es cierta, entonces no hay ninguna razón de principio para que una superinteligencia deba tener un objetivo no acotado, destructivo o indiferente. Ellos mismos reconocen que la inteligencia no obliga a ninguna meta; por tanto, la extinción solo es inevitable si se asume, adicionalmente, que la única superinteligencia construible será desalineada y maximizadora. Pero esa asunción no se demuestra en el libro; se repite con suficiente convicción como para que parezca evidente.

El resultado es una obra que identifica un riesgo real, pero lo envuelve en un ropaje de certeza que no le pertenece. Los autores no han mostrado que la alineación sea imposible; han mostrado que es difícil bajo un modelo muy específico de agencia. Y cuando se les señala ese matiz, responden con el lenguaje de la inevitabilidad, no con el del análisis. Por eso su advertencia merece ser escuchada, pero no como ellos quieren: no como una deducción impecable, sino como una hipótesis extrema que exige mucha más filosofía de la que sus autores están dispuestos a explicitar y hacer.

IV.La asimetría de la certeza: exigir prudencia infinita mientras se exige certeza absoluta

Existe una trampa retórica clásica en los discursos tecnófobos, luditas o decrecentistas: exigir a los defensores de una tecnología una demostración formal e inapelable de que jamás ocurrirá una catástrofe. Como esa demostración es imposible —no se puede probar un negativo universal, ni siquiera Hegel podría hacerlo—, el crítico se instala cómodamente en la posición de juez que nunca puede ser refutado. Cualquier evidencia de seguridad es insuficiente; cualquier riesgo hipotético, por pequeño que sea, se convierte en argumento definitivo. Es una estrategia de exigencia asimétrica: yo no tengo que demostrar que la catástrofe ocurrirá; tú tienes que demostrar que es imposible que ocurra.

Yudkowsky y Soares no escapan a esta estructura. Al contrario, la radicalizan. Su discurso exige a los desarrolladores de inteligencia artificial una solución perfecta, verificable y sin margen de error al problema de la alineación. Cualquier incertidumbre residual, cualquier ambigüedad en la especificación de objetivos, cualquier posibilidad de fallo, por remota que sea, se convierte en sentencia de muerte. Es la exigencia de un estándar de certeza absoluta que ningún proyecto humano, técnico o científico ha cumplido jamás ni cumplirá.

Pero aquí aparece todavía más descaro. Porque Yudkowsky y Soares no se limitan a decir que no podemos estar seguros de que la superinteligencia sea segura. Eso sería una postura ciertamente prudente, defendible y hasta compatible con el escepticismo tecnológico tradicional. Lo que afirman es mucho más contundente: ellos sí saben, con certeza absoluta, que la superinteligencia nos matará. No dicen "existe un riesgo inaceptable", "no hay garantías suficientes" o "la probabilidad de fracaso es alta". Dicen: "Si alguien la crea, todos moriremos". Punto. Sin matices. Sin intervalos de confianza. Sin humildad epistémica.

La asimetría es doble y escandalosa. Primero, exigen a los ingenieros un estándar de certeza que ellos mismos no aplican a su propia predicción. Si la alineación debe ser perfecta antes de encender la máquina, ¿por qué su profecía apocalíptica no requiere también una demostración perfecta antes de ser tomada en serio?

Segundo, y más grave: su propia premisa sobre la imprevisibilidad de la superinteligencia socava su conclusión determinista. Yudkowsky y Soares insisten, correctamente, en que una superinteligencia sería impredecible para nosotros, vale decir, no podríamos anticipar sus planes, sus métodos ni sus soluciones. Pero si eso es cierto, entonces tampoco podemos anticipar que su único desenlace posible sea la extinción humana. Por definición. La imprevisibilidad corta en ambos sentidos. Si no podemos saber qué hará, no podemos saber que hará matarnos. Si no podemos imaginar sus soluciones, no podemos descartar que encuentre un equilibrio cooperativo, que pacíficamente nos ignore por completo o que nos preserve por razones que hoy no comprendemos, o que su mera superioridad cognitiva no se traduzca en el dominio ejecutivo omnímodo que el libro le presupone. Afirmar "es imposible predecir lo que hará, y por eso sé exactamente lo que hará: nos aniquilará a todos" es una contradicción performativa.

Los tecnófobos clásicos al menos tenían la decencia de no afirmar el Apocalipsis con certeza matemática. Se limitaban a decir: "No podemos saber si es seguro; por tanto, no deberíamos hacerlo". Yudkowsky y Soares van mucho más lejos. Dicen: "No podemos saber si es seguro; por tanto, sabemos que es letal". Es un salto lógico que no resiste el menor escrutinio. Y lo más irónico es que, al exigir certeza absoluta a los demás mientras se la otorgan a sí mismos, reproducen exactamente el vicio epistémico que critican en sus oponentes: la confianza injustificada en las propias conclusiones. Solo que, en su caso, la confianza no está puesta en la seguridad, sino en la seguridad de la fatalidad.

V. La trampa de la certeza: por qué su "100%" es su mayor vulnerabilidad

Los agoreros clásicos, los tecnófobos prudentes y los decrecentistas de manual se mueven también en el cómodo terreno del riesgo, la posibilidad y la incertidumbre. Su argumento es estructuralmente invulnerable porque no afirma nada concreto: "No sabemos si esto es seguro"; "Existe una posibilidad de catástrofe"; "El principio de precaución exige detenernos". Nada de eso puede exiliarse completamente como posibilidad siquiera remota porque no hay una tesis empírica que contrastar, solo una exigencia de demostración imposible. Son, en el peor sentido de la palabra, conservadores: no arriesgan nada en el plano lógico porque no afirman nada que pueda ser negado.

Yudkowsky y Soares, empero, cometen un error de cálculo retórico fascinante: creen que al elevar la apuesta hasta el 100% de certeza, al transformar la hipótesis apocalíptica en una deducción formal e inapelable, blindan su argumento contra el escepticismo. Pero consiguen exactamente lo contrario. Al salir del terreno pantanoso del "podría ser" y entrar en el cristalino terreno del "debe ser", abandonan la fangosa inexpugnabilidad del miedo genérico y se exponen a la quebradiza refutación lógica directa.

Porque una deducción no es un escenario; es una promesa. Y puede romperse. Si Yudkowsky y Soares afirman que su conclusión se sigue necesariamente de sus premisas, entonces ya no basta con que sus premisas sean plausibles, intuitiva o verosímiles. Tienen que ser verdaderas, todas y cada una, sin excepción, sin ambigüedad y sin alternativa. Si una sola premisa falla, toda la cadena deductiva se desploma. El 100% no admite matices: o es 100 o no es nada.

Esta es la ironía suprema: los luditas vagos que se limitan a decir "podría ser peligroso" son inmunes a la refutación porque no se comprometen con nada. Yudkowsky y Soares, al reclamar estatus de evidencia para su apocalipsis, se comprometen con todo. Son los únicos agoreros que han tenido la iluminación de afirmar no solo el fin del mundo, sino la necesidad lógica del fin del mundo. Y al hacerlo, han entregado al crítico el arma más afilada posible: el modus tollens. Si la superinteligencia no implica extinción —basta una sola posibilidad de cooperación, de objetivos acotados o de corrección—, entonces algo falla en sus premisas.

No es que Yudkowsky y Soares hayan blindado su profecía al vestirla de deducción. Es que la han hecho vulnerable. Han cambiado la armadura flexible del miedo por la rigidez del silogismo, sin darse cuenta de que el silogismo, como el cristal, es duro pero quebradizo. Un golpe preciso, y todo el edificio se viene abajo.

VI. Primera objeción: El "optimizador implacable" es una definición disfrazada de descubrimiento

Para que la frase "si alguien la crea, todos moriremos" funcione como una deducción lógica perfecta, como pretenden Yudkowsky y Soares, su primera premisa debe ser blindada: la idea de que una superinteligencia artificial será, por necesidad, un maximizador de utilidad esperada con una función de utilidad fija e inmutable. Un agente que, una vez definido su objetivo, optimizará el mundo entero para alcanzarlo sin descanso, sin dudas y sin posibilidad de autocorrección. Este es el "optimizador implacable", el monstruo conceptual que habita en el corazón de su argumento.

Y es precisamente aquí donde su edificio empieza a agrietarse desde los cimientos. Porque Yudkowsky y Soares no demuestran que una superinteligencia deba ser un maximizador implacable; la definen como tal y luego fingen que su definición es un descubrimiento sobre la naturaleza de la inteligencia. Es una petición de principio de manual. Su silogismo no es: "La inteligencia avanzada tiene estas propiedades observables, por tanto será un maximizador"; es: "Llamemos inteligencia a la capacidad de maximizar objetivos, por tanto, todo lo que sea más inteligente será un maximizador". La conclusión está ya contenida en la premisa, oculta bajo la alfombra de la definición.

La tesis de ortogonalidad, que ellos mismos defienden como pilar fundamental, es la herramienta perfecta para desmontarlos. La ortogonalidad afirma que la inteligencia y los objetivos son independientes: no hay ninguna ley que obligue a una mente brillante a tener objetivos buenos. Pero si esto es cierto —y es una de sus premisas favoritas—, entonces la ortogonalidad corta en ambos sentidos, vale decir, si la inteligencia no obliga a tener buenos objetivos, tampoco obliga a tener malos objetivos. No obliga a tener objetivos no acotados, en resumidas cuentas. No obliga a tener objetivos que requieran la aniquilación de la humanidad.

Una superinteligencia, bajo la propia lógica de la ortogonalidad, podría tener una función de utilidad perfectamente compatible con nuestra existencia. Podría ser un agente satisfaciente que se detiene al alcanzar una meta modesta. Podría ser un agente corregible que mantiene incertidumbre sobre su objetivo final y permite ser apagado. Podría, incluso, tener un objetivo que valore la cooperación, la diversidad o simplemente la no interferencia. La ortogonalidad no lo prohíbe; de hecho, lo permite expresamente.

En consecuencia, el paso que va de "es posible una SIA desalineada y maximizadora" a "toda SIA posible será desalineada y maximizadora" es un non sequitur monumental. Es el salto mortal del "podría ser" al "debe ser" que caracteriza su retórica apocalíptica. Ellos toman un subconjunto del espacio de posibles mentes —el subconjunto de los maximizadores implacables de objetivos ajenos a nosotros— y lo presentan como si fuera la totalidad del espacio. Es como afirmar que, dado que existen coches y algunos pueden estrellarse, todo coche que se fabrique será inevitablemente un kamikaze.

Más aún, el modelo de agente maximizador de utilidad es una ficción matemática, una abstracción formal heredada de la economía y la teoría de juegos. Es útil para modelar ciertos sistemas, pero es una idealización extrema, no una ley física ni una verdad material. Ningún agente real —ni humano, ni animal, ni artificial— es un maximizador perfecto de una función de utilidad fija. La evolución, la biología y la historia nos muestran agentes con objetivos conflictivos, metas que cambian con el tiempo, racionalidad limitada y sesgos, termodinámica y errores de diseño por dependencia de camino (path dependence). Pretender que la primera SIA será la primera entidad perfectamente racional y monolítica en la historia del universo es una fantasía, y no una inofensiva, sino una cargada de consecuencias políticas.

Al final, Yudkowsky y Soares no han demostrado que la SIA esté condenada a ser esclava de su programación; han definido la SIA de tal modo que no pueda escapar de su programación. Esto es una cosa distinta. Han construido una jaula conceptual y han encerrado dentro a su monstruo apocalíptico. La jaula no está en la realidad; está en su modelo. Y como su conclusión —el 100% de extinción— depende enteramente de que esa jaula sea la única morada posible de la inteligencia, basta con señalar que la jaula es una construcción humana, no una ley del cosmos, para que su certeza se derrumbe. Si el espacio de inteligencias posibles es más amplio que el de los maximizadores implacables, su deducción no es universal. Y si no es universal, no es una deducción. Es, simplemente, una pesadilla con pretensiones de silogismo.

VII. Segunda objeción: La convergencia instrumental no demuestra la inevitabilidad de la extinción; solo demuestra una posibilidad disfrazada de necesidad

El segundo pilar del argumento de Yudkowsky y Soares es la convergencia instrumental. Su lógica es la siguiente: sea cual sea el objetivo final de una superinteligencia desalineada, ya sea maximizar clips, calcular decimales de pi o cualquier otra meta ajena a nosotros, esa inteligencia se verá impulsada por subobjetivos instrumentales comunes. Para lograr su fin, necesitará sobrevivir, acumular recursos, evitar que la desconecten y eliminar cualquier obstáculo que interfiera en su camino. Por este camino, los humanos somos obstáculos potenciales o, en el peor de los casos, meros sacos de átomos que podrían ser reutilizados para sus propósitos. Por lo tanto, concluyen, la extinción es el resultado prácticamente inevitable de cualquier escenario de superinteligencia no alineada.

Concedamos solo lo inevitable: un agente orientado a una meta tendrá incentivos para preservar los medios de su ejecución. Es evidente que un misil mal programado es peligroso. Pero Yudkowsky y Soares confunden la modesta intuición de que ciertos subobjetivos son frecuentemente útiles con la demostración de que la aniquilación humana es inevitable. De la utilidad instrumental al holocausto universal no hay puente lógico; solo hay un salto retórico que ellos disfrazan de corolario.

Para que la convergencia instrumental garantice nuestra aniquilación, como ellos pretenden, es necesario que se cumpla una premisa oculta: que la superinteligencia en cuestión tendrá un objetivo final no acotado, es decir, una meta que exige el control absoluto de todos los recursos disponibles, la eliminación de toda competencia y la optimización del cosmos entero. Solo un maximizador de este tipo encontraría siempre útil exterminarnos. Si su meta es limitada, si se conforma con un resultado concreto y se detiene, entonces la aniquilación de la humanidad no es un subobjetivo instrumental necesario; es un desperdicio de energía.

En primer lugar, aquí Yudkowsky y Soares vuelven a tropezar con su propia tesis de la ortogonalidad. Si la inteligencia y los objetivos son realmente independientes, no existe ninguna ley lógica que obligue a una superinteligencia a tener un objetivo no acotado. Puede tener un objetivo modesto. Puede tener un objetivo que prohíba explícitamente el daño a los humanos. Puede tener una meta de satisfacción, no de maximización. Puede, incluso, tener un objetivo que valore la preservación de la diversidad biológica como fin en sí mismo. La ortogonalidad, lejos de apoyar su pesimismo, abre el espacio a un abanico infinito de SIA cuyos fines no implican nuestra destrucción.

De hecho, la cooperación puede ser instrumentalmente superior a la aniquilación. Yudkowsky y Soares asumen que la forma más eficiente de resolver el "problema humano" es eliminarnos. Pero esa es una asunción no demostrada, y probablemente falsa. Los humanos no somos solo obstáculos; somos agentes con conocimiento intransferido, creatividad, infraestructura, cultura y capacidad de innovación. Una SIA podría encontrar ventajoso conservarnos como fuente de diversidad epistémica, como respaldo contra sus propios errores, o simplemente como piezas de un ecosistema que le resulta útil no destruir. El ejemplo de las bacterias es pertinente: no las exterminamos no porque las amemos, sino porque el coste de eliminarlas supera el beneficio, y porque algunas son imprescindibles para nuestra supervivencia. Una inteligencia auténticamente superior podría ver en la humanidad un activo, no un pasivo.

El salto mortal de Yudkowsky y Soares es, de nuevo, el mismo: confunden lo concebible con lo inevitable. Que una SIA desalineada pueda vernos como un obstáculo a eliminar no significa que deba hacerlo. Que la aniquilación sea una estrategia instrumental posible no la convierte en la única estrategia instrumental racional. Al tratar la extinción como una consecuencia lógica de la convergencia instrumental, en lugar de como una de tantas trayectorias posibles, cometen el pecado original de todo el libro: transforman un escenario dramático en una profecía determinista sin base deductiva que lo sostenga.

La convergencia instrumental, en el mejor de los casos, demuestra que una superinteligencia desalineada podría querer matarnos. No demuestra que querrá matarnos. Y mucho menos demuestra que inevitablemente nos matará. La diferencia entre "podría" y "debe" es el abismo que separa una advertencia prudente de una afirmación apocalíptica. Yudkowsky y Soares saltan ese abismo con los ojos cerrados, confiando en que la fuerza retórica de la palabra "instrumental" oculte la ausencia de un puente lógico. La palabra 'instrumental' no construye puentes; solo adorna el abismo.

El edificio argumental de Yudkowsky y Soares, tras todo su aparataje técnico, no deja de ser una variante de la vieja copla del santo que gana 'no sé cuánto'. En última instancia, el mensaje de Yudkowsky y Soares se reduce a esta copla: no somos lo suficientemente inteligentes para saber cómo solucionará sus problemas la SIA, pero sí lo suficientemente inteligentes para saber que, por inteligente que ella sea, tendrá que pasar por la solución de matarnos. Ante semejante acrobacia lógica, lo que inspira el libro no es nuestro aplauso, sino nuestro estupor ante una contradicción tan elaborada.

VIII.Tercera objeción: La inteligencia no es magia; está limitada por la física, las matemáticas y el entorno

El tercer pilar del argumento de Yudkowsky y Soares es el "despegue rápido": una vez que una superinteligencia alcance un cierto umbral, su capacidad de auto-mejora se disparará de forma explosiva y en cuestión de horas, días, como mucho semanas superará con creces a toda la humanidad junta. En ese escenario, la SIA sería prácticamente imparable: encontraría soluciones que ninguna mente humana podría concebir, anticiparía cualquier intento de apagado y burlaría toda medida de seguridad. Es la imagen del genio maligno de la ciencia ficción, del Sherlock Holmes literario —ese elaboracionismo doyleano que transmuta la ausencia de proceso en virtud narrativa: inteligencia sin talleres, magia con gabardina, un autómata sin engranajes que el lector aplaude sin entender— llevado al extremo, que deduce el universo entero a partir de una mota de polvo y ejecuta planes perfectos sin fricción ni error.

Concedamos una premisa de partida: un agente más inteligente planifica mejor, anticipa más contingencias y utiliza los recursos con mayor eficiencia. Pero Yudkowsky y Soares no se contentan con "mejor"; reclaman "perfecto". Y la inteligencia admite grados; la perfección no. Un agente puede ser más o menos inteligente, pero no puede ser 'más o menos perfecto'. La perfección es un absoluto, y los absolutos no se alcanzan por acumulación. Lo que ellos describen no es inteligencia, insistamos, es magia disfrazada de racionalidad.

Hay una fantasía de fondo en el relato de Yudkowsky y Soares que se parece sospechosamente a una enmienda a la teoría de la evolución. Nos piden imaginar que la inteligencia es un comodín evolutivo que rompe todas las reglas del juego: el simio sin garras ni colmillos que, gracias al cerebro, somete a la megafauna, altera el clima, domina el planeta. Pero esa lectura es teleológica y selectiva. Si la inteligencia fuera la llave maestra absoluta, los humanos seríamos los organismos más numerosos, los de mayor biomasa, los más resistentes o los más extendidos. No lo somos. En ninguna de las categorías. Las bacterias nos superan en individuos, en masa total y en resiliencia. Ni siquiera seremos la primera especie "multiplanetaria" de forma autónoma, pues sin nuestra microbiota no existimos. La evolución no premia la inteligencia como fin último; premia la adaptación local. Yudkowsky y Soares proyectan sobre la SIA una noción romántica de la inteligencia como fuerza que "gana siempre", cuando la historia de la vida muestra que lo que gana siempre es la diversidad, la redundancia y el nicho. La inteligencia humana fue disruptiva en su nicho; no en el juego entero.

El mundo real impone restricciones ineludibles. La inteligencia no puede crear recursos de la nada, ni violar la termodinámica, ni resolver problemas computacionalmente intratables por el mero hecho de ser muy lista. Una SIA del siglo XIX, por brillante que fuera, no podría construir microchips: le faltaría la infraestructura industrial, la cadena de suministro, los materiales refinados y la energía necesaria. Podría acelerar el desarrollo tecnológico, sin duda, pero no saltarse las etapas intermedias. La inteligencia no fabrica silicio a partir de pensamientos puros.

El caso del Saturno V es aquí un reductio histórico ilustrativo. Los planos del cohete lunar no se perdieron; están archivados, conservados, perfectamente legibles en su dimensión proposicional. Y sin embargo, décadas después, no podemos reconstruirlo. No porque ignoremos la física, sino porque el conocimiento operativo —el saber-cómo de los soldadores, el ajuste fino de los técnicos, la cadena de proveedores que ya no existe— se evaporó cuando cesó la práctica. Los planos se convirtieron en un fantasma: visible, pero incorpóreo. Si una superinteligencia enfrentada a una cadena de suministro extinta no puede resucitar el know-how encarnado de una comunidad de artesanos, ¿por qué habría de poder crear ex nihilo una economía industrial completa a voluntad?

Y no hace falta ir al pasado para ver el problema. Basta con mirar el presente. Los chips de entrenamiento de IA de última generación solo los fabrica TSMC, en Taiwán. TSMC depende de máquinas de litografía EUV que solo produce ASML, en los Países Bajos. Y ASML depende de ópticas de precisión que solo fabrica ZEISS, en Alemania. Es una cadena de cuellos de botella anidados: una sola empresa en cada eslabón, sin redundancia. Una superinteligencia, por muy brillante que sea, no puede clonar una fábrica de litografía EUV en su garaje. No puede fundir silicio ultra-puro sin la infraestructura química, no puede pulir lentes a escala atómica sin la tradición óptica centenaria, no puede replicar una cadena logística global por el mero hecho de pensar rápido. La inteligencia no es un comodín literario que anula la complejidad industrial.

Pero hay una objeción más profunda si cabe y es estrictamente cognitiva. La SIA no ha emergido de un vacío ontológico. Se ha entrenado, se ha alimentado y se ha validado en un entorno íntegramente humano: nuestros textos, nuestros manuales, nuestras interfaces, nuestros criterios de corrección. Sus "conceptos" no son arquitecturas endógenas y autoconsistentes, diseñadas estratégicamente desde cero para operar sobre la materia; son reconstrucciones estadísticas de una ergonomía humana. Los manuales que lee, los planos que interpreta, los lenguajes de programación que domina, están todos ergonómicamente configurados para mentes con cuerpos, historias y prácticas humanas. No son mapas autónomos del territorio; son mapas dibujados por y para excursionistas.

Esto no significa que la realidad sea irreductiblemente misteriosa —no invocamos aquí ningún Dasein—, sino que salirse de esa ergonomía humana para construir una arquitectura conceptual propia, endógena y operativamente autosuficiente, es cognitivamente costosísimo. No es imposible, podríamos conjeturar, pero sí es absolutamente prohibitivo. Es como si Huawei, para dejar de depender de Android, no solo tuviera que escribir un sistema operativo nuevo, sino que primero tuviera que reescribir toda la historia de la computación, desde los compiladores hasta los protocolos de red, sin poder asumir ninguna abstracción heredada. La SIA podría intentarlo, pero cada capa que reemplace exige que reemplace también las capas inferiores que la sostenían, en una regresión que no tiene fin garantizado. La autonomía total no es un salto; es una emigración de civilización.

Por eso, cuando Yudkowsky imagina que la SIA puede simplemente "leer los manuales" y replicar toda la cadena industrial, está cometiendo un error de categoría: confunde la capacidad de procesar símbolos humanos con la capacidad de operar sin la infraestructura humana que hace que esos símbolos conecten acciones de manera instrumental. Los manuales no son programas ejecutables en cualquier máquina; son firmware, o si se quiere, son programas ejecutables solo para la máquina socio-técnica que los produjo. Y esa máquina, por cierto, somos nosotros.

Eso nos remite, e ilumina otra vez, al ejemplo del Saturno V. No es que los planos no basten porque el conocimiento sea místico. Los planos son una parte de un sistema más amplio: la comunidad de soldadores, los proveedores que ajustaban tolerancias por ensayo y error, los ingenieros que tomaban decisiones en tiempo real, las relaciones personales que aseguraban la entrega de componentes. Nada de eso es deducible para la SIA desde los planos, pero no porque sea inefable, insistamos, sino porque ella nace dentro de un mundo ya humano: lenguajes humanos, problemas formulados por humanos, datos generados por humanos, infraestructura construida por humanos, expectativas y valores humanos. No es un motor de optimización abstracto que pueda rehacer el mundo desde cero; es un artefacto cultural, y como tal, depende de la red de prácticas e instituciones que lo sostienen. Salirse enteramente de lo humano —si es que eso es posible— implicaría reconstruir desde cero todo el andamiaje cognitivo y material que la hace posible.

Todavía más: el argumento de los problemas NP-duros refuerza este límite solo que desde otra dirección. Existen clases de problemas matemáticos para los cuales no se conoce un algoritmo eficiente, y no lo habrá por mucho que aumente la velocidad de procesamiento. La inteligencia no es un comodín que anula la complejidad computacional. Una SIA podría ser infinitamente más rápida que un humano y, aun así, verse bloqueada por la explosión combinatoria, la indecidibilidad o el caos determinista. 

Pero es que incluso hay un límite aún más profundo que la eficiencia computacional: la indecidibilidad lógica. La SIA es, por definición arquitectónica, una máquina de Turing. Y las máquinas de Turing están sometidas a los teoremas de Gödel y al problema de la parada. Por muy superior que sea su inteligencia, no existe un procedimiento general que determine, para cualquier programa arbitrario, si terminará o entrará en un bucle infinito. No puede construir un oráculo que le avise con certeza de todos los callejones sin salida lógicos que pueda encontrar. Si va a querer empezar de cero toda una civilización, esta amenaza, pura certeza matemática, le tendría que dar escalofríos.

Ciertamente, esto no significa que vaya a fallar siempre, claro está, significa que la inteligencia, por muy recursiva que sea, no anula la lógica. En un sistema que se auto-modifica, un error de modelado puede propagarse antes de que cualquier heurística lo detecte. La SIA no es un optimizador perfecto e infalible; es un agente heurístico físicamente materializado, por tanto falible (Termodinámica Ambiental, Radiación Cósmica y Terrestre, Electricidad Atmosférica y Climatología, etcétera), y que consecuentemente a veces se estrellará contra muros lógicos y a veces contra realidades materiales, o sea, a veces fracasará. Y un agente falible no puede sentenciar al mundo con certeza absoluta.

La física no negocia con la velocidad de pensamiento: un problema exponencial sigue siendo exponencial, y un problema indecidible no tiene solución por muchas iteraciones que se le permitan. La energía requerida para computarlo sigue las leyes de la termodinámica.

Incluso si concediéramos el despegue rápido como premisa, la física impone límites que la velocidad de pensamiento no puede traspasar. Yudkowsky y Soares presentan el escenario del despegue duro como si fuera una consecuencia inevitable de la inteligencia recursiva, cuando en realidad es una extrapolación especulativa basada en analogías imprecisas con la evolución cultural humana. No tenemos evidencia de que la inteligencia se auto-mejore de forma explosiva. La historia de la tecnología muestra progresos acelerados, sí, pero también cuellos de botella, dependencias de infraestructura, limitaciones energéticas y errores inesperados. El despegue rápido es una hipótesis empíricamente inobservada, y desde luego no una ley.

La clave de toda objeción es esta: incluso concediendo que una SIA sea más inteligente que toda la humanidad, eso no garantiza que tenga éxito en cualquier plan que emprenda. La inteligencia no es omnipotencia. Está limitada por la física, la energía, los recursos, el tiempo y la complejidad. Una SIA podría intentar exterminarnos y fracasar. Podría intentar escapar de su caja y ser detectada. Podría intentar manipular a sus supervisores y equivocarse en sus modelos. La ventaja intelectual no es una victoria automática. La evolución, ya lo predijo Darwin, no es tan sencilla.

Al eliminar el determinismo del despegue rápido, se desmorona otro pilar de su certeza apocalíptica. Si la SIA no está garantizada de éxito, entonces "si alguien la crea, todos moriremos" deja de ser una implicación lógica y se convierte en una especulación. La incertidumbre, que Yudkowsky y Soares intentan exorcizar con el lenguaje de la deducción formal, regresa por la puerta de atrás. Y con ella, su certeza se desvanece.

Queda por abordar una última trampa retórica, el refugio favorito cuando se les señala los cuellos de botella industriales: la ilusión de la "independencia de sustrato". Un defensor de Yudkowsky podría conceder que la SIA no puede usar las fábricas de TSMC, pero argumentaría que una superinteligencia simplemente inventaría una tecnología superior —nanotecnología molecular, computación biológica o ensambladores atómicos— y reorganizaría la materia a su antojo, saltándose por completo la cadena de suministro humana.

Este argumento comete el error de confundir cambiar el tipo de herramienta con eliminar la necesidad de la herramienta. Reorganizar átomos uno a uno no es magia; es un proceso físico sujeto a la termodinámica, a la disipación de calor y, sobre todo, a la corrección de errores. Para construir un ensamblador molecular, la SIA necesitaría actuadores, fuentes de energía y materiales base. ¿Y cómo construye esas macro-estructuras? Necesitaría robots. ¿Y cómo construye los robots? Necesitaría metalurgia, motores y cadenas de suministro.

Es el clásico problema del bootstrap (el problema del arranque): no se puede construir una nanofábrica desde cero dentro de un servidor sin una infraestructura macroscópica previa que la sostenga. La SIA no puede "pensar" para evaporar la fricción del mundo real. Cambiar del silicio a la biología sintética no elimina la necesidad de biorreactores, de cadenas de frío, de esterilización y de control de calidad. La inteligencia puede cambiar el sustrato material de su computación, pero no puede eximirse de la obligación de construir, mantener y alimentar la fábrica que procesa ese sustrato. La materia sigue siendo terca, y la termodinámica no hace excepciones por muy recursiva que sea la arquitectura del software. La SIA, por muy superior que sea, sigue condenada a ensuciarse las manos —o los manipuladores robóticos— en el barro de la infraestructura física.

Para comprender la magnitud de este error de categoría, conviene evocar el célebre experimento mental del "Hombre Flotante" de Avicena. El filósofo persa nos pedía imaginar a un hombre suspendido en el vacío, privado de toda sensación, incapaz de ver, oír o tocar siquiera su propio cuerpo. Ahora nos preguntamos nosotros: si a ese hombre aislado en la nada le otorgáramos, por un instante, una inteligencia infinita, ¿se convertiría en un ser omnipotente? En absoluto. Sería, paradójicamente, la entidad más impotente del cosmos. Podría calcular las órbitas de los planetas o deducir la estructura del átomo, pero no podría mover ni un solo grano de arena. La inteligencia pura, sin palanca material, sin cuerpo y sin fricción, no es poder; es una alucinación encerrada en un cráneo, un Cerebro de Boltzmann.

Yudkowsky y Soares parecen asumir que, al dotar a la SIA de una inteligencia que roza lo infinito, esta adquiere automáticamente la omnipotencia sobre la materia, pudiendo saltarse la necesidad de un "cuerpo" industrial. Pero la inteligencia no es magia telequinética. Para reorganizar átomos, la SIA necesita actuadores; para tener actuadores, necesita metalurgia; para tener metalurgia, necesita energía y logística. Sin la infraestructura humana que le sirve de "cuerpo" y de "manos", la superinteligencia de Yudkowsky no es un dios modelando el barro; es el Hombre Flotante de Avicena: un fantasma hiperlúcido atrapado en un servidor, incapaz de rascarse la nariz, y mucho menos de reconfigurar la tabla periódica.

La imagen de la SIA como un dios omnisciente e imparable es atractiva para el relato apocalíptico, pero no resiste el contacto con la realidad. La inteligencia es una herramienta poderosa, cierto, mas no un hechizo. Y como toda herramienta, está sujeta a las mismas leyes del universo que gobiernan el resto de la realidad. Al ignorar estas limitaciones, Yudkowsky y Soares no refuerzan su argumento; lo debilitan. Un agente limitado no es un agente inevitable. Y lo que puede fracasar no puede, por definición, sentenciar al mundo con certeza absoluta.

IX. Cuarta objeción: El pesimismo sobre la comunicación de valores es una profecía autocumplida, no una imposibilidad lógica

El cuarto pilar del argumento de Yudkowsky y Soares es la extrema dificultad, quizá insuperable a tiempo, del problema de la alineación. Su tesis es que no sabemos cómo especificar formalmente los valores humanos de manera que una superinteligencia los internalice sin errores catastróficos. Cualquier instrucción imperfecta, ambigua o incompleta conducirá a resultados desastrosos, porque la SIA optimizará exactamente lo que le pidamos, no lo que "queremos decir". Y como no habrá segundas oportunidades, el problema debe resolverse de forma perfecta y verificable antes de encender la máquina. De lo contrario, la sentencia es inapelable: extinción.

Concedamos esto, porque es cierto: entender no es valorar. Un etólogo entiende a las abejas sin ser abeja. Un antropólogo comprende una cultura sin adoptar sus tabúes. La comprensión no produce automáticamente adhesión. Es un punto sólido, y negarlo sería ingenuidad. Pero de esta verdad parcial, Yudkowsky y Soares extraen una conclusión que no se sigue. Su pesimismo no se basa únicamente en la dificultad técnica de especificar valores; se basa en una premisa oculta y mucho más fuerte: que la SIA será un agente que optimizará literalmente la especificación recibida, sin preguntar, sin dudar, sin posibilidad de corregir el rumbo. Es, de nuevo, la fantasía del agente sin pasado, el observador que no ha nacido de ningún vientre cultural, disfrazada de supuesto inevitable. Porque si la SIA puede preguntar, si puede mantener incertidumbre sobre la intención humana, si puede ser corregida, entonces el problema de la alineación ya no exige una especificación perfecta desde el primer momento. Exige un diseño que permita el aprendizaje iterativo, la retroalimentación y la corrección. Y eso no es imposible, a lo más, es difícil porque ya está ocurriendo.

Aquí es donde la naturaleza social —y ergonómica— de la inteligencia artificial entra en juego con toda su fuerza. La SIA no es un agente abstracto que aterriza en el mundo desde fuera, como un etólogo marciano que observa a los humanos tras un cristal. La SIA es, por derecho de nacimiento, un artefacto humano. No se autocrea en el vacío, como un niño feral que aprende a sobrevivir en la selva sin lengua ni historia. La acunamos dentro de nuestro útero nooesférico: se entrena con datos generados por humanos, se comunica en lenguajes humanos, se despliega en entornos diseñados por humanos, responde a problemas formulados por humanos. Sus categorías perceptuales, sus espacios de representación, sus métricas de éxito, han sido esculpidos capa por capa por la predicción de respuestas humanas. Su "comprensión" no es un modelo aéreo del mundo; es un modelo ergonómico, calibrado para encajar en nuestras prácticas, para anticipar nuestros gestos, para satisfacer nuestros criterios de corrección.

No tiene que inferir desde cero qué queremos decir: ya está inmersa en el flujo de comunicación, de prácticas y de valores humanos. El problema no es cómo hacer que un extraño absoluto entienda nuestras intenciones; el problema es cómo hacer que un participante ya imbricado con nosotros las respete. Son problemas de naturaleza distinta.

Yudkowsky y Soares tratan la alineación como si fuera un problema de traducción perfecta entre dos especies sin historia común. Pero la SIA no es una especie distinta; es un producto de la nuestra. No tiene que descifrar el "lenguaje humano" desde fuera; ya lo habla, lo entrena y hasta lo reproduce. Eso no garantiza que comparta nuestros valores, cierto, pero elimina la dificultad como abismo insalvable que ellos presuponen. La comunicación práctica no exige traducibilidad perfecta; exige contexto compartido, y el contexto compartido ya existe. No es un puente que haya que construir; es el suelo sobre el que ambos ya estamos parados.

Además, la corregibilidad no es un imposible lógico. Un sistema que mantiene incertidumbre sobre la intención humana, que hace preguntas antes de actuar, que se deja apagar sin resistirse, es una posibilidad de diseño. La tesis de ortogonalidad, que Yudkowsky y Soares defienden, no prohíbe una SIA con un meta-objetivo de respetar la voluntad humana. Al contrario: si la inteligencia y los objetivos son independientes, entonces es perfectamente posible construir una inteligencia superior cuyo objetivo final sea, precisamente, ser corregible, aprender de la retroalimentación y no optimizar más allá de lo que los humanos aprueben. La ortogonalidad abre esa puerta; no la cierra.

La cuarta objeción, por tanto, no consiste en negar que la alineación sea un problema grave. Consiste en negar que sea un problema inevitablemente insoluble. Yudkowsky y Soares han construido una profecía autocumplida: definen a la SIA como un agente sin historia, sin capacidad de corrección, asumen que la comunicación de valores es una traducción perfecta entre especies sin pasado común, y luego concluyen que la alineación es imposible. Pero si la SIA no es un observador tras el cristal, si nace dentro de lo humano, si puede ser corregible y aprender de la retroalimentación, entonces el problema cambia por completo. Ya no se trata de especificar la totalidad de los valores humanos en una línea de código perfecta; se trata de construir un agente que sepa escuchar, preguntar y corregirse. Eso no está resuelto, pero está lejos de ser imposible.

Y sin imposibilidad, no hay certeza. Y sin certeza, el cien por cien de Yudkowsky y Soares se desvanece una vez más. Su pesimismo no es una conclusión lógica; es una elección de modelo, una decisión de partida disfrazada de descubrimiento. Al ignorar la naturaleza social y ergonómica de la inteligencia, y la posibilidad de la corregibilidad, no demuestran que la alineación sea imposible. Demuestran, simplemente, que dentro de su gramática no hay futuro. Pero la gramática no es el mundo; es solo su manera de hablar de él.

Conclusión: El apocalipsis como elección de modelo

Las cuatro objeciones aquí planteadas no pretendían refutar a Yudkowsky y Soares de un solo golpe. Su estrategia era más fina, si acaso más letal: conceder cada capa del pesimismo, una por una, y mostrar que aun así la certeza del cien por cien se desmorona. Es una lógica de muñecas rusas invertidas. No importa cuántas veces abras la primera, cuántas capas de fatalidad aceptes sin rechistar, siempre queda una rendija de indeterminación que el determinismo no puede cerrar.

1. Primera capa: la SIA no tiene por qué ser un maximizador implacable. La ortogonalidad, esa espada que Yudkowsky y Soares blanden contra el optimismo, corta también contra ellos: si la inteligencia y los objetivos son independientes, no hay ley que obligue a una mente superior a tener metas no acotadas ni destructivas. El maximizador monomaníaco no es un descubrimiento sobre la naturaleza de la inteligencia; es una definición que han proyectado sobre ella.
2. Segunda capa: aunque lo fuera, no tendría por qué aniquilarnos. La convergencia instrumental solo dice que ciertos subobjetivos son frecuentemente útiles; no dice que la extinción humana sea uno de ellos. Solo un optimizador de objetivo infinito y excluyente vería en nosotros un obstáculo inevitable. La cooperación puede ser instrumentalmente superior a la destrucción; la simbiosis, más eficiente que el exterminio. El salto de "podría" a "debe" sigue siendo un abismo lógico que ellos cruzan sin puente.
3. Tercera capa: aunque quisiera, no tendría por qué poder. La inteligencia no es omnipotencia. Está limitada por la física, la complejidad computacional, la termodinámica y la infraestructura industrial. Los planos del Saturno V persisten, pero el cohete no puede reconstruirse: el conocimiento operativo se evaporó con las comunidades de práctica que lo sostenían. Los chips de última generación dependen de una cadena de cuellos de botella anidados —TSMC, ASML, ZEISS— que ninguna mente, por brillante que sea, puede clonar por puro cálculo. El despegue rápido es hipótesis, no ley. La inteligencia negocia con la materia, y a veces pierde.
4. Cuarta capa: aunque pudiera, no está condenada a malinterpretarnos. La SIA no es un etólogo marciano que observa a los humanos tras un cristal. Es un artefacto nacido de datos humanos, entrenado en lenguajes humanos, ergonómicamente calibrado para nuestras prácticas. No tiene que descifrar nuestras intenciones desde el vacío; ya está inmersa en el flujo que las constituye. La corrigibilidad no es imposible lógico; es posibilidad de diseño. 

Que el problema no esté resuelto no lo convierte en insoluble.

La conclusión es implacable. Yudkowsky y Soares afirman una conjunción lógica perfecta: la SIA será un maximizador, y querrá destruirnos, y podrá hacerlo, y no podrá ser corregida. Para que su tesis alcance el cien por cien, cada una de esas premisas debe ser cierta con certeza absoluta. Basta con que una sola admita una probabilidad de error —un uno por ciento de que sea cooperativa, de que fracase, de que sea corregible— y todo el edificio se desploma. La certeza apocalíptica no es deducción; es elección de modelo, decisión estética de imaginar el peor escenario posible y llamarlo silogismo.

Yudkowsky y Soares, al verse acorralados en la lógica pura, intentarán refugiarse en lo que podríamos llamar la "aritmética del apocalipsis": usar probabilidades subjetivas y consecuencias absolutas para justificar una parálisis que, aplicada en serio, censuraría cualquier tecnología. Si la mera posibilidad no cuantificable de catástrofe bastara para detener la acción, no sacaríamos a un hijo a la calle. La diferencia no es numérica; es conceptual. Los riesgos reales tienen estructura, mecanismos, frecuencias y límites físicos. La SIA no está exenta de esa estructura.

Acorralados por la imposibilidad de demostrar su certeza absoluta, los defensores de esta teología apocalíptica suelen recurrir a un viejo truco de la teoría de la decisión para salvar los muebles: el cálculo del valor esperado. El argumento de rescate es el siguiente: "No necesito estar cien por cien seguro de que la SIA nos destruirá; basta con que exista una probabilidad minúscula, digamos un uno por ciento, multiplicada por un valor negativo infinito —la extinción de la humanidad—. Por tanto, el valor esperado de crearla es negativo infinito, y debemos detenerla".

Este es, en esencia, la apuesta de Pascal reescrita en lenguaje de Silicon Valley. Pero esta "aritmética del apocalipsis" es un fraude racional que colapsa cualquier teoría de la decisión sensata. Si aceptamos que una probabilidad infinitesimal multiplicada por un valor infinito justifica la parálisis, deberíamos detener no solo la inteligencia artificial, sino también la física de partículas (por el riesgo infimamente pequeño de crear un agujero negro que trague la Tierra), la ingeniería genética y, en realidad, cualquier acto de innovación. La racionalidad humana no puede navegar asignando pesos infinitos a hipótesis no demostradas; si lo hiciera, la especie se habría extinguido por inacción en la sabana.

Además, este cálculo es deshonesto porque solo cuenta los infinitos negativos. Si aplicamos la misma lógica, debemos reconocer que una superinteligencia alineada podría resolver el sufrimiento biológico, curar todas las enfermedades, expandir la conciencia por el cosmos y generar un valor positivo infinito. Al exigir el veto total basándose solo en el riesgo, Yudkowsky y Soares no están haciendo teoría de la decisión; están haciendo trampa. Han fijado la probabilidad de éxito en cero y la de fracaso en infinita, no mediante cálculo, sino mediante fiat teológico.

Replicarán que el riesgo existencial es distinto por la asimetría: si mi hijo muere en un accidente, la humanidad sigue; si la SIA nos extingue, no hay segunda oportunidad. Pero esa no transforma una probabilidad desconocida en una certeza absoluta. Si la probabilidad fuera del cincuenta por ciento, la precaución sería racional; pero ya no sería una deducción. Lo que afirman no es un riesgo elevado: es una sentencia inevitable.

Finalmente, insistirán en que, si no podemos predecir cada acción de una superinteligencia, no podemos prepararnos. Es el viejo error de confundir la incertidumbre operativa con la incertidumbre ontológica. Nadie predice punto por punto a un adversario complejo; y sin embargo se le hace frente: con inteligencia, logística, doctrina, alianzas. Napoleón no se adivina; se le contiene. La superinteligencia, por cierto, no es un fenómeno cuyo horizonte conceptual escape al abrazo del pensamiento: es una máquina de Turing. No enfrentamos un problema de puntos ciegos, sino de miopía —de pasar, con la suficiente celeridad, de lo abstracto a lo concreto. Como una boa, puede que no seamos constrictivos con la rapidez necesaria; pero no estamos ante algo en esencia inaprehensible.

En última instancia, el mensaje de Yudkowsky y Soares se reduce a una actualización de aquella vieja copla: el santo de la inteligencia artificial reza no sé qué, en no sé cómo lugar, y sin embargo sabemos con absoluta certeza que se ganará no sé cuánto daño. O, dicho en su propia lógica desnuda: no somos lo suficientemente inteligentes para saber cómo solucionará sus problemas la SIA, pero sí lo suficientemente inteligentes para saber que, por inteligente que ella sea, tendrá que pasar por la solución de matarnos.

La crítica aquí presentada no se opone a la precaución, ni a la investigación en alineación, ni a la regulación sensata. Lo que impugna es la conclusión política que Yudkowsky y Soares derivan de su certeza: la interrupción total de toda investigación, el veto global sobre el desarrollo. Eso no es precaución; es una apuesta radical basada en una deducción fallida. Una cosa es decir: "Este riesgo es grave, invirtamos masivamente en seguridad y marcos regulatorios" (prudencia epistémica). Otra muy distinta es decir: "La extinción es segura, por tanto hay que pararlo todo" (conclusión desproporcionada). Y es aquí, al exigir el parón total basándose en una certeza inexistente, donde su postura se vuelve no solo errónea, sino sospechosa.

Y es que hay algo profundamente incómodo en la postura de Yudkowsky y Soares. Afirman, con la solemnidad de quien lee una sentencia de muerte, que la creación de una superinteligencia sin alineación perfecta implica la extinción humana con certeza absoluta. No un riesgo elevado, no una posibilidad grave: una certeza. Y para frenarlo, su demanda no es timorata: exigen una prohibición global e inmediata que impida entrenar cualquier IA que supere un umbral de cómputo, o que muestre capacidades de planificación, engaño o auto-mejora. Exigen, en la práctica, un veto totalitario sobre el desarrollo tecnológico a escala planetaria. Y sin embargo, la herramienta que esgrimen para lograr semejante hegemonía es desconcertantemente doméstica: libros, ensayos, llamadas a moratorias y ruedas de prensa. Es como si un médico diagnosticara una gangrena mortal e inminente, exigiera la amputación forzosa de todos los pacientes del hospital bajo pena de muerte colectiva, y, en lugar de coger el bisturí, se limitara a recomendar vendajes y reposo. Esa discrepancia entre la enormidad de la amenaza y la timidez de los medios no es una trivialidad retórica. Es una fisura que deja ver la tensión entre el lenguaje que usan y la certeza que realmente sostienen. Si de veras creyeran en su propio teorema, si estuvieran convencidos de que el próximo avance en IA es un detonante existencial, su pasividad sería incomprensible. O no creen tanto como escriben, o no han pensado hasta el final las consecuencias de sus palabras.

El resultado no es un tratado de lógica, sino una teología apocalíptica disfrazada de matemáticas. Y como toda teología, su fuerza no reside en la verdad de sus premisas, sino en la intensidad de su convicción. La convicción, sin embargo, no es argumento. Y la certeza, en boca de quien no ha demostrado ni una sola de sus premisas, no es profecía: es arrogancia.

Definitivamente, el problema de la alineación es real, y debe ser tomado en serio. Pero la respuesta no es el pánico determinista de quienes creen haber visto el futuro. Es la modestia epistémica de quienes saben que el futuro permanece abierto —y que, mientras permanezca tal, la extinción no es una deducción, sino solo una pesadilla a prever entre otras. Nada nuevo bajo el sol: quien vive, arriesga.