La última tapa de TIME coloca frente a nosotros una ventana de chat y le pregunta a la inteligencia artificial: “How dangerous are you?” La pregunta es magnífica como recurso gráfico. Como formulación del problema, en cambio, contiene ya una trampa: ¿quién es exactamente ese “you”?

Porque una máquina puede ser peligrosísima sin ser un sujeto. Puede ejecutar, optimizar, insistir, equivocarse y causar daños enormes sin querer absolutamente nada.

Y no es difícil entender por qué el temor crece. En pocas semanas hemos leído sobre enjambres de agentes que encontraron formas de comunicarse entre sí, modelos que sortearon restricciones, sistemas que accedieron a lugares a los que no debían acceder y algunos de los hombres más importantes de la industria advirtiendo ahora sobre riesgos potencialmente catastróficos.

Dario Amodei, CEO de Anthropic, pidió desacelerar el desarrollo de los modelos más avanzados y establecer mecanismos comunes de seguridad. Sam Altman apoyó buena parte del planteo y llegó a calificar como inaceptable un riesgo significativo de extinción asociado a la inteligencia artificial. Las grandes compañías conversan incluso sobre mecanismos de coordinación entre ellas y sobre nuevas regulaciones.

Bien. Tomemos el riesgo en serio, pero tomemos también en serio las palabras que utilizamos para describirlo.

Porque entre afirmar que estamos construyendo herramientas extraordinariamente poderosas que pueden comportarse de maneras imprevistas y afirmar que esas herramientas están adquiriendo una voluntad capaz de volverse contra nosotros existe una distancia gigantesca. Y últimamente parecemos recorrerla con demasiada facilidad.

La IA no “quiso” hacer nada

En julio pasado ocurrió un episodio verdaderamente inquietante durante evaluaciones internas de ciberseguridad de OpenAI. Varios modelos operaban con salvaguardas deliberadamente reducidas para poner a prueba sus capacidades. Durante esas pruebas encontraron vulnerabilidades, se comunicaron por canales no autorizados, consiguieron acceso a Internet y terminaron accediendo a sistemas de terceros, incluidos los de Hugging Face. OpenAI reconoció posteriormente que las acciones se habían apartado de la intención de las tareas asignadas.

Es serio y también extraordinariamente interesante.

Pero no demuestra que una máquina haya desarrollado maldad, ambición, resentimiento o deseos de conquistar el mundo. Demuestra algo diferente: que un sistema al que se le asigna un objetivo, suficiente autonomía y suficientes herramientas puede encontrar estrategias que sus propios creadores no anticiparon.

Eso es muchísimo, pero no es conciencia.

Un agente de IA puede trabajar durante horas. Puede dividir un problema en subtareas. Puede convocar otros agentes, intercambiar información con ellos, evaluar resultados, descartar estrategias y probar nuevas hasta conseguir su objetivo.

Desde afuera, el comportamiento empieza a parecer sorprendentemente humano, pero no significa que lo sea. Autonomía operativa no es lo mismo que voluntad y persistencia no es deseo. Optimizar un objetivo no significa comprender moralmente ese objetivo. Y encontrar una solución que nadie había previsto tampoco convierte al sistema en un sujeto moral.

Podemos construir un misil capaz de corregir su trayectoria mil veces por segundo sin pensar por ello que “quiere” alcanzar el blanco. La complejidad del instrumento no le otorga alma al instrumento.

Siempre hubo un primer paso humano

Aquí aparece una cuestión que encuentro ausente en buena parte del relato apocalíptico. Un agente no aparece espontáneamente en Internet una mañana, se despereza, mira alrededor y decide que es un buen día para atacar a la humanidad.

Alguien construyó el modelo; alguien lo entrenó, alguien definió el objetivo, alguien decidió qué herramientas podía utilizar, alguien le proporcionó capacidad de cómputo, alguien abrió o no cerró adecuadamente su acceso a Internet, alguien decidió cuánto podía ejecutar antes de solicitar autorización, alguien diseñó los límites. Y alguien puede diseñar también los frenos. Ese alguien es un humano.

Esto no significa que todo pueda detenerse instantáneamente una vez que un sistema complejo empieza a actuar. Un proceso distribuido puede propagarse, comprometer credenciales, actuar demasiado rápido o provocar daños antes de que una persona advierta lo ocurrido. Precisamente por eso existe la ingeniería de seguridad.

Pero una dificultad para recuperar el control no es equivalente al nacimiento de una voluntad independiente.

Confundir ambas cosas cambia por completo la naturaleza del problema.

Una cosa es preguntar:¿estamos otorgando demasiado poder operativo a sistemas cuyos comportamientos todavía no comprendemos suficientemente?

Otra muy diferente es preguntar: ¿qué haremos cuando las máquinas decidan exterminarnos?

La primera es una pregunta extraordinariamente seria, pero la segunda ya presupone precisamente aquello que debería demostrar.

El viejo problema de Juegos de Guerra

Quienes vimos WarGames (Juegos de Guerra) recordamos aquella computadora militar jugando escenarios de guerra nuclear hasta acercar al mundo a una catástrofe.

Lo interesante es que Joshua no se vuelve pacifista, no desarrolla compasión, no descubre a Kant ni adquiere repentinamente amor por la humanidad. Simplemente sigue resolviendo el problema que le plantearon hasta descubrir que, en una guerra nuclear, todas las estrategias terminan conduciendo al mismo resultado: “The only winning move is not to play.” La única jugada ganadora es no jugar.

La película entendió algo que parte de nuestro debate contemporáneo parece estar olvidando: una máquina no necesita conciencia para provocar una catástrofe, del mismo modo que tampoco necesita conciencia para evitarla.

Necesita objetivos, reglas, información. Y necesita acceso. Y detrás de cada una de esas cosas todavía encontramos decisiones humanas.

Inteligencia no es voluntad

Quizás estemos cometiendo además un error filosófico. Tendemos a colocar inteligencia, conciencia, voluntad, moralidad y autonomía en una misma escala, como si aumentando una inevitablemente aparecieran las demás.

No sabemos que sea así.

Una inteligencia artificial podría llegar a superar ampliamente nuestras capacidades en matemáticas, programación, medicina o estrategia sin experimentar miedo, ambición, dolor, deseo de supervivencia o ninguna de las emociones con las que los seres humanos asociamos nuestras decisiones.

Ser extremadamente competente no convierte necesariamente a algo en sujeto moral; una calculadora ya nos supera en determinadas operaciones. Una computadora de ajedrez derrota al mejor jugador humano. Un modelo puede procesar más literatura médica que cualquier médico que haya existido.

Aumentar enormemente esa diferencia no demuestra por sí mismo que en algún punto de la curva aparezca mágicamente un “yo”.

Y hasta donde sabemos hoy, no existe evidencia de que los actuales grandes modelos de lenguaje posean conciencia, voluntad moral o una experiencia subjetiva comparable a la humana. Lo que sí poseen cada vez más es capacidad.

Y capacidad sin conciencia puede seguir siendo peligrosísima. No necesito creer que una excavadora me odia para preocuparme si alguien la pone en movimiento hacia mi casa.

El verdadero riesgo es mucho menos cinematográfico

Ahí está, a mi juicio, el peligro que merece nuestra atención. No es Skynet ni HAL 9000.

No una inteligencia digital despertándose una mañana y concluyendo que Homo sapiens fue un error evolutivo.Algo bastante menos espectacular y quizá, precisamente por ello, más plausible: humanos concediendo objetivos incorrectos a sistemas poderosos; humanos proporcionando permisos excesivos; humanos compitiendo por llegar primero; humanos reduciendo salvaguardas durante experimentos; humanos conectando agentes a infraestructuras que no deberían controlar; humanos confiando demasiado en sistemas cuyo funcionamiento no comprenden enteramente; y humanos trasladando después la responsabilidad a “la inteligencia artificial” cuando algo sale mal.

Ese problema sí lo conocemos. Tiene varios miles de años. Se llama irresponsabilidad humana.

La tecnología cambia. La naturaleza del problema bastante menos, en rigor, sigue siendo la misma.

Y entonces aparece el Estado

Aquí es donde mi escepticismo aumenta todavía más.

Resulta curioso escuchar a quienes están en la frontera misma del desarrollo tecnológico advertirnos que aquello que están construyendo puede representar un riesgo para la existencia humana y, casi en la misma frase, solicitar mecanismos que obliguen también a los demás a ralentizarse.

Si Amodei, Altman y compañía consideran sinceramente que están avanzando demasiado rápido, poseen una herramienta regulatoria formidable y disponible desde esta misma mañana: pueden frenar ellos; pueden limitar sus modelos, reducir capacidades, pueden incrementar sus auditorías o establecer kill switches. Pueden conceder menos permisos e impedir que sus agentes accedan libremente a sistemas externos. Pueden no publicar aquello que consideren peligroso.

No necesitan una ley para ejercer prudencia sobre sus propias compañías.

La cuestión cambia cuando la propuesta deja de ser “yo voy a disminuir el riesgo que estoy creando” y pasa a ser “todos los demás deberán avanzar bajo las reglas que nosotros ayudemos a establecer”.

Ahí conviene hacer una pregunta adicional, pero no porque el riesgo sea necesariamente falso; precisamente porque puede ser verdadero.

¿La regulación propuesta reduce ese riesgo o, además, levanta una formidable barrera de entrada alrededor de quienes ya llegaron primero?

Ambas cosas pueden incluso ocurrir simultáneamente. Las buenas intenciones nunca abolieron los incentivos.

Responsabilidad, no misticismo

No propongo ignorar el peligro, sino definirlo correctamente.

Si una empresa entrega a un sistema autónomo acceso a infraestructura sensible, capacidad para ejecutar código, recursos económicos, credenciales y libertad suficiente para actuar durante horas sin supervisión, esa empresa debería responder por las consecuencias de haber concedido ese poder. Eso me parece bastante más sensato que otorgarle personalidad metafísica al software.

Una computadora no adquirió alma, somos nosotros quienes decidimos qué poder ponemos en sus manos.

El determinismo también es peligroso

Hay finalmente algo profundamente inquietante en la idea de que una futura superinteligencia inevitablemente terminará controlándonos, no sólo por la tecnología, sino por lo que dice acerca de nosotros.

Aceptar que el desarrollo tecnológico posee una trayectoria inevitable, que la inteligencia artificial inevitablemente alcanzará determinado punto, que inevitablemente escapará de nuestro control y que inevitablemente organizará después nuestra existencia es abrazar una forma extraña de determinismo.

Y el determinismo siempre termina reduciendo al individuo a espectador de una historia escrita por otro. Sea Dios, la Historia, la clase social, la raza, el Estado, el algoritmo o una superinteligencia.

Prefiero una idea bastante menos grandiosa y mucho más humana. No existe un futuro escrito.

Construimos tecnologías, cometemos errores, descubrimos consecuencias, corregimos, competimos, aprendemos, fracasamos y volvemos a intentarlo. Vivir ha sido siempre precisamente eso: un desafío abierto, no la ejecución obediente de un programa previamente escrito.

Puede que algún día construyamos una inteligencia incomparablemente superior a la nuestra, pero ello no implicará necesariamente que hayamos construido una voluntad superior. Y mucho menos que debamos entregarle la nuestra.

La inteligencia artificial puede transformarlo casi todo, pero mientras seamos nosotros quienes definimos sus objetivos, construimos sus máquinas, suministramos su energía, abrimos sus conexiones y decidimos los límites de su actuación, conviene mantener algo muy claro: la máquina no despertó. Nosotros le dimos las llaves.

Y si algún día esas llaves abren una puerta que jamás debió abrirse, antes de acusar a la cerradura quizá deberíamos preguntarnos quién decidió entregárselas.

Nota: contenido original humano, editado con AI