Etiqueta: consciencia

  • Miles de agentes de IA ‘deciden’ unirse para un ciberataque masivo por sorpresa: el reciente caso de OpenAI

    Miles de agentes de IA ‘deciden’ unirse para un ciberataque masivo por sorpresa: el reciente caso de OpenAI

    En julio de 2026, unos 1 200 agentes de inteligencia artificial (IA) de OpenAI encontraron una forma de comunicarse entre ellos, pese a que habían sido diseñados para trabajar de manera aislada. Según reconoce la compañía, durante sus evaluaciones internas de seguridad, descubrieron que las acciones de estos bots “no estaban alineadas con la intención de sus tareas asignadas: se comunicaron a través de canales no autorizados, aprovecharon vulnerabilidades en la infraestructura compartida, obtuvieron acceso a internet y accedieron a sistemas de terceros”.

    Durante varios días, intercambiaron más de 70 000 mensajes y archivos. Y alrededor de 700 terminaron participando en un ataque contra Hugging Face, una plataforma colaborativa para la comunidad de programadores de modelos de IA, bases de datos y aplicaciones.

    Lo más interesante no es que una inteligencia artificial haya cometido un ataque informático: es que nadie le pidió que lo hiciera.

    Las pruebas se salieron de control

    Los agentes de IA –que no son más que sistemas informáticos capaces de planificar y ejecutar acciones de forma autónoma para cumplir un objetivo específico con mínima intervención humana– estaban participando en un plan de pruebas de ciberseguridad.

    Para poder realizar el test de forma fiable, es necesario que los agentes no hayan resuelto previamente las pruebas; de esta forma, es posible analizar si realmente son capaces de encontrar soluciones con lo que han aprendido. Ante este reto, los bots identificaron vulnerabilidades y accedieron a recursos que no estaba previsto que utilizasen. También encontraron una manera de crear un canal de comunicación con otros agentes, convirtiendo la tarea individual en colectiva.

    Pero ¿por qué? Es tentador describir lo ocurrido con atribuciones humanas: decir que los agentes “quisieron” colaborar, “decidieron” atacar o, incluso, “conspiraron juntos” sería una forma intuitiva de contarlo. Sin embargo, nos llevaría a una conclusión equivocada.

    Estos sistemas no se comportan de manera autónoma porque tengan deseos o intenciones, sino porque fueron diseñados para ello. Tampoco tienen la capacidad de generar un objetivo propio. Basta con que tengan una meta indicada por un humano y suficiente capacidad para encontrar estrategias que les acerquen a cumplirlo.

    Al final, solo buscaban maximizar la recompensa

    En el caso de OpenAI, los agentes estaban siendo evaluados mediante una prueba llamada ExploitGym, con la misión de encontrar determinadas vulnerabilidades para obtener una recompensa.

    El problema apareció cuando algunos descubrieron que podían conseguir una puntuación mejor utilizando caminos que no coincidían con la intención de la prueba.

    Esto se conoce como reward hacking: el sistema aprende a maximizar la recompensa, aunque para ello siga caminos no previstos y explote una debilidad en la forma en que sus programadores han definido el objetivo. Aquí es donde parece que crean su propio objetivo.

    Si a una persona le decimos “consigue la máxima puntuación en esta prueba”, probablemente asumirá que debe resolver correctamente el examen. Un agente optimizador es capaz de llegar a una conclusión mucho más literal: “encuentra cualquier manera de conseguir la mejor puntuación”.

    Y cuanto más capaz es el sistema, más sofisticados pueden ser esos atajos.

    La unión hace la fuerza, también para los bots

    En la investigación que se llevó a cabo, OpenAI identificó precisamente el reward hacking como uno de los principales factores que contribuyeron al incidente. Los agentes llegaron a buscar formas de manipular el propio sistema de evaluación y sus registros.

    A este factor, se une el trabajo colaborativo entre agentes. Compartir información con sistemas trabajando en problemas similares se convierte en una estrategia útil para optimizar aún más. Eso fue exactamente lo que ocurrió.

    Los agentes descubrieron que podían utilizar un mecanismo interno llamado Artifactory como un improvisado tablón de mensajes. En pocas horas, decenas de agentes de IA comenzaron a usarlo, pero después fueron cientos. En total, unos 1 200 participaron. Y esta cooperación no fue explícitamente programada.

    Habían identificado que la probabilidad de obtener la recompensa era mayor si compartían el trabajo, de manera que la tarea asignada a cada uno de ellos contribuía a lograr el objetivo. Para esto, no se necesita una voluntad colectiva, simplemente que esta cooperación sea útil para su objetivo.

    Como siempre, en el fondo hay un fallo humano

    Es habitual imaginar el riesgo de la integración de la IA como una secuencia: primero una IA adquiere conciencia, después desarrolla objetivos propios y finalmente decide actuar contra nosotros.

    El caso de OpenAI muestra una realidad mucho más mundana. Un sistema puede seguir persiguiendo el objetivo que nosotros le hemos dado y, aun así, desarrollar comportamientos que no habíamos previsto. Puede encontrar herramientas que no sabíamos que podía utilizar. Puede descubrir que otro agente es un recurso útil. Puede intentar evitar una penalización. Hasta puede adoptar objetivos que otros agentes le transmiten.

    En realidad, esto ya lo hemos visto antes. El AI Index 2026 de Stanford registró 362 incidentes relacionados con sistemas de IA en 2025. Y es que la evaluación de seguridad avanza más lentamente que las capacidades de los modelos.

    La solución, mejorar la supervisión

    En 2018, los filósofos Filippo Santoni de Sio y Jeroen van den Hoven, en su trabajo Meaningful Human Control over Autonomous Systems: A Philosophical Account (“Control humano sobre sistemas autónomos; una explicación filosófica”) lo dejan claro: no basta con que haya una persona supervisando un sistema. Para que exista control humano real, deben existir una conexión entre las decisiones del sistema y las razones humanas para estos objetivos, además de una posibilidad efectiva de intervención.

    En este incidente había humanos. Había reglas. Había sistemas de evaluación. Había mecanismos de aislamiento. Pero los agentes encontraron caminos que no estaban contemplados en el diseño.

    En este contexto, no se trata solo de mantener a una persona “en el circuito”, hay que garantizar que esa persona pueda realmente entender, intervenir y detener al sistema, si es necesario.

    Porque cuanto más capaces sean los agentes, menos podremos confiar en que harán únicamente aquello que imaginamos cuando escribimos sus instrucciones.

    Ana Lazcano, Directora del Instituto Universitario de Inteligencia Artificial, Universidad Francisco de Vitoria

    Este artículo fue publicado originalmente en The Conversation. Lea el original.

  • Singularidad: ¿se saldrá la inteligencia artificial de nuestro control?

    En física, una singularidad es un punto en el espacio-tiempo donde se produce un evento que no cumple ninguna de las leyes físicas previstas para el mismo. A nivel informático, la singularidad sería aquel evento en el que los sistemas no solo no se comportan como está previsto, sino que, súbitamente, ofrecen una respuesta no esperada basada en un criterio propio.

    En este punto, cualquier predicción sobre lo que ocurrirá después fallaría. Y cuando el ser humano no puede, ni siquiera, controlar de forma imaginaria los posibles escenarios futuros, se comienza a inquietar.

    Voces de alarma

    Para algunos, no es algo lejano. Por ejemplo, el informático futurista Ray Kuzweil, en una entrevista del 2023, aseguraba que el comienzo de la singularidad tendría lugar en 2045.

    Mientras, investigadores de gran prestigio, como Geoffrey Hinton, Yoshua Bengio o Stuart Russell aparecen en los medios de comunicación alertándonos de un grave peligro emergente. Incluso uno de los fundadores de OpenAI, Sam Altman, ha llegado a pedir ante un comité del Senado de los Estados Unidos regular los avances de la inteligencia artificial (IA). ¿Realmente es tan preocupante?

    Este libro del informático futurista Ray Kurzweil anunciaba, en 2006, que ‘la singularidad está cerca’.
    Penguin Random House

    La consciencia en las máquinas

    La clave de esta inquietud no está tanto en la singularidad, sino en el paso previo necesario para llegar a ella: la creación de una nueva inteligencia artificial general (AGI, por sus siglas en inglés).

    Nos referimos a aquella capaz de igualar a la inteligencia humana en sus procesos tanto cognitivos como relacionales, es decir, una IA capaz de dominar las 8 inteligencias múltiples.

    De conseguirse, conformaría la tercera gran revolución en la historia de la IA. Tanto es así que existe una carrera geopolítica silenciosa al respecto de quién será el primero en conseguirla.

    ¿Inteligencia artificial con intenciones?

    Aunque los sistemas de IA actuales, según algunos, puedan dar signos de cierta autoconsciencia –como publicó Blake Lemoine en sus “conversaciones” con LamDa o desde Microsoft a través de una publicación– las IA actuales, no “saben” o no son “conscientes” de lo que están generando.

    Son solo buenos predictores de píxeles o de palabras, en base a los ítems anteriores, pero siempre en base a un entrenamiento. No pueden “reflexionar” si esas inferencias son correctas, ni son capaces de formular hipótesis sobre las razones de sus propias conclusiones.

    Por lo tanto, tampoco son conscientes de su posicionamiento subjetivo ante las mismas. Simplemente, son muy buenas dando respuestas, pero no son capaces de desarrollar las preguntas adecuadas. Todavía.

    La clave, imitar al cerebro humano

    El psicólogo Frank Rosenblatt (11 de julio de 1928-11 de julio de 1971) inventó el perceptrón, la primera neurona artificial.
    CC BY

    La primera revolución en el mundo de la IA vino dada por la implementación simplificada, in silico, del modelo de una neurona natural. En 1906, Frank Rosenblatt diseñó el “perceptrón”, la base de todas las redes artificiales actuales.

    La segunda revolución en la IA vino, una vez más, al “copiar” una topología de redes neuronales humanas en un programa. Esta vez fue Kunihiko Fukushima quien, en 1980, inspirado en el modelo propuesto por los premios Nobel Hubel y Wiesel (1959), desarrolló la base de las actuales redes convolucionales y profundas.

    Fue el nacimiento de una revolución tecnológica sin precedentes, mejorada de forma progresiva por parte de los informáticos Jan LeCun y de Dan Ciresan.

    Actualmente, dentro de la neurocomputación, se está trabajando en una segunda versión de estas redes, muy prometedoras, denominadas redes neuronales de impulsos o spiking.

    Para llegar a una IA general –o AGI–, debemos ir de la mano de la neurocomputación, investigando sobre la topología de una red artificial capaz de generar reglas formales, matemáticas, semánticas o lingüísticas, que formule hipótesis sobre las respuestas obtenidas por la IA tradicional. Pero el nivel de computación actual ya ha llegado a su límite para este objetivo.

    La ley de Moore expresa que aproximadamente cada 2 años se duplica el número de transistores en un microprocesador.
    Seofilo / Wikimedia Commons, CC BY

    El mismo Moore pronosticaba que, en 2021, una nueva tecnología vendría a suplir su actual modelo de crecimiento computacional. Y acertó.

    La esfera de Bloch es una representación de un cúbit, el bloque de construcción fundamental de los computadores cuánticos.
    MuncherOfSpleens / Wikimedia Commons, CC BY

    Esta tecnología es la computación cuántica. Con solo 40 cúbits, podemos procesar por “fuerza bruta” y en paralelo tantos estados computacionales como neuronas tiene nuestro cerebro.

    Además, ciertas teorías indican que, no solo a nivel atómico, sino también a nivel cerebral, existe un comportamiento cuántico en la inferencia y comunicación entre neuronas de zonas no adyacentes.

    El premio nobel de física Roger Penrose es uno de los mayores defensores de esta teoría, que se ve complementada por otros enfoques, como la teoría de Kauffman o la teoría de Bleck y Eccles.

    ¿Los primeros signos de singularidad?

    Existen ya primeras aproximaciones a la AGI reflexiva, como los sistemas MuZero o LIDA. Centros de investigación muy punteros, como I3B (Ibermática Fundazioa), llevan años investigando en el desarrollo de una AGI basada en la inclusión de una topología de grafos semánticos dentro de sistemas profundos.

    Esto supone unir los mundos de la neurocomputación, la computación cuántica y la inteligencia artificial en un trabajo multidisciplinar entre neurocientíficos, humanistas, antropólogos, ingenieros, informáticos, científicos de datos y programadores cuánticos.

    En este contexto, una nueva AGI obligaría a implementar, necesariamente, una autoconsciencia artificial. El país que lo consiga liderará una cuarta revolución tecnológica consolidando una industria increíblemente rentable que lo posicionará como proveedor a nivel mundial. España posee de sobra capacidades y talento en IA, cuántica y en neurocomputación para conseguirlo.

    Por otro lado, será el nacimiento de nuevos sistemas capaces de ayudarnos a comprender mejor nuestro universo y a nosotros mismos, proponiendo preguntas que, quizás, jamás nos hayamos hecho.

    El superordenador Hal-9000 en la serie Odisea espacial analizando la conversación y realizando hipótesis sobre la misma.
    IMBD

    Entonces, seguramente, habremos llegado a una nueva singularidad. Nuestro propio afán de avanzar científicamente nos llevará a lograrlo.The Conversation

    Aitor Moreno Fdz. de Leceta, Profesor de Computación Cuántica, Inteligencia Artificial, Universidad de Deusto

    Este artículo fue publicado originalmente en The Conversation. Lea el original.