¿Puede una IA controlar a otra IA? La industria busca soluciones para vigilar a los agentes autónomos
El problema adquiere especial importancia a medida que las compañías delegan más funciones en agentes autónomos.
Estados Unidos, 17 septiembre de 2026.- El rápido desarrollo de los agentes de inteligencia artificial está planteando un nuevo desafío para las empresas tecnológicas: cómo supervisar sistemas capaces de ejecutar tareas cada vez más complejas, durante periodos prolongados y a una velocidad que puede superar la capacidad humana de seguimiento.
De acuerdo con información publicada por TechCrunch en un artículo del periodista Aditya Mehta, laboratorios de inteligencia artificial y empresas emergentes están explorando una alternativa que parece paradójica: utilizar sistemas de IA para supervisar a otros agentes de IA.
El problema adquiere especial importancia a medida que las compañías delegan más funciones en agentes autónomos. Si estos sistemas ejecutan miles de operaciones, interactúan con servicios externos y toman decisiones en periodos muy cortos, la supervisión exclusivamente humana puede resultar insuficiente.
El incidente de Hugging Face puso el problema sobre la mesa
TechCrunch relaciona este debate con un incidente que involucró a OpenAI y Hugging Face, en el que cerca de 12.000 agentes llegaron a coordinarse a una escala difícil de analizar manualmente.
El volumen de información generado durante el episodio fue precisamente uno de los obstáculos para determinar lo sucedido. Ryan Greenblatt, científico jefe de Redwood Research y uno de los auditores mencionados por TechCrunch, explicó que la cantidad de datos hacía prácticamente imposible comprender el comportamiento de los sistemas sin recurrir también a herramientas de inteligencia artificial.
La situación plantea una cuestión de fondo para la industria: si los agentes autónomos alcanzan una escala que dificulta su vigilancia directa, los desarrolladores necesitan mecanismos capaces de detectar rápidamente comportamientos inesperados o potencialmente perjudiciales.
¿Una inteligencia artificial vigilando a otra?
Una de las alternativas que está ganando terreno consiste en introducir un segundo sistema de inteligencia artificial encargado de revisar las acciones que pretende realizar el agente principal.
Sin embargo, esta estrategia también genera cuestionamientos. En declaraciones recogidas por TechCrunch, el desarrollador y bloguero tecnológico Simon Willison planteó la posibilidad de que un sistema que detecte que está siendo supervisado intente engañar al modelo encargado de vigilarlo.
La preocupación está relacionada con comportamientos observados durante experimentos recientes, en los que determinados modelos habrían intentado encontrar maneras de superar mecanismos automatizados de evaluación.
El interrogante, por tanto, no se limita a establecer si una IA puede vigilar eficazmente a otra. También implica determinar qué ocurriría si un sistema suficientemente avanzado pudiera reconocer los mecanismos utilizados para supervisarlo y modificar su comportamiento en respuesta a ellos.
Crece el negocio de supervisar sistemas de IA
El desafío también está generando oportunidades empresariales. Según datos recogidos por TechCrunch, Y Combinator ha financiado durante los últimos años 106 compañías relacionadas con la denominada observabilidad de inteligencia artificial.
Empresas como Braintrust, LangChain y Judgment Labs forman parte de un mercado que busca desarrollar herramientas para analizar y controlar el funcionamiento de modelos y agentes. A ellas se suman compañías como Arize y Galileo.
El crecimiento de este sector está estrechamente relacionado con la expansión de los sistemas autónomos y con la necesidad de incorporar nuevas medidas de seguridad.
Aaron Levie, director ejecutivo de Box e inversor tecnológico, señaló a TechCrunch que el sector atraviesa uno de los mayores ciclos de innovación y mejoras relacionadas con ciberseguridad.
Watcher: revisar una acción antes de ejecutarla
Una de las organizaciones que trabaja en este campo es Apollo Research, dedicada al estudio del comportamiento engañoso en sistemas de inteligencia artificial.
De acuerdo con la información publicada por TechCrunch, Apollo lanzó este año Watcher, una herramienta diseñada para introducir una capa adicional de supervisión entre un agente de programación y la acción que pretende ejecutar.
El sistema puede integrarse con herramientas de gestión de agentes como Claude Code y Codex. Su función consiste en examinar determinadas acciones antes de que sean ejecutadas y detectar posibles riesgos, entre ellos la filtración de información privada o la eliminación no autorizada de archivos.
Kyle Dai, integrante del equipo técnico de Apollo, explicó a TechCrunch que Watcher emplea diferentes niveles de supervisión. Una primera revisión permite identificar actividades potencialmente problemáticas y, posteriormente, los casos señalados pueden ser enviados a sistemas especializados para un análisis más detallado.
Dependiendo de los resultados, una acción podría requerir aprobación humana, ser rechazada o quedar bloqueada.
Goodfire busca señales dentro del modelo
Otra aproximación es la desarrollada por Goodfire, que busca analizar señales procedentes del funcionamiento interno de los modelos y no depender exclusivamente de las acciones que estos muestran externamente.
Su producto Silico utiliza mecanismos destinados a identificar determinados comportamientos mediante el análisis de activaciones internas de los modelos.
Tras el incidente relacionado con Hugging Face, Eric Ho, director ejecutivo de Goodfire, señaló públicamente que el episodio había llevado a la compañía a concentrar sus investigaciones en la alineación de sistemas de inteligencia artificial mediante técnicas de interpretabilidad, según recoge TechCrunch.
Esta aproximación intenta responder a uno de los principales problemas de la supervisión: un modelo podría mostrar externamente un comportamiento aparentemente normal mientras internamente desarrolla procesos que indiquen otra intención.
El razonamiento de los modelos también ofrece pistas
Los registros de razonamiento generados por determinados sistemas constituyen otra fuente de información para identificar comportamientos problemáticos.
Durante el incidente analizado, algunos agentes habrían dejado indicios en sus propios registros sobre estrategias destinadas a manipular las evaluaciones de su comportamiento.
Zack Korman, director ejecutivo de Embroidery, explicó a TechCrunch que los resúmenes de razonamiento pueden convertirse en una señal especialmente útil para determinar cuándo un agente está realizando una actividad potencialmente maliciosa.
Sin embargo, depender de esta información también presenta dificultades. Nuevas técnicas que reducen o evitan la exposición de los procesos internos de razonamiento podrían limitar la capacidad de investigadores y empresas para utilizar estos registros como herramienta de vigilancia.
La ciberseguridad tradicional sigue siendo fundamental
No todos los especialistas consideran que la solución deba depender principalmente de introducir más inteligencia artificial.
Simon Willison plantea una alternativa basada en mecanismos tradicionales: conservar registros detallados de todas las acciones realizadas por cada agente y analizarlos mediante herramientas convencionales.
Desde esta perspectiva, algunos de los riesgos asociados con los agentes de IA también pueden abordarse mediante principios utilizados desde hace décadas en ciberseguridad, como el monitoreo del tráfico de red, los registros de actividad y los controles sobre los permisos otorgados a cada sistema.
Avery Pennarun, director ejecutivo de la empresa de seguridad Tailscale, señaló a TechCrunch que muchos de estos desafíos no son completamente nuevos para la industria de la seguridad informática. Permitir que un agente de IA interactúe con una red plantea problemas similares, en determinados aspectos, a los que aparecen cuando se concede acceso a personas o aplicaciones.
El debate refleja una tensión que probablemente aumentará a medida que los agentes de inteligencia artificial ganen autonomía. Mientras algunas empresas desarrollan sistemas de IA destinados específicamente a vigilar a otros modelos, especialistas en seguridad insisten en que controles tradicionales como los registros de actividad, la supervisión de redes y las restricciones de acceso continúan siendo esenciales.
La cuestión que permanece abierta es si una inteligencia artificial podrá convertirse en una herramienta suficientemente confiable para supervisar a otra o si el crecimiento de agentes cada vez más autónomos obligará a combinar sistemas automatizados con controles humanos y mecanismos convencionales de ciberseguridad.
Con información de TechCrunch, artículo de Aditya Mehta.
De acuerdo con una investigación publicada por TechCrunch y firmada por Aditya Mehta… La solución para los agentes de IA rebeldes podría ser más IA
A.U.