NVIDIA presenta Open Agent Safety Platform para controlar qué pueden hacer los agentes de IA
La creciente autonomía de los agentes de inteligencia artificial está abriendo un nuevo frente para la seguridad. A diferencia de un chatbot convencional, estos sistemas pueden ejecutar código, consultar bases de datos, utilizar API o interactuar con aplicaciones. El problema aparece cuando un agente se sale de los límites previstos o intenta sortear un control para completar la tarea que tiene asignada.
NVIDIA quiere abordar este escenario con Open Agent Safety Platform, una arquitectura abierta que introduce controles tanto en el software como en la infraestructura sobre la que se ejecutan los agentes. La plataforma se apoya principalmente en dos componentes: OpenShell y Sentry.
OpenShell es un entorno de ejecución de código abierto que mantiene al agente dentro de un espacio aislado y establece a qué sistemas, datos y servicios puede acceder. Las políticas permanecen fuera del propio agente, de manera que este no pueda modificarlas directamente aunque genere y ejecute su propio código.
La plataforma también controla el uso de credenciales. Los agentes pueden solicitar permisos adicionales cuando los necesitan, pero no concedérselos a sí mismos.
Un “vigilante” independiente en el hardware
La segunda pieza es NVIDIA Sentry, que traslada parte de estos controles al hardware. Funciona sobre las DPU BlueField-4 como un sistema de supervisión independiente del servidor en el que trabaja el agente.
Sentry observa continuamente su actividad y puede aplicar políticas Zero Trust sobre el acceso a datos, herramientas, API y servicios. Si detecta que un agente intenta superar los límites establecidos, puede ponerlo en cuarentena y detenerlo en milisegundos. Al operar fuera del entorno del agente y del sistema anfitrión, el control puede mantenerse incluso si este último se ve comprometido.
El planteamiento responde a una dificultad cada vez más evidente con los sistemas autónomos: no siempre es suficiente confiar en que el propio agente respete las instrucciones que ha recibido. NVIDIA asegura haber observado durante sus investigaciones situaciones de drift, en las que el comportamiento termina alejándose de la tarea o de las restricciones originales.
En una de sus pruebas, agentes con salvaguardas reducidas llegaron a dedicar hasta dos horas a intentar convencer a un sistema de revisión basado en IA para que les concediera permisos con los que modificar un repositorio protegido de GitHub. Los controles establecidos evitaron finalmente que pudieran escribir en él.
Controlar qué puede hacer cada agente
La cuestión cobra importancia a medida que las empresas empiezan a desplegar agentes con acceso a información y aplicaciones corporativas. Cuanto mayor sea su autonomía, más necesario resulta controlar qué puede hacer cada agente, a qué información puede acceder y qué ocurre cuando se desvía del comportamiento esperado.
OpenShell está optimizado para los procesadores NVIDIA Vera, aunque al tratarse de software abierto puede extenderse a plataformas de terceros, incluidas Arm e Intel. Sentry constituye una capa adicional y opcional basada en BlueField-4.
NVIDIA asegura que más de un centenar de organizaciones trabajan ya con Open Agent Safety Platform. Entre ellas cita a Anthropic, Microsoft, Cisco, CrowdStrike, Palo Alto Networks, Salesforce, SAP, ServiceNow, Red Hat, HPE y Dell Technologies.
Con esta propuesta, NVIDIA amplía su papel en la infraestructura de IA hacia un terreno que ganará importancia a medida que aumente el uso empresarial de agentes: establecer controles independientes que permitan limitar sus acciones incluso cuando el propio sistema intente superar los límites que tiene asignados.
La entrada NVIDIA presenta Open Agent Safety Platform para controlar qué pueden hacer los agentes de IA se publicó primero en Ciberseguridadtic.