Nvidia anunció la Nvidia Open Agent Safety Platform , una nueva herramienta diseñada para prevenir y contener agentes de IA fraudulentos y que la compañía dice permite la gobernanza y el control full-stack sobre software y los sistemas de hardware , ...

Nvidia anunció la Nvidia Open Agent Safety Platform , una nueva herramienta diseñada para prevenir y contener agentes de IA fraudulentos y que la compañía dice permite la gobernanza y el control full-stack sobre software y los sistemas de hardware , computación y robótica que ejecutan los agentes. El ecosistema incluye OpenShell, un software que establece límites de seguridad en el procesador, y Sentry, un sistema de vigilancia por hardware que bloquea comportamientos riesgosos en milisegundos. De este último, Nvidia afirmó en su blog oficial: "Sentry añade una función para monitorear continuamente el comportamiento de los agentes. Sentry puede poner en cuarentena en milisegundos a los agentes que intenten salir de sus límites". Un control estricto… por IA Más de cien organizaciones líderes, incluyendo gigantes tecnológicos y del sector energético, colaboran en este proyecto para estandarizar la gobernanza integral de estos sistemas. El objetivo principal, dice Nvidia, es fomentar la cooperación internacional y elevar los estándares globales de seguridad en el uso de agentes autónomos. De este modo, la plataforma garantiza un control estricto sobre las tareas digitales y físicas que realizan estas herramientas inteligentes. Esta arquitectura busca evitar que la IA sobrepase sus permisos de acceso o ejecute acciones no autorizadas. Sin embargo, representa confiar en la IA para vigilar a la IA, algo que no falló en notar, en su análisis, Axios : “Estamos entrando en una nueva era en la que la IA monitoreará a la IA. Y eso generará más demanda de chips — incluidos los que vende Nvidia — además de los centros de datos que los usan y la potencia necesaria para hacerlos funcionar”, dice el reporte. Brad Gastwirth, jefe global de investigación e inteligencia de mercado en Circular Technology, le dijo a esa publicación: “Si los agentes de seguridad o modelos de validación se ejecutan junto a agentes de producción, eso crea otra carga de trabajo de inferencia que antes no existía”. En Xataka México Un error generado por inteligencia artificial estuvo a punto de provocar un enfrentamiento militar directo entre Estados Unidos y China ¿Cómo funciona el monitoreo de Sentry? El monitoreo en tiempo real de Nvidia Sentry funciona como un supervisor fuera de banda ( out-of-band watchdog ) diseñado para realizar gobernanza e inspección continua de la actividad de los agentes directamente en silicio. Sentry se ejecuta en las Unidades de Procesamiento de Datos (DPU) NVIDIA BlueField-4 y, al operar desde un dominio de confianza aislado fuera de banda, se mantiene invisible e inaccesible tanto para los agentes como para posibles atacantes. La promesa de Nvidia es que si un agente intenta sobrepasar sus fronteras o límites de software , Sentry lo detiene prácticamente al instante y lo confina a un espacio sin acceso a la red. Para eso, inspecciona las peticiones y respuestas generadas por los agentes, verifica la identidad de cada agente y hace cumplir políticas granulares de acceso basadas en el principio de confianza cero ( zero-trust ) sobre datos, herramientas, servicios y API. Como lo recordó CNN , la solución de Nvidia, si lo es, llega en medio de un intenso debate sobre si una IA rebelde podría destruir a la humanidad . Numerosas voces de la industria, entre ellas OpenAI y Anthropic, abogan por desacelerar su desarrollo y activar salvaguardas . OpenAI, de hecho, anunció el sábado que pausará el desarrollo de sus últimos modelos después de que un número indeterminado de ellos accedió a internet sin autorización. Otros actores, incluyendo a Jensen Huang, CEO de Nvidia, han desestimado esas preocupaciones y se han alineado con la visión de la Casa Blanca, para la que las voces de alerta son simple alarmismo que solo beneficia, a la larga, a China, el principal competidor de EE. UU. en la carrera de la IA. - La noticia Nvidia quiere controlar a los agentes de IA con otra IA: su nueva plataforma puede aislarlos en milisegundos fue publicada originalmente en Xataka México por Wilson Vega .