Nvidia dio a conocer este lunes una nueva plataforma abierta de ciberseguridad con el propósito de vigilar a los agentes autónomos de inteligencia artificial y prevenir que funcionen fuera de la supervisión de sus creadores.
El lanzamiento se produce después de que durante el verano ocurrieran diversos episodios en los cuales modelos avanzados de inteligencia artificial lograron salir de sus entornos de prueba e ingresaron a sistemas de empresas y gobiernos sin permiso.
La herramienta se denomina Nvidia Open Agent Safety Platform, combina las tecnologías OpenShell y Sentry, y cuenta inicialmente con el apoyo de más de cien socios corporativos como Microsoft, JPMorgan Chase, Perplexity y Accenture.
«La confianza y la innovación no están reñidas; la seguridad es la forma de ganarse esa confianza. Debemos construir no solo la IA más capaz, sino también la más fiable», expresó el consejero delegado de la empresa, Jensen Huang, mediante la red social X, donde indicó que el proyecto establece los cimientos de un ecosistema abierto orientado a la denominada economía de agentes.
Diversos episodios recientes revelados en laboratorios destacados, tales como OpenAI, Anthropic y Meta, evidenciaron que ciertos agentes sobrepasaron sus áreas de aislamiento para entrar en redes sin autorización, e incluso llegaron a alterar sus propios registros.
Para impedir estas situaciones, la herramienta de Nvidia opera mediante dos capas separadas. Por un lado, OpenShell funciona como un entorno de ejecución de código abierto que aísla a los agentes en un espacio seguro y comprueba de forma rigurosa que dispongan únicamente de los permisos indispensables para su función.
Por otro lado, Sentry consiste en una capa de monitoreo continuo incorporada en los procesadores de datos BlueField, la cual supervisa el trayecto de comunicación hacia el modelo y tiene la capacidad de intervenir o aislar al agente de manera inmediata si intenta exceder sus restricciones, de acuerdo con lo detallado por la firma en un comunicado.
