SecurityScorecard desarrolla un benchmark para medir la seguridad de la IA en la gestión de terceros
SecurityScorecard anuncia el lanzamiento de TPRM Benchmark, un marco de evaluación diseñado para comprobar cómo se comportan los modelos de IA cuando trabajan con información real sobre riesgos de terceros y qué ocurre cuando alguien intenta manipular sus conclusiones.
La iniciativa parte de un problema habitual en la gestión del riesgo de proveedores (TPRM, por sus siglas en inglés). Explica la compañía a través de un comunicado que los equipos de seguridad deben analizar grandes cantidades de información procedente de cuestionarios, auditorías, documentos y herramientas de monitorización. Con la incorporación de agentes de IA a estos procesos, el riesgo es que un sistema automatizado tome decisiones a partir de información engañosa sin detectar las contradicciones.
TPRM Benchmark evalúa los modelos desde dos perspectivas. La primera mide su capacidad para realizar tareas, como identificar exposiciones, priorizar vulnerabilidades, relacionar incidentes con proveedores o analizar los riesgos derivados de la dependencia de determinadas empresas y tecnologías.
Las pruebas se construyen a partir de datos de seguridad recopilados por SecurityScorecard y son revisadas por especialistas antes de evaluar los modelos. Además, los ejercicios se modifican periódicamente para reducir la posibilidad de que los sistemas obtengan buenos resultados simplemente por haber memorizado las respuestas.
La segunda parte se centra en la seguridad de los propios modelos. Y, además, también se comprueba cómo reaccionan los modelos cuando reciben declaraciones de proveedores que contradicen los datos técnicos disponibles.
Los resultados permiten establecer niveles de preparación para operar con autonomía, desde L0 hasta L4, mientras que la resistencia a los ataques se califica mediante una escala de A a F. El objetivo es ayudar a las organizaciones a determinar qué tareas pueden automatizar y cuáles siguen necesitando supervisión humana.
SecurityScorecard ha publicado el marco de evaluación como proyecto abierto, de manera que desarrolladores, investigadores y empresas de seguridad puedan probar sus propios modelos y agentes de IA y compartir los resultados en una clasificación pública.
La entrada SecurityScorecard desarrolla un benchmark para medir la seguridad de la IA en la gestión de terceros se publicó primero en Ciberseguridadtic.