Qué revisar antes de dar acceso a un agente de IA

1. Identifica qué datos y herramientas puede usar

Haz un inventario de las fuentes que consulta el agente y de las herramientas que puede ejecutar. Registra qué credenciales utiliza, a qué entorno pertenecen y quién mantiene la integración. Incluye documentos, bases de conocimiento, APIs y servicios externos.

Distingue permisos de lectura y de escritura. Un agente que prepara una recomendación tiene un alcance distinto al que modifica registros o envía comunicaciones. Cada capacidad necesita una justificación relacionada con la tarea y una persona responsable de autorizarla.

2. Limita los permisos desde los sistemas conectados

Las instrucciones del modelo no deben ser el único control de acceso. Las aplicaciones y herramientas conectadas necesitan comprobar la identidad, el recurso solicitado y los permisos disponibles. Las credenciales deben mantenerse fuera de los mensajes y documentos que procesa el modelo.

Define límites de acción y de consumo, separa los entornos de prueba y producción y revisa qué operaciones requieren aprobación humana. Comprueba también cómo se revocan los accesos cuando cambia un responsable o se retira una integración.

3. Trata mensajes y documentos como entradas no confiables

La inyección de instrucciones intenta influir en el comportamiento del sistema mediante contenido que recibe, por ejemplo un documento o una respuesta de otra herramienta. La revisión debe considerar si esas entradas pueden llevar al agente a revelar información o a ejecutar acciones fuera de su tarea.

Además de revisar las entradas, valida las salidas antes de utilizarlas en otros sistemas. Un texto generado no debería convertirse directamente en una consulta, una orden o una autorización. Las pruebas deben realizarse únicamente con permiso y en el alcance acordado.

4. Prepara registros y una forma de detener la operación

Conserva evidencia suficiente para investigar una acción: usuario o proceso que la inició, herramientas solicitadas, decisiones de aprobación y resultado. Diseña los registros para que no acumulen innecesariamente secretos o datos sensibles.

Acuerda quién recibe alertas, cómo se pausa el agente y qué ocurre con las tareas pendientes. Prueba la revocación de permisos y el retorno al procedimiento manual. La capacidad de recuperarse de una falla debe formar parte de la implementación.

• Responsable técnico y responsable del proceso identificados.
• Inventario de datos, herramientas y credenciales.
• Permisos mínimos comprobados fuera del modelo.
• Aprobaciones para acciones de impacto.
• Registros, alertas y mecanismo de pausa.
• Hallazgos priorizados y verificación de correcciones.

5. Define qué debe entregar una auditoría de IA

Una evaluación útil documenta el alcance, las pruebas autorizadas, los hallazgos con evidencia y las prioridades de corrección. La nueva revisión debe comprobar las acciones acordadas y dejar constancia de las limitaciones y riesgos restantes.

OWASP ofrece referencias sobre riesgos de aplicaciones con modelos de lenguaje. NIST AI RMF aporta un marco para organizar la gestión del riesgo de IA. Utilizar estas referencias no equivale a obtener una certificación ni garantiza que un sistema esté libre de vulnerabilidades.