Seguridad de los datos y regulación: qué se le manda a un agente, RGPD, AI Act
Un desarrollador que usa un agente de IA está enviando información a un tercero — código, datos, credenciales — y dándole a un programa no determinista la capacidad de actuar. Las dos preguntas antes de cada uso: qué sale del equipo y adónde va, y qué puede hacer el agente y con qué permisos. Ni el RGPD ni el AI Act prohíben usar IA: exigen saber qué se hace con los datos y poder demostrarlo.
1Qué se le manda a un agente, y adónde va
Al usar un asistente o agente salen del equipo, como mínimo: el prompt, los ficheros que lee, la salida de los comandos que ejecuta.
| Categoría | Ejemplos | Riesgo |
|---|---|---|
| Secretos | .env, claves de API, contraseñas, tokens | Acceso directo a sistemas; puede quedar en registros |
| Datos personales | Nombres, correos, DNI, volcados "de prueba" que son reales | Infracción del RGPD |
| Datos sensibles | Salud, ideología, biometría | Régimen reforzado |
| Propiedad intelectual | Código propietario, algoritmos | Confidencialidad contractual |
| Datos de terceros | Lo que un cliente confió a la empresa | Responsabilidad contractual y legal |
Adónde va, según el plan: gratuito (el proveedor puede usar las conversaciones para entrenar, salvo que se desactive); empresa/API (por defecto no se entrena, retención limitada o cero bajo contrato, elección de región UE); modelos locales (no sale nada — la respuesta correcta cuando la respuesta a "¿puede salir?" es no, ver UD2-04).
2Amenazas específicas de las aplicaciones con LLM
Las amenazas clásicas (inyección SQL, XSS) siguen ahí. Lo nuevo nace de que un LLM no distingue entre instrucciones y datos: todo lo que entra en el contexto es texto, y el modelo puede tomar cualquier parte como una orden.
Inyección de prompt: a diferencia de la SQL (que se resuelve separando código y datos con consultas parametrizadas), en un LLM no existe esa separación — no hay solución completa conocida en 2026, solo mitigaciones.
OWASP Top 10 para LLM (2025), en orden: inyección de prompt; revelación de información sensible; cadena de suministro (modelos, paquetes, servidores MCP dudosos); envenenamiento de datos/modelos; manejo inseguro de la salida; agencia excesiva; fuga del prompt de sistema; debilidades en embeddings (RAG que devuelve lo que el usuario no debería ver); desinformación; consumo ilimitado.
pip install de un paquete que no existe (alucinado); un atacante lo registra con código malicioso; el siguiente desarrollador que acepte la sugerencia lo instala. La regla de siempre: se verifica el origen de lo que se instala.3Seguridad clásica en una página
| Principio | Qué significa |
|---|---|
| Tríada CIA | Confidencialidad, integridad, disponibilidad |
| Mínimo privilegio | Cada usuario/proceso/agente tiene solo los permisos que necesita |
| Defensa en profundidad | Varias capas; ninguna sola basta |
| Cifrado | En tránsito (TLS) y en reposo |
| Autenticación fuerte | MFA, gestor de contraseñas |
| Copias de seguridad probadas | Una copia nunca restaurada no es una copia |
| Confianza cero | No fiarse por estar "dentro de la red"; verificar cada acceso |
4RGPD, en versión desarrollador
Aplica a cualquier tratamiento de datos personales: nombre, correo, IP, matrícula, geolocalización. En España lo complementa la LOPDGDD y lo supervisa la AEPD.
- Base jurídica: hay que poder decir por qué se tratan los datos. "Porque los tenemos" no es una base.
- Minimización: se recogen los datos necesarios, no todos los posibles.
- Limitación de la finalidad: entrenar un modelo con datos recogidos para facturar es un cambio de finalidad.
- Derechos del interesado: acceso, rectificación, supresión, portabilidad, oposición — borrar a una persona de todas partes es una función que hay que diseñar, y las copias de seguridad y los índices RAG cuentan.
- Notificación de brechas a la autoridad en 72 horas.
- Transferencias internacionales: enviar datos fuera del EEE requiere garantías específicas.
- Sanciones: hasta 20 millones de euros o el 4 % de la facturación mundial anual.
5AI Act: niveles de riesgo
Primera regulación general de IA de la UE (2024). Clasifica los usos (no las tecnologías) por riesgo:
| Nivel | Qué incluye | Qué implica |
|---|---|---|
| Inaceptable | Puntuación social, manipulación subliminal, reconocimiento de emociones en trabajo/educación | No se puede desplegar |
| Alto riesgo | Empleo, crédito, educación, infraestructuras críticas, sanidad, justicia | Gestión de riesgos, documentación, supervisión humana |
| Riesgo limitado | Chatbots, contenido sintético, deepfakes | El usuario debe saber que habla con una máquina |
| Mínimo | El resto (filtros de spam, recomendadores) | Sin obligaciones específicas |
A un desarrollador de aplicaciones le toca: (1) saber si su uso cae en alto riesgo (un filtro de currículos, sí; un asistente de documentación interna, no); (2) transparencia; (3) supervisión humana real; (4) documentar qué modelo, qué datos, qué evaluaciones.
6Para debatir en clase
- Un compañero pega en un chat gratuito un CSV "de prueba" con 200 clientes reales. ¿Qué normas se han incumplido?
- Un agente de soporte con acceso al CRM, que lee correos entrantes y puede responderlos. ¿Tiene la tríada letal? ¿Qué capacidad se le quita para que sea aceptable?
- Una empresa quiere usar un LLM para preseleccionar candidatos. ¿Qué nivel del AI Act? ¿Qué le exige?
- "Nuestros datos están en la nube europea de un proveedor estadounidense." ¿Es una transferencia internacional?
- El modelo local que corre en el portátil: ¿resuelve el problema de privacidad del todo? ¿Qué riesgos quedan?
✓Autoevaluación — puntos que debes dominar
Adaptado de 10-seguridad-y-regulacion.md.