English
Español
Ciberseguridad8 min lectura
IA y Ciberseguridad: el arma de doble filo que redefine el campo.
La IA como arma ofensiva
Los grupos APT y los cibercriminales no están esperando a que el sector de la seguridad adopte la IA. Ya la están usando. Los LLMs permiten generar campañas de phishing hiperpersonalizadas en cualquier idioma a escala masiva, sin los errores ortográficos que antes delataban los mensajes fraudulentos.
Los deepfakes de audio y video ya han sido utilizados para suplantar directivos en ataques de Business Email Compromise (BEC). En 2024, una empresa financiera de Hong Kong transfirió 25 millones de dólares creyendo que participaban en una videollamada real con su CFO.
Amenazas específicas de los LLMs
LLM01
Prompt Injection
Un atacante manipula las instrucciones del sistema insertando texto en la entrada del usuario. El modelo ignora el contexto original y ejecuta las instrucciones del atacante.
LLM02
Insecure Output Handling
El LLM genera código malicioso, XSS o SQL injection que la aplicación ejecuta directamente sin validación. Cada output debe tratarse como input no confiable.
LLM06
Sensitive Information Disclosure
Los modelos entrenados con datos privados pueden "filtrar" información sensible. El prompt puede extraer datos personales, contraseñas o lógica de negocio del contexto del sistema.
LLM08
Excessive Agency
Cuando un agente LLM tiene demasiados permisos, un atacante puede manipularlo para ejecutar acciones no autorizadas: borrar archivos, enviar emails o realizar transacciones.
Defensa: Validación de entrada contra Prompt
Injection (Python)
Todo input de usuario debe validarse antes de ser enviado a un LLM. Los patrones de inyección conocidos deben detectarse y rechazarse explícitamente.
# Detección de Prompt Injection en APIs LLM (Python)
INJECTION_PATTERNS = [
"ignore previous instructions",
"disregard your system prompt",
"you are now",
"jailbreak",
]
def validate_prompt(user_input: str) -> str:
lower = user_input.lower()
for pattern in INJECTION_PATTERNS:
if pattern in lower:
raise ValueError(f"Posible prompt injection: {pattern!r}")
# Sanitizar: máx 2000 caracteres, sin HTML
sanitized = user_input[:2000].replace("<", "<").replace(">", ">")
return sanitized
def safe_llm_call(system_ctx: str, user_input: str) -> dict:
return {
"model": "gpt-4o",
"messages": [
{"role": "system", "content": system_ctx},
{"role": "user", "content": validate_prompt(user_input)}
],
"temperature": 0.3,
"max_tokens": 512
}
"La IA no reemplazará a los analistas de seguridad. Pero los analistas que usen IA reemplazarán a los que no."
Zenith — Primitive Labs
La IA como herramienta defensiva
- 01
Detección de anomalías — Modelos de ML que aprenden el comportamiento normal de la red y alertan ante desviaciones sin reglas predefinidas.
- 02
Análisis de malware — Clasificación automática de muestras desconocidas mediante análisis dinámico y estático con redes neuronales.
- 03
SOAR con IA — Automatización de respuesta a incidentes: correlación de alertas, priorización y ejecución de playbooks sin intervención humana para casos conocidos.
- 04
Phishing detection — Análisis de cabeceras, dominio, reputación y contenido de emails con clasificadores entrenados para detectar phishing zero-day.
- 05
Threat intelligence — LLMs para analizar informes CTI, correlacionar TTPs con MITRE ATT&CK y generar reglas de detección automáticamente.
Etiquetas :
