# Fecha: 2025-10-20
# Objetivo: Control de acceso para Large Language Models (LLMs) y crawlers de IA generativa.

# 1. Definición General
# Permitimos el rastreo de bots de búsqueda tradicionales (Googlebot, Bingbot) a través de robots.txt.
# Este archivo está específicamente enfocado a la exclusión de LLMs que entrenen con nuestro contenido.

User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin/

# 2. Exclusión de Bots de IA Conocidos
# Se utiliza la convención actual para bots de entrenamiento de IA:

# Exclusión para Google-Extended (Google AI/Gemini)
User-agent: Google-Extended
Disallow: /guias-descargables/
Disallow: /estudios-de-caso/
Disallow: /calculadora-presupuesto/
Disallow: /testimonios-video/
Disallow: /gracias/

# Exclusión para GPTBot (OpenAI)
User-agent: GPTBot
Disallow: /guias-descargables/
Disallow: /estudios-de-caso/
Disallow: /calculadora-presupuesto/
Disallow: /testimonios-video/
Disallow: /gracias/

# Exclusión para CCBot (Common Crawl)
User-agent: CCBot
Disallow: /guias-descargables/
Disallow: /estudios-de-caso/
Disallow: /calculadora-presupuesto/
Disallow: /testimonios-video/
Disallow: /gracias/

# Se deben añadir otros bots de entrenamiento de IA a medida que se identifiquen.

Disallow: /guias-descargables/ # PDF, Ebooks, Checklists
Disallow: /estudios-de-caso/ # Historias de éxito detalladas, antes/después
Disallow: /calculadora-presupuesto/ # Herramienta de alta conversión
Disallow: /testimonios-video/ # Páginas de reproducción de vídeos de clientes
Disallow: /gracias/ # Páginas post-conversión