##
## Deshabilitamos que entre en los directorios donde no hace falta
User-agent: *
Disallow: /admin
Disallow: /buscar
Disallow: /estilos
Disallow: /form
Disallow: /idiomas
Disallow: /include
Disallow: /intro
Disallow: /planos
Disallow: /script
Disallow: /stats
Disallow: /swf
Disallow: /usuarios

##
## Configuramos para Google

# Pasamos de Google Imagenes
User-agent: Googlebot-Image
Disallow: /*
Allow:

# Permitimos Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

##
## Configuramos para que solo procese un documento cada 5 segundos de 00 a 07 am
## Las horas son GMT
Visit-time: 2300-0600
Request-rate: 1/5

# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante...
# Añadir al gusto del consumidor...

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir 
# subiendo hasta el punto óptimo.
#

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10