User-agent: *
User-agent: AdsBot-Google
User-agent: AdsBot-Mobile
Disallow: /valida/validar/
Disallow: *.pdf$
# Un minuto entre peticiones
Crawl-delay: 60
# Acceso de 1 am a 6:45 am (hora GMT)
Visit-time: 0100-0645 
# Un documento al minuto 
Request-rate: 1/1m