#
# Creado por Juan Miguel González Mármol
# www.astroyciencia.com 
# Última actualización 18/11/07
#


# Para todos los robots (desactivar estas carpetas)

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /pphlogger/
Disallow: /pruebas/
Disallow: /img/
Disallow: /images/
Disallow: /clickheat/
Disallow: /browsers/
Disallow: /complementos/


# Para los feed (abrimos el general y desactivamos los demás para que no pise al artículo en la búsqueda)
# Y búsquedas no permitidas

Allow: /wp-content/uploads/
Disallow: /feed
Disallow: /comments/feed
Allow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

# Disallow: /search
# Disallow: /?s=


# desactivación de archivos con esta extensión para Google y para Yahoo

User-agent: Googlebot
Disallow: /*.js$
Disallow: /*.css$
# Disallow: /*?*


User-agent: Slurp
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*?*

	
# Permite a image-robot de google buscar todas las imágenes del sitio

User-agent: Googlebot-Image
Disallow:
Allow: /*


# Permitir adsense-robot en todo el sitio

User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Restricción temporal a algunos Crawler que saturan el server

User-agent: noxtrumbot
Crawl-delay: 400
User-agent: msnbot
Crawl-delay: 10
User-agent: msnbot-media
Crawl-delay: 30

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.astroyciencia.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN


#
#
# Robot para phpbb (foro de astroyciencia)
#
#

User-agent: *
Disallow: /phpbb/admin/
Disallow: /phpbb/cache/
Disallow: /phpbb/db/
Disallow: /phpbb/images/
Disallow: /phpbb/includes/
Disallow: /phpbb/language/
Disallow: /phpbb/templates/
Disallow: /phpbb/faq.php
Disallow: /phpbb/groupcp.php
Disallow: /phpbb/login.php
Disallow: /phpbb/memberlist.php
Disallow: /phpbb/modcp.php
Disallow: /phpbb/posting.php
Disallow: /phpbb/privmsg.php
Disallow: /phpbb/profile.php
Disallow: /phpbb/search.php
Disallow: /phpbb/viewonline.php