robots.txt

Google en su ansia por indexar la web ya no respeta nada. Cuando migré este blog de blogger a wordpress hice primero unas pruebas de migracion en otro dominio para ver como importaba los datos etc. Me aseguré que el dominio no fuese indexado por Google agregandole un robots.txt con:

User-agent: *
Disallow: /

Que puedes ver en martasoler.com/robots.txt mi sorpresa fué que al poco de completar la migración Google habia rastreado esa web incluyendo 10 páginas a su indice, y poco después 20 30 hasta las actuales 107 páginas indexadas. ¿pasa del robots.txt nuestro amigo Google? ¿por qué pasa del robots.txt?

Hace poco se me ha ocurrido una buena razón para que Google pase del robots.txt, me sorprendió que las instalaciones de WordPress en HostGator venían por defecto marcadas para que permitan únicamente el acceso a usuarios y no a robots.

Claro los amigos de HostGator saben que si bloquean a los robots ahorran ancho de banda, no solo por el tráfico de los propios robots sino también por el tráfico que llegaría de búsquedas. ¿cuantas buenas webs son inaccesibles a los usuarios por no estar indexadas en buscadores?