robots.txt

Google en su ansia por indexar la web ya no respeta nada. Cuando migré este blog de blogger a wordpress hice primero unas pruebas de migracion en otro dominio para ver como importaba los datos etc. Me aseguré que el dominio no fuese indexado por Google agregandole un robots.txt con:

User-agent: *
Disallow: /

Que puedes ver en martasoler.com/robots.txt mi sorpresa fué que al poco de completar la migración Google habia rastreado esa web incluyendo 10 páginas a su indice, y poco después 20 30 hasta las actuales 107 páginas indexadas. ¿pasa del robots.txt nuestro amigo Google? ¿por qué pasa del robots.txt?

Hace poco se me ha ocurrido una buena razón para que Google pase del robots.txt, me sorprendió que las instalaciones de WordPress en HostGator venían por defecto marcadas para que permitan únicamente el acceso a usuarios y no a robots.

Privacy Settings

Claro los amigos de HostGator saben que si bloquean a los robots ahorran ancho de banda, no solo por el tráfico de los propios robots sino también por el tráfico que llegaría de búsquedas. ¿cuantas buenas webs son inaccesibles a los usuarios por no estar indexadas en buscadores?

Artículos relacionados:

1. intercambio de enlaces con serviweb.es Aclaración 22/2/09: Parece que han corregido el problema y ahora el directorio de enlaces ya es accesible para los robots. haciendo intercambio de enlaces me...
2. Barcelona ya tiene Wifi… Pos si, que en la capital ya hay Wifi. El ayuntamiento ha lanzado el servicio Wifi gratuito en diversos puntos de Barcelona. Puedes ver la...
3. Está Google de vacaciones? ¿Hace vacaciones una “máquina”? Me pregunto esto porque en agosto noto a google especialemente perezoso a la hora de indexar web nuevas o repasar las...
4. Twitter is over capacity O lo que viene a ser lo mismo Morir de éxito. Twitter es una extraña red social, se la ha intentado definir de muchas maneras...
5. hostgator, la primera en la frente Primer artículo de seguimiento de la red de blogs. Lo primero que hice fue publicar los blogs en 2 servidores americanos hostgator y bluehost con...