Hace poco incluí en una web un link para reportar enlaces rotos y al poco rato me encontré la tabla de log llena de avisos de enlaces rotos. Como no podía ser borré todo y agregé un campo donde guardar todas las cabeceras de los navegadores que entraban y limité a un máximo de clicks por ip. En seguida volvió a llenarse, el problema eran los bots que andaban rastreando la web.

Le puse un nofollow al link pero como si quieres arroz catalina, los bots seguían entrando. Así que empecé a no grabar datos de los bots más pesados. Esto me dió la idea de hacerlo al reves. He puesto un conjunto de 5 links 1 normal y 4 generados con javascript que solo se muestran a Googlebot.
Teoricamente Google es capaz de seguir los enlaces de javascript normales. Ahora solo hay que esperar a ver que enlaces son clickados por googlebot y cuales son ignorados.
Bueno pues Google no ha pulsado ninguno de los enlaces con javascript, ni los simples ni los complicados. Ha entrado muchas veces en los links normales pero no los de javascript.
Lo que ha resultado curioso es que hay otro boot rondando por el barrio y pese a que los links se le muestran únicamente al googlebot el consigue llegar a hacer clicks en los enlaces y escribir que la visita la hace: Mozilla/5.0 (compatible; AMZNKAssocBot/4.0) desde la ip 72.21.196.66 desde kentucky http://www.geoiptool.com/es/?IP=72.21.196.66
Si miras más sobre esta Ip resulta que en Ripe no dicen a quien está asignada :S En otros sitios he visto referencias a Amazon pero no puedo confirmarlas.