Con la Casa Blanca hemos topado en robots.txt
Buscando información sobre como hacer un buen archivo robots.txt para evitar indexaciones no deseadas y demas… simplemente escribi en google.com “robots.txt” y me causo mucha sorpresa que Google muestra los textos que contiene el archivo robots.txt, como pueden ver en la imagen, que corresponde a los 3, 4 y 5 puestos de la indexacion de google, lo que me sorprendio es que segun se lee, el robots.txt de la Casa Blanca no quiere que se indexe nada acerca de aquel dia cuyo nombre no me acuerdo de las torres de Nueva York.. desconozco si habra alguna informacion, porque ni me moleste en entrar en la web.
La otra curiosidad es que tambien muestra lo que dice el robots.txt de google (no se yo, pero en su algoritmo google deberia programar no mostrar el texto de los archivos robots.txt, se supone que es solo informacion para los robots.
Asi que nada, Don Quijote en su tiempo exclamo: Con la Iglesia hemos topado (aunque realmente dijo dado)
Hoy digo con la Clasa Blanca hemos Topado!
Pregunto yo, hay alguna forma de evitar que nos indexen lo que dice el robots.txt?, que lo lean los robots pues claro!