Robots.txt

On Feb 4, 10:49 pm, Jorge wrote:

Pues el problema que tengo es que el robot de Google colapsa mi web.

Sé que hay que poner un archivo de texto llamado "robots.txt" en la carpeta
de la web determinada, para que los robots lo lean.

Mi pregunta es qué tengo que poner en ese archivo de texto. Concretamente,
dirigido al robot de Google. Si me lo pueden escribir aquí para que yo lo
copie, les estoy muy agradecido.

Si no quieres que ningun robot indexe tu web tienes que poner, en la
raiz del sitio web, el archivo robots.txt con el siguiente contenido:

User-agent: *
Disallow: /

Tienes mas informacion sobre como excluir a un determinado robot, o
determinados directorios en http://www.robotstxt.org/

Saludos,
Bernardo Achirica
bachirica [.at.] gmail [.dot.] com