bad_bots: evitar el escaneo de bots indeseados

para indicar a los robots en dond epeuden indexar y en donde no crea un
archivo robots.txt
En google busca robots.txt y te saldran ejemplos

saludos

Jorge
"Ignacio" escribió en el mensaje
news:

Hola,

¿como se puede evitar el escaneo del web de los agentes de descarga o

copia

web (Web Copies, WebStreaper, WebReaper)?

Gracias