Qué es un robot de Internet y cómo funciona.

Un robot es un programa que atraviesa automáticamente la estructura del hipertexto del web extrayendo un documento, y recurrentemente extrae todos los documentos que estén referenciados.

Contenido del documento:

» Sobre los robots del WWW
» ¿Qué es un robot WWW?
» ¿Qué es un agente?
» ¿Qué es un motor de búsqueda?
» ¿Cuántos tipos de robots existen?
» Entonces, ¿qué son Robots, Spiders, Web Crawlers, Worms, Ants?
» ¿Son malos los robots para el web?
» ¿Hay algún libro sobre robots?
» ¿Dónde puedo encontrar más información?
» Robots que indexan
» ¿Cómo decide un robot qué visitar?
» ¿Cómo decide un robot que indexa qué indexar?
» ¿Cómo puedo registrar mis páginas con un robot?
» Para los administradores de web
» ¿Cómo puedo saber si me ha visitado un robot?
» Me ha visitado un robot. ¿Y ahora qué?
» ¡Un robot está atravesando mi Web demasiado rápido!
» ¿Cómo puedo mantener a un robot fuera de mi servidor?
» Estándar para la exclusión de robots
» ¿Por qué encuentro accesos al fichero /robots.txt en mis ficheros de registro?
» ¿Cómo puedo conseguir que los robots no indexen mi Web?
» ¿Dónde puedo encontrar cómo se usa el fichero /robots.txt?
» ¿Qué pasa si no puedo hacer un fichero /robots.txt?
» Disponibilidad
» ¿Dónde puedo usar un robot?
» ¿Dónde puedo conseguir un robot?
» ¿Dónde puedo conseguir el código fuente de un robot?
» Estoy haciendo un robot, ¿qué necesito saber?
» He hecho un robot, ¿cómo puedo incluirlo en las listas?

»Descarga el contenido completo