Presentación
ABCdatos BotLink es el robot de comprobación de enlaces de ABCdatos. Todos los tutoriales y programas incorporados en la base de datos -activos o no- son comprobados regularmente para mantener en el mejor estado posible el contenido del directorio.
Funcionamiento
BotLink descarga la cabecera HTTP o parte del contenido de la URL incorporada en la base de datos y analiza la respuesta obtenida. En función del código de respuesta, del tamaño de archivo obtenido, y del contenido en su caso, clasifica la respuesta en tres posibilidades:
- URL correcta: Se mantendrá en el directorio la URL, reactivándola en caso de que en ciclos anteriores estuviera desactivada por haber detectado problemas.
- Error temporal: En casos de errores temporales o inacesibilidad del servidor, se realizan varias comprobaciones posteriores para considerar si el error obtenido fue temporal o es contínuo.
- URL errónea: Se desactiva la URL defectuosa del directorio hasta que vuelva a ser correcta o se reemplace por una actualizada, siendo analizada en el siguiente ciclo.
Especificaciones técnicas
Botlink se identifica a sí mismo como User-Agent: ABCdatos BotLink/versión
No soporta el empleo de robots.txt, por comprobar únicamente las URL incluidas en el directorio, accesibles por los navegantes.
La periodicidad de los ciclos de comprobación es diaria.
Ficha técnica
robot-id: abcdatos_botlink
robot-name: ABCdatos BotLink
robot-cover-url: https://www.abcdatos.com/
robot-details-url: https://www.abcdatos.com/botlink/
robot-owner-name: ABCdatos
robot-owner-url: https://www.abcdatos.com/
robot-owner-email:
robot-status: active
robot-purpose: maintenance
robot-type: standalone
robot-platform: independent
robot-availability: none
robot-exclusion: no
robot-exclusion-useragent: BotLink
robot-noindex: no
robot-nofollow: no
robot-host: *
robot-from: no
robot-useragent: ABCdatos BotLink/*.*.*
robot-language: perl
robot-description: This robot is used to verify availability of the ABCdatos directory entries (https://www.abcdatos.com), checking HTTP HEAD. Robot runs twice a week. Under HTTP 5xx error responses or unable to connect, it repeats verification some hours later, verifiying if that was a temporary situation.
robot-history: This robot was developed by ABCdatos team to helps working in their directory maintenance.
robot-environment: commercial
modified-date: Fri, 11 Apr 2003 11:00:00 GMT
modified-by: ABCdatos