Los bots de CoreDash: qué solicitan y cómo reconocerlos
CoreDash/1.0 en los logs es uno de los dos bots de CoreDash, y ambos solo abren páginas solicitadas por clientes de CoreDash.
Quién opera los bots de CoreDash y por qué visitan tu sitio
En resumen
- CoreDash tiene dos bots: el uptime check solicita una página cada 30 minutos y la auditoría cRUM, un test de velocidad de una sola página, la carga una vez en Chrome cuando un cliente abre el informe de esa página.
- Ambos envían un user agent que empieza por
CoreDash/. Sus direcciones están en ips.json y los clientes de CoreDash reciben además un token secreto en una cabecera. - Para dejarlos pasar, autoriza el user agent. Si prefieres no recibirlos, contacta con CoreDash y las visitas se detendrán.
CoreDash es una herramienta de monitorización de usuarios reales para Core Web Vitals. Quienes gestionan sitios web la utilizan para ver a qué velocidad cargan sus páginas los visitantes reales, en móvil y en escritorio. CoreDash tiene su sede en Bergen op Zoom, en los Países Bajos, y opera ambos bots directamente.
Un bot de CoreDash solo visita una página si un cliente de CoreDash lo solicita: al añadir la página a un monitor de uptime o al abrir su auditoría. Los bots no siguen enlaces ni buscan páginas por su cuenta. Nada de lo que descargan termina en un índice de búsqueda ni entrena modelos de IA. Los resultados van únicamente al cliente que los solicitó, a nadie más.
User agents de CoreDash
CoreDash/1.0 (uptime; +https://www.coredash.app/bot) CoreDash/1.0 (audit; +https://www.coredash.app/bot)
La palabra entre paréntesis indica qué bot envió la petición, y el enlace lleva a esta página. Todas las herramientas de CoreDash envían un user agent que empieza por CoreDash/, incluidas las que se añadan más adelante. Una búsqueda en los logs o una regla de firewall para CoreDash/ los localiza todos. Sin embargo, cualquiera puede enviar ese nombre: comprueba también en ips.json la dirección desde la que procede la petición.
El uptime check y la auditoría cRUM
En el log de acceso de un servidor, los dos bots se ven así: el uptime check a las horas en punto y a y media, y una auditoría que carga una página junto con su CSS y una imagen.
Log de acceso de www.example-shop.com.
El uptime check
Un cliente añade una URL a un monitor de uptime en CoreDash. A partir de ese momento, el uptime check solicita esa URL cada 30 minutos: un servidor de CoreDash a las horas en punto y otro a y media. Eso suma 48 comprobaciones al día por cada monitor.
Cada comprobación es una petición GET del HTML, más una adicional por cada redirección, hasta cinco seguidas. Lee como máximo los primeros 256 KB de la respuesta y no carga imágenes, scripts ni CSS. Si el cliente introdujo la dirección IP del servidor del sitio, cada comprobación envía también una petición directa a ese servidor, sin pasar por la CDN, para verificar si el propio servidor responde. CoreDash guarda el código de estado y los tiempos, y nada de la página en sí.
La auditoría cRUM
La auditoría cRUM es el test de velocidad de una sola página de CoreDash. Se ejecuta cuando un cliente abre el informe de esa página en CoreDash, y de nuevo al reiniciarlo o cambiar entre móvil y escritorio. No hay ninguna programación periódica: una página cuyo informe nadie abre nunca recibe una auditoría.
La auditoría carga la página una vez en Chrome, con la caché desactivada, como un visitante que accede por primera vez desde un móvil o un escritorio. A continuación, Chrome descarga todo lo que pide la página: el CSS, los scripts y las imágenes, exactamente igual que para cualquier visitante. En los logs verás la petición de la página con _cache_bust= y un timestamp añadido a la URL, seguida de las peticiones de sus archivos, todas con el user agent de la auditoría.
Los archivos que la página carga desde otro sitio, como una fuente web o un script de analítica, también se solicitan con el user agent de la auditoría. Si alojas un archivo de este tipo, CoreDash puede aparecer en los logs por una página que no es tuya. Cada una de esas peticiones forma parte de la carga de la página elegida por el cliente.
Cómo comprobar que una petición procede de CoreDash
CoreDash publica las direcciones desde las que envían sus bots en app.coredash.app/bot/ips.json. Es un archivo JSON con el formato que utiliza Google para las direcciones de sus crawlers, con un campo service que indica "uptime" o "audit" para cada dirección. Una petición con un user agent de CoreDash que provenga de una dirección que no esté en ese archivo no procede de CoreDash.
Estas direcciones pueden cambiar: CoreDash añade o traslada servidores de vez en cuando. Comprueba siempre contra el archivo en su estado actual. Su campo creationTime cambia con cada modificación de la lista.
Los clientes de CoreDash cuentan con una segunda comprobación. Cada proyecto tiene su propio token secreto de bot, y ambos bots lo envían en la cabecera X-CoreDash-Bot cuando visitan el sitio del proyecto o uno de sus subdominios. Las visitas a cualquier otro sitio no llevan ningún token. El token está en CoreDash, dentro de Project settings, en la pestaña "CoreDash bot token".
Cómo autorizar los bots de CoreDash en el firewall
A veces, un firewall o una CDN confunden los bots de CoreDash con bots no fiables y los bloquean. Para dejarlos pasar, autoriza las peticiones cuyo user agent empiece por CoreDash/. Si el sitio está en tu propio proyecto de CoreDash, crear una regla para el bot token es más seguro, porque solo las peticiones de tu proyecto lo llevan. Autoriza las direcciones IP únicamente cuando nada más funcione, y ten en cuenta que pueden cambiar. Cómo autorizar los bots de CoreDash en tu CDN o firewall incluye los pasos para Cloudflare y AWS WAF.
Por qué los bots de CoreDash no leen robots.txt
Un archivo robots.txt indica a los crawlers qué páginas pueden visitar cuando recorren un sitio por su cuenta. Los bots de CoreDash nunca hacen eso. Cada visita la inicia un cliente, del mismo modo que Lighthouse carga una página cuando alguien ejecuta un test sobre ella. Por eso ningún bot lee robots.txt, y una línea Disallow no los detendrá.
Cómo detener los bots de CoreDash en tu sitio
Si tienes alguna pregunta sobre los bots o prefieres no recibirlos en tu sitio, contacta con CoreDash a través de la página de contacto. Envía la URL y una línea de CoreDash del log. CoreDash detendrá las visitas a tu sitio.
