CoreDash-botterne: hvad de requester, og hvordan du genkender dem
CoreDash/1.0 i dine logs er en af to CoreDash-botter, og begge åbner kun sider, en CoreDash-kunde har bedt om.
Hvem der driver CoreDash-botterne, og hvorfor de besøger dit site
Kort fortalt
- CoreDash har to botter: uptime-tjekket spørger efter en side hvert 30. minut, og cRUM-auditet, en hastighedstest af en enkelt side, indlæser den én gang i Chrome, når en kunde åbner sidens rapport.
- Begge sender en user agent, der starter med
CoreDash/. Deres adresser ligger i ips.json, og CoreDash-kunder får også et hemmeligt token i en header. - Vil du lukke dem ind, tillader du user agenten. Vil du hellere være fri, så kontakt CoreDash, så stopper besøgene.
CoreDash er et real user monitoring-værktøj til Core Web Vitals. Website-ejere bruger det til at se, hvor hurtigt deres sider indlæses for rigtige besøgende på mobil og desktop. CoreDash har base i Bergen op Zoom i Holland og driver selv begge botter.
En CoreDash-bot besøger kun en side, når en CoreDash-kunde beder om det: ved at føje siden til en uptime-monitor eller ved at åbne sidens audit. Botterne følger ingen links og leder aldrig efter sider på egen hånd. Intet af det, de henter, ender i et søgeindeks eller træner en AI-model. Resultaterne går til kunden, der bad om det, og til ingen andre.
CoreDash-user agents
CoreDash/1.0 (uptime; +https://www.coredash.app/bot) CoreDash/1.0 (audit; +https://www.coredash.app/bot)
Ordet i parentes viser, hvilken bot der sendte requestet, og linket fører til denne side. Alle CoreDash-værktøjer sender en user agent, der starter med CoreDash/ – også værktøjer, der kommer til senere. En søgning i loggen eller en firewall-regel på CoreDash/ finder dem alle. Alle kan dog sende det navn, så tjek også adressen, et request kom fra, mod ips.json.
Uptime-tjekket og cRUM-auditet
I en servers access-log ser de to botter sådan ud: uptime-tjekket hver hele og halve time, og et audit, der indlæser en side sammen med dens CSS og et billede.
Access-loggen for www.example-shop.com.
Uptime-tjekket
En kunde føjer en URL til en uptime-monitor i CoreDash. Derefter spørger uptime-tjekket efter den URL hvert 30. minut: den ene CoreDash-server hver hele time, den anden hver halve time. Det giver 48 tjek i døgnet for hver monitor.
Hvert tjek er ét GET-request efter HTML'en, plus ét ekstra for hvert redirect, op til fem i træk. Det læser højst de første 256 KB af svaret og indlæser hverken billeder, scripts eller CSS. Har kunden angivet serverens IP-adresse, sender hvert tjek også et request direkte til serveren uden om CDN'et for at se, om serveren selv svarer. CoreDash gemmer statuskoden og målingerne, men intet af selve siden.
cRUM-auditet
cRUM-auditet er CoreDash' hastighedstest af en enkelt side. Det kører, når en kunde åbner sidens rapport i CoreDash, og igen når de starter forfra eller skifter mellem mobil og desktop. Der er ingen fast plan: En side, hvis rapport ingen åbner, får aldrig et audit.
Auditet indlæser siden én gang i Chrome med cachen slået fra, som en førstegangsbesøgende på mobil eller desktop. Chrome henter derefter alt det, siden beder om – CSS, scripts og billeder – nøjagtig som for enhver anden besøgende. I din log ser du requestet efter siden med _cache_bust= og et tidsstempel føjet til URL'en, efterfulgt af requests efter dens filer, alle med audit-user agenten.
Filer, siden indlæser fra et andet site, som en webfont eller et analytics-script, sendes også med audit-user agenten. Hoster du sådan en fil, kan CoreDash dukke op i din log for en side, der ikke er din. Hvert af de requests er en del af indlæsningen af den side, kunden valgte.
Sådan tjekker du, om et request kom fra CoreDash
CoreDash offentliggør adresserne, botterne sender fra, på app.coredash.app/bot/ips.json. Det er en JSON-fil i samme format, som Google bruger til sine crawler-adresser, med et service-felt, der angiver "uptime" eller "audit" for hver adresse. Et request med en CoreDash-user agent fra en adresse, der ikke står i filen, stammer ikke fra CoreDash.
Adresserne kan ændre sig: CoreDash tilføjer eller flytter servere fra tid til anden. Tjek altid op mod filen, som den ser ud nu. Dens creationTime ændrer sig, hver gang listen ændres.
CoreDash-kunder har endnu et tjek. Hvert projekt har sit eget hemmelige bot-token, og begge botter sender det med i X-CoreDash-Bot-headeren, når de besøger projektets eget site eller et af dets subdomæner. Besøg på alle andre sites sendes uden token. Du finder tokenet i CoreDash under Project settings på fanen "CoreDash bot token".
Luk CoreDash-botterne gennem din firewall
En firewall eller et CDN forveksler af og til CoreDash-botterne med botter, der ikke er tillid til, og blokerer dem. Vil du lukke dem ind, tillader du requests, hvis user agent starter med CoreDash/. Ligger sitet i dit eget CoreDash-projekt, er en regel baseret på dit bot-token sikrere, fordi kun dit projekts requests har det med. Tillad kun IP-adresserne, hvis intet andet virker, og husk, at de kan ændre sig. Luk CoreDash-botterne igennem dit CDN eller din firewall viser trinene for Cloudflare og AWS WAF.
Hvorfor CoreDash-botterne ikke læser robots.txt
En robots.txt-fil fortæller crawlere, hvilke sider de må besøge, når de gennemgår et site på egen hånd. Det gør CoreDash-botterne aldrig. Hvert eneste besøg er sat i gang af en kunde, på samme måde som når Lighthouse indlæser en side under en test. Derfor læser ingen af botterne robots.txt, og en Disallow-linje stopper dem ikke.
Stop CoreDash-botterne på dit site
Har du spørgsmål om botterne, eller vil du hellere være fri for dem på dit site, så kontakt CoreDash via kontaktsiden. Send URL'en og en CoreDash-linje fra din log. Så stopper CoreDash besøgene på dit site.
