CoreDash-botene: hva de ber om, og hvordan du kjenner dem igjen
CoreDash/1.0 i loggene dine er én av to CoreDash-boter, og begge åpner bare sider en CoreDash-kunde har bedt om.
Hvem som kjører CoreDash-botene, og hvorfor de besøker deg
Kort fortalt
- CoreDash har to boter: oppetidssjekken ber om en side hvert 30. minutt, og cRUM-auditen, en hastighetstest av én enkelt side, laster den én gang i Chrome når en kunde åpner rapporten for siden.
- Begge sender en user agent som starter med
CoreDash/. Adressene deres ligger i ips.json, og CoreDash-kunder får i tillegg et hemmelig token i en header. - For å slippe dem inn tillater du denne user agent-en. Vil du helst slippe dem, kontakter du CoreDash, så stopper besøkene.
CoreDash er et verktøy for real user monitoring av Core Web Vitals. Nettstedeiere bruker det til å se hvor raskt sidene deres laster for reelle besøkende, på mobil og på desktop. CoreDash holder til i Bergen op Zoom i Nederland og drifter begge botene selv.
En CoreDash-bot besøker en side bare når en CoreDash-kunde ber om det: ved å legge siden inn i en oppetidsovervåker, eller ved å åpne auditen for siden. Botene følger ingen lenker og leter aldri opp sider på egen hånd. Ingenting de henter havner i en søkeindeks eller trener opp en AI-modell. Resultatene går til kunden som ba om det, og til ingen andre.
User agent-er fra CoreDash
CoreDash/1.0 (uptime; +https://www.coredash.app/bot) CoreDash/1.0 (audit; +https://www.coredash.app/bot)
Ordet i parentesen viser hvilken bot som sendte requesten, og lenken fører til denne siden. Alle CoreDash-verktøy sender en user agent som starter med CoreDash/, også verktøy som legges til senere. Et loggsøk eller en brannmurregel på CoreDash/ fanger opp alle. Hvem som helst kan likevel sende dette navnet, så sjekk også adressen en request kom fra mot ips.json.
Oppetidssjekken og cRUM-auditen
I access-loggen til en server ser de to botene slik ut: oppetidssjekken hver hele og halve time, og én audit som laster en side sammen med CSS og et bilde.
Access-loggen til www.example-shop.com.
Oppetidssjekken
En kunde legger inn en URL i en oppetidsovervåker i CoreDash. Fra da av ber oppetidssjekken om denne URL-en hvert 30. minutt: én CoreDash-server på heltimen, den andre på halvtimen. Det gir 48 sjekker i døgnet for hver overvåker.
Hver sjekk er én GET-request etter HTML-en, pluss én ekstra for hver redirect, opptil fem på rad. Den leser maksimalt de første 256 KB av svaret og laster verken bilder, skript eller CSS. Hvis kunden la inn IP-adressen til serveren for nettstedet, sender hver sjekk også en request direkte til denne serveren, utenom CDN-et, for å se om selve serveren svarer. CoreDash lagrer statuskoden og tidsmålingene, og ingenting av selve siden.
cRUM-auditen
cRUM-auditen er hastighetstesten til CoreDash for en enkelt side. Den kjører når en kunde åpner rapporten for siden i CoreDash, og på nytt når kunden starter den på nytt eller bytter mellom mobil og desktop. Det er ingen fast tidsplan: En side der ingen åpner rapporten, får aldri en audit.
Auditen laster siden én gang i Chrome, med cachen slått av, som en førstegangsbesøkende på mobil eller desktop. Chrome henter deretter alt siden ber om – CSS, skript og bilder – akkurat som for en vanlig besøkende. I loggen din ser du requesten etter siden med _cache_bust= og et tidsstempel lagt til i URL-en, etterfulgt av requests etter tilhørende filer, alle med audit-user agent-en.
Filer siden laster fra et annet nettsted, som en webfont eller et analyseskript, sendes også ut med audit-user agent-en. Hvis du hoster en slik fil, kan CoreDash dukke opp i loggen din for en side som ikke er din. Hver av disse requestene er en del av det å laste inn siden kunden valgte.
Slik sjekker du at en request kom fra CoreDash
CoreDash publiserer adressene botene sender fra på app.coredash.app/bot/ips.json. Dette er en JSON-fil i samme format som Google bruker for adressene til crawlerne sine, med et service-felt som angir «uptime» eller «audit» for hver adresse. En request med en CoreDash-user agent fra en adresse som ikke står i denne filen, kom ikke fra CoreDash.
Disse adressene kan endre seg: CoreDash legger til eller flytter servere fra tid til annen. Sjekk alltid mot filen slik den ser ut nå. Feltet creationTime endres hver gang listen oppdateres.
CoreDash-kunder har en ekstra kontrollmulighet. Hvert prosjekt har sitt eget hemmelige bot-token, og begge botene sender dette i X-CoreDash-Bot-headeren når de besøker nettstedet til prosjektet eller et av subdomenene dets. Besøk til andre nettsteder har ikke noe token med seg. Tokenet finner du i CoreDash under Project settings, i fanen «CoreDash bot token».
Slik slipper du CoreDash-botene gjennom brannmuren
En brannmur eller et CDN forveksler av og til CoreDash-botene med boter de ikke stoler på, og blokkerer dem. For å slippe dem inn tillater du requests der user agent starter med CoreDash/. Er nettstedet i CoreDash-prosjektet ditt, er en regel basert på bot-tokenet ditt tryggere, for bare requests fra prosjektet ditt har det med seg. Åpne for IP-adressene bare hvis ingenting annet fungerer, og husk at de kan endre seg. Slipp CoreDash-botene gjennom CDN-et eller brannmuren din forklarer fremgangsmåten for Cloudflare og AWS WAF.
Hvorfor CoreDash-botene ikke leser robots.txt
En robots.txt-fil forteller crawlere hvilke sider de kan besøke når de går gjennom et nettsted på egen hånd. CoreDash-botene gjør aldri det. Hvert eneste besøk er satt i gang av en kunde, på samme måte som når Lighthouse laster en side fordi noen kjører en test. Derfor leser ingen av botene robots.txt, og en Disallow-linje stopper dem ikke.
Slik stopper du CoreDash-botene på nettstedet ditt
Har du spørsmål om botene, eller vil du helst slippe å ha dem på nettstedet ditt, kontakter du CoreDash via kontaktsiden. Send med URL-en og en CoreDash-linje fra loggen din. Da stopper CoreDash besøkene til nettstedet ditt.
