Luk CoreDash-botterne igennem dit CDN eller din firewall

Luk begge CoreDash-botter igennem dit CDN eller din firewall

CoreDash har to botter, der besøger dit site: cRUM-auditten og oppetidstjekket. For at få mest muligt ud af CoreDash skal dit CDN eller din firewall lukke begge igennem. Nogle gange blokerer en indstilling for dem. Denne side viser dig, hvordan du fikser det i Cloudflare og AWS WAF med én regel, der dækker begge botter.

Det gør de to botter for dig:

• cRUM-auditten. Vælger du en side under cRUM (beta) i CoreDash-menuen, åbner CoreDash siden i Chrome på sin audit-server ligesom en almindelig besøgende og viser dig, hvad der gør den langsom. Dens user agent er CoreDash/1.0 (audit; +https://www.coredash.app/bot).
• Oppetidstjekket. Hvert 30. minut sender CoreDash en request til hvert site, du overvåger, fra sine egne servere og giver dig besked, hvis et af dem går ned. Den sender CoreDash/1.0 (uptime; +https://www.coredash.app/bot).

En user agent er det navn, en browser eller bot sender med i hver request for at fortælle, hvem den er. Begge CoreDash' starter med CoreDash/, og det er netop det, din regel skal lede efter.

Sådan ser en blokeret audit eller et blokeret oppetidstjek ud

Din firewall eller dit CDN ser en besøgende fra et datacenter, hvis user agent ikke er en browsers. Den anser den besøgende for en bot, den ikke stoler på, og svarer med en fejlkode eller en challenge-side. Hver bot viser det på sin egen måde.

En blokeret cRUM-audit stopper med beskeden "Audit failed" og en fejl under. Eller også kører den alligevel – på blokeringssiden: Page load filmstrip viser så en challenge eller en fejlside i stedet for din egen side, og alle tal i auditten tilhører den side.

Oppetidsovervågningen viser Blocked, og dens notits "A firewall blocks the checker" angiver den statuskode, tjekkene fik, og siden hvornår. CoreDash udelader blokerede tjek fra din nedetid, så blokeringen trækker ikke din oppetid ned. Men så længe alle tjek blokeres, når ingen af dem frem til dit site, og så kan overvågningen ikke give dig besked, hvis dit site går ned.

Overvågningssiden for example-shop.com, når Cloudflare svarer på alle oppetidstjek med en 403.

Sådan genkender din firewall CoreDash

Du opretter én undtagelse for CoreDash i din firewall eller dit CDN, og de fleste laver den på user agenten: Én regel på CoreDash/ lukker auditten og oppetidstjekket igennem. Dit projekts bot-token gør reglen strammere, da kun dit eget projekts botter sender det. CoreDashs IP-adresser er til de tilfælde, hvor intet andet slipper igennem. De ændrer sig, når CoreDash tilføjer eller flytter en server, så en regel på dem skal du selv holde opdateret.

Hvilken indstilling der kræver undtagelsen, fremgår af din firewalls log. Cloudflares log gennemgås i næste afsnit. For AWS WAF kan du springe til afsnittet "Tillad CoreDash i AWS WAF over Bot Control" længere nede.

Find ud af, hvad der stoppede CoreDash i Cloudflare

Åbn dit domæne i Cloudflare og gå til Security › Analytics, fanen Events. Under Sampled logs finder du en request med en CoreDash-user agent. På et travlt site klikker du på Filter, vælger User agent som felt og indsætter den fulde user agent som værdi: CoreDash/1.0 (uptime; +https://www.coredash.app/bot) til oppetidstjekket eller CoreDash/1.0 (audit; +https://www.coredash.app/bot) til auditten.

Klik på requesten for at åbne den. Linjen Service angiver den Cloudflare-funktion, der stoppede den.

Browser Integrity Check blokerede dette oppetidstjek på example-shop.com.

Linjen Service afgør løsningen:

• Bot fight mode: Dette er bot-beskyttelsen på Cloudflares Free-plan, og dine regler kan ikke lave en undtagelse for den. Spring videre til afsnittet om Bot Fight Mode længere nede.
• Alt andet, som Browser integrity check i skærmbilledet, en managed rule eller Super Bot Fight Mode: Opret Skip-reglen nedenfor.

Luk CoreDash igennem Cloudflare med en Skip-regel

En Skip-regel fortæller Cloudflare, at den skal lade alle requests med en CoreDash-user agent passere for de funktioner, du vælger. Den dækker auditten og oppetidstjekket på én gang, og du kan oprette den på alle Cloudflare-planer.

1. Gå til Security › Security rules. Under Custom rules klikker du på Create rule.

Security rules for example-shop.com før den første custom rule.

2. Giv reglen navnet CoreDash. Under "When incoming requests match" klikker du på "Edit expression" og indsætter denne linje i tekstfeltet, der åbnes.

   http.user_agent contains "CoreDash/"

Regelnavn og udtryk efter klik på "Edit expression". Skråstregen efter CoreDash hører med.

3. Under "Then take action" vælger du Skip og markerer, hvad Cloudflare skal springe over for CoreDash. Under "WAF components to skip" sætter du flueben ved "All managed rules" og "All Super Bot Fight Mode Rules". Klik på "More components to skip" for at folde den ud, og sæt også flueben ved "Browser Integrity Check". Lad "Log matching requests" være slået til, så Events senere viser reglen i funktion.

Handlingen Skip med flueben i de tre felter.

4. Klik på Deploy. Har dit domæne allerede andre custom rules, spørger Cloudflare, hvor reglen skal placeres: Placer den først.

Uden andre custom rules skal der ikke vælges placering, så Deploy er det sidste klik.

5. Kontroller, at CoreDash slipper igennem. Når den næste audit eller det næste oppetidstjek ankommer, viser Events i Cloudflare den med handlingen Skip. Tjek den bot, du bruger, eller begge to i CoreDash.

For cRUM-auditten vælger du siden under cRUM (beta) igen eller genindlæser den browserfane, den er åben i, hvorefter en ny audit starter. Når den slipper igennem, viser Page load filmstrip din egen side indlæse i Chrome, frame for frame.

En fuldført audit med TTFB, FCP, LCP og CLS markeret på de enkelte frames.

Oppetidstjekket kræver ikke et klik: CoreDash tjekker hver hele og halve time, så inden for 30 minutter skifter overvågningen til Up, og de nye bjælker bliver grønne.

example-shop.com er Up igen: 38 tjek fik en 403, og hvert tjek efter reglen har fået en 200.

En mere sikker Cloudflare-regel med dit CoreDash-bot-token

Alle kan sende en user agent, der starter med CoreDash/, så en ondsindet bot, der udgiver sig for at være CoreDash, slipper også igennem Skip-reglen. Dit projekts bot-token er hemmeligt: Hver audit og hvert oppetidstjek sender det med i en header ved navn X-CoreDash-Bot. En regel på det token lukker kun dit eget projekts botter igennem.

For at hente det åbner du Project settings i CoreDash og går til fanen "CoreDash bot token". Kun projektejeren kan åbne den. Viser en overvågning Blocked, fører linket "View your CoreDash bot token" i dens notits dig også dertil. Klik på "Copy Cloudflare rule": Så får du hele udtrykket med dit token i.

"Copy Cloudflare rule" kopierer udtrykket med dit token til din udklipsholder.

Har du allerede oprettet Skip-reglen, går du til Security › Security rules og åbner CoreDash-reglen. Udskift linjen med user agent i udtrykket med det, du har kopieret, og gem reglen. Handlingen og de markerede felter forbliver uændrede. Har du endnu ingen regel, følger du trinnene til Skip-reglen ovenfor og indsætter token-linjen i trin 2.

Tokenet sendes kun til dit projekts eget site og dets subdomæner. En overvågning eller en audit af en side på et andet domæne sender ikke noget token, så det domæne beholder reglen med user agent. Skulle tokenet nogensinde ende et sted, hvor det ikke hører hjemme, klikker du på "Make a new token". Det gamle token holder straks op med at virke, så indsæt det nye i din Cloudflare-regel lige bagefter.

Bot Fight Mode på Cloudflares Free-plan

Dette afsnit er til dig, hvis linjen Service i Events viste Bot fight mode.

Et CoreDash-oppetidstjek med handlingen Managed Challenge og servicen Bot fight mode.

Bot Fight Mode udfordrer simple botter, der kører på cloud-servere – og for Cloudflare er begge CoreDash-botter netop det. Cloudflares dokumentation slår fast, at Skip- og Allow-regler ikke har nogen effekt på den. Du skal derfor enten slå den fra eller lade den være tændt og lukke CoreDashs IP-adresser forbi den.

Slå Bot Fight Mode fra

Gå til Security › Settings og filtrer på Bot traffic. Find rækken "Bot fight mode" og slå kontakten fra. Cloudflare stopper så med at udfordre de simple botter på hele dit site. Vil du hellere beholde den type beskyttelse, har Pro-planen i stedet Super Bot Fight Mode, og den respekterer Skip-reglen. Når kontakten er slået fra, skal du også oprette Skip-reglen ovenfor, så Browser Integrity Check eller en managed rule ikke blokerer CoreDash efterfølgende.

Kontakten til Bot fight mode sidder i kolonnen Status. På dette billede er den allerede slået fra.

Behold Bot Fight Mode slået til, og tillad CoreDashs IP-adresser

Før du går i gang: Disse adresser er ikke faste. Dine IP access rules forbliver præcis som du indtastede dem, mens den opdaterede liste altid findes på app.coredash.app/bot/ips.json. Bliver CoreDash blokeret igen en dag, så sammenlign dine regler med den liste først.

En IP access rule lukker én IP-adresse forbi dine firewall-regler, og Bot Fight Mode lader en request passere, når en sådan regel matcher den først. Gå til Security › Security rules og klik på Create rule under IP access rules. Foreslår Cloudflare at oprette den som en custom rule, vælger du "No, go to IP access rules". Indtast 51.195.222.219, vælg Allow og "This website", og klik på Create. Opret én regel pr. adresse: 51.195.222.219 og 51.195.222.220 til oppetidstjekket, 135.125.202.210 til cRUM-auditten.

Én IP access rule pr. CoreDash-adresse, sat til Allow på dette website.

Efter begge løsninger kontrollerer du, at CoreDash slipper igennem – på samme måde som i trin 5 under Skip-reglen.

Tillad CoreDash i AWS WAF over Bot Control

I AWS WAF er det som regel Bot Control – den managed rule group, som AWS tilbyder mod botter – der blokerer CoreDash. Du løser det med en Allow-regel for CoreDash-user agenten placeret over Bot Control. Den ene regel lukker både auditten og oppetidstjekket igennem. AWS-skærmbillederne her stammer fra et demo-setup for acme-aws.com lavet til denne side.

1. Åbn dit sites web ACL (regelsættet, der beskytter det) i AWS WAF-konsollen, og gå til fanen Sampled requests. Klik på en requests URI for at se dens headers: CoreDash-requests har en user agent, der starter med CoreDash/. Kolonnen "Rule inside rule group" angiver den regel, der blokerede dem.

Bot Controls regel SignalNonBrowserUserAgent blokerer CoreDash-oppetidstjekkene på acme-aws.com.

2. Klik på Add rules › "Add my own rules and rule groups" på din web ACL for at åbne Rule builder (i den nye AWS-konsol hedder den Custom rule). Udfyld den som på skærmbilledet: En almindelig regel ved navn CoreDash, som undersøger headeren user-agent og tillader alle requests, hvor den starter med CoreDash/. Rul derefter ned under formularen og klik på "Add rule".

CoreDash-reglen: Single header user-agent, Starts with string CoreDash/, handling Allow.

3. AWS åbner derefter "Set rule priority". Vælg CoreDash, klik på "Move up", indtil den ligger øverst, og klik på Save. AWS afvikler reglerne fra toppen og ned, og en request, der matcher en Allow-regel, behandles ikke videre – så Bot Control ser aldrig en CoreDash-request.

CoreDash øverst, over regelgruppen Bot Control.

4. Kontroller, at CoreDash slipper igennem. I Sampled requests viser de nyeste CoreDash-requests nu din CoreDash-regel med handlingen Allow.

De nyeste CoreDash-tjek på acme-aws.com matcher CoreDash-reglen og slipper igennem.

Tjek den bot, du bruger, i CoreDash som i trin 5 under Cloudflare Skip-reglen: En ny audit viser din egen side i Page load filmstrip, og overvågningen skifter til Up efter det næste oppetidstjek.

Ligesom på Cloudflare gør dit projekts bot-token denne regel mere sikker. Hvorfor, og hvilke sites der modtager tokenet, kan du læse i afsnittet om Cloudflare-tokenet ovenfor. Sådan skifter du AWS-reglen over til tokenet:

1. Åbn Project settings i CoreDash, gå til fanen "CoreDash bot token", og klik på "Copy token".
2. Åbn CoreDash-reglen på din web ACL i AWS WAF igen. Det er formularen fra skærmbilledet af Rule builder ovenfor.
3. Skift feltnavnet for headeren fra user-agent til x-coredash-bot. AWS skelner ikke mellem store og små bogstaver i headernavne, så det svarer til headeren X-CoreDash-Bot.
4. Sæt match type til "Exactly matches string", indsæt dit token som strengen, der skal matches, og gem reglen.

Origin-tjekket timer ud bag dit CDN

Dette gælder kun for oppetidstjekket, og kun hvis du har udfyldt Origin IP under Advanced, da du opsatte overvågningen. I så fald tjekker CoreDash også din server direkte, udenom dit CDN. Nogle servere accepterer udelukkende requests fra CDN'ets egne adresser. Overvågningen skifter så til Down med "The origin check fails: Connect timeout", mens almindelige besøgende stadig modtager sider fra CDN'et.

CDN'et leverer stadig cachede sider, og tjekket på selve serveren timer ud.

En regel på user agenten eller tokenet hjælper ikke her: Den type server afviser tjekket på grund af dets oprindelse, før den overhovedet læser nogen header. Serveren skal derfor kende CoreDash på IP-adresserne. Tillad de to oppetidsadresser, 51.195.222.219 og 51.195.222.220, i din servers firewall, eller bed din hostingudbyder om at gøre det. Begynder origin-tjekket at time ud igen senere, så tjek den aktuelle liste først: Adresserne kan have ændret sig.

CoreDash er stadig blokeret

Viser overvågningen stadig Blocked, eller fejler auditten stadig, åbner du loggen igen og klikker på den nyeste CoreDash-request: Events i Cloudflare, Sampled requests i AWS. Det, der nævnes her, er det, der stopper CoreDash nu. De typiske årsager:

• En anden funktion end før, for eksempel Browser integrity check efter du slog Bot Fight Mode fra. Opret også Skip-reglen.
• Reglen er ikke aktiv, eller i AWS ligger den ikke øverst. I Cloudflare skal CoreDash-reglen stå som Active under Custom rules. I AWS skal den ligge øverst i "Set rule priority".
• Reglen afviger fra vejledningens trin. Cloudflare kræver contains og CoreDash/ med skråstreg; AWS kræver headeren user-agent og "Starts with string".
• En af dine egne Cloudflare-regler, f.eks. en regel, der blokerer lande. Skip-reglen lader dine egne custom rules køre videre, så tilpas den pågældende regel til at undtage CoreDash. Events viser, hvilket land requesten kom fra.
• Under Attack Mode. Den møder alle besøgende med en challenge – inklusive CoreDash – indtil du slår den fra.
• En request, der gik igennem, eller slet ingen CoreDash-request. I så fald findes der en anden firewall foran eller bagved Cloudflare eller AWS – f.eks. din hosts firewall eller en regel på din server. Tillad også CoreDash/-user agenten der.

Sidder du stadig fast? Kontakt CoreDash med URL'en til overvågningen eller den auditerede side samt tidspunktet for blokeringen.

Hvad begge botter sender og hvorfor, kan du læse på CoreDashs bot-side. Læs mere om overvågning under oppetidsovervågning, og se Uptime API'et for scripts.