Laat de CoreDash-bots door je CDN of firewall

Laat beide CoreDash-bots door je CDN of firewall

CoreDash heeft twee bots die je site bezoeken: de cRUM-audit en de uptime check. Om alles uit CoreDash te halen, moet je CDN of firewall ze allebei doorlaten. Soms blokkeert een instelling ze. Deze pagina laat zien hoe je dat fixt in Cloudflare en AWS WAF, met één regel voor beide bots.

Wat de twee bots voor je doen:

• De cRUM-audit. Kies je een pagina onder cRUM (beta) in het CoreDash-menu, dan opent CoreDash die pagina in Chrome op zijn audit-server, net zoals een bezoeker dat zou doen, en laat zien wat de pagina vertraagt. De user agent is CoreDash/1.0 (audit; +https://www.coredash.app/bot).
• De uptime check. Elke 30 minuten vraagt CoreDash vanaf zijn eigen servers elke site op die je monitort, en meldt het als er eentje down gaat. Deze bot stuurt CoreDash/1.0 (uptime; +https://www.coredash.app/bot).

Een user agent is de naam die een browser of bot meestuurt met elk request om te laten weten wie hij is. Bij CoreDash beginnen ze allebei met CoreDash/, en daar kijkt je regel straks naar.

Zo ziet een geblokkeerde audit of uptime check eruit

Je firewall of CDN ziet een bezoeker uit een datacenter met een user agent die niet van een browser is. Hij ziet die aan voor een onbetrouwbare bot en reageert met een foutcode of een challenge-pagina. Elke bot laat dat op zijn eigen manier zien.

Een geblokkeerde cRUM-audit stopt met het bericht "Audit failed" en een fout eronder. Of hij draait toch door, maar dan op de blokkade-pagina: de Page load filmstrip toont dan een challenge of een foutpagina in plaats van je eigen site, en elk getal in de audit hoort bij die pagina.

De uptime-monitor toont Blocked, en de melding "A firewall blocks the checker" toont de statuscode die de checks kregen en sinds wanneer. CoreDash telt geblokkeerde checks niet mee voor je downtime, dus de blokkade verlaagt je uptime niet. Maar zolang elke check wordt geblokkeerd, bereikt geen enkele check je site. De monitor kan je dan niet vertellen wanneer je site down gaat.

De monitorpagina voor example-shop.com als Cloudflare elke uptime check beantwoordt met een 403.

Hoe je firewall CoreDash herkent

Je maakt één uitzondering voor CoreDash in je firewall of CDN. De meesten doen dat op de user agent: één regel op CoreDash/ laat de audit en de uptime check door. Het bot-token van je project maakt die regel een stuk veiliger, omdat alleen de bots van je eigen project dit token meesturen. De IP-adressen van CoreDash bewaar je voor als niets anders werkt. Die veranderen zodra CoreDash een server toevoegt of verplaatst, dus zo'n regel moet je zelf bijhouden.

Welke instelling de uitzondering nodig heeft, zie je in het log van je firewall. Het log van Cloudflare komt in de volgende sectie aan bod. Ga voor AWS WAF direct naar "Laat CoreDash toe in AWS WAF, boven Bot Control" verderop.

Achterhaal wat CoreDash tegenhield in Cloudflare

Open je domein in Cloudflare en ga naar Security › Analytics, tabblad Events. Zoek onder Sampled logs een request met een CoreDash user agent. Klik op een drukke site op Filter, kies User agent als veld en plak de volledige user agent als waarde: CoreDash/1.0 (uptime; +https://www.coredash.app/bot) voor de uptime check of CoreDash/1.0 (audit; +https://www.coredash.app/bot) voor de audit.

Klik op het request om het te openen. De regel Service noemt het Cloudflare-onderdeel dat het request tegenhield.

Browser Integrity Check blokkeerde deze uptime check op example-shop.com.

Die regel Service bepaalt je fix:

• Bot fight mode: dit is de botbescherming van het Cloudflare Free-plan, en je regels kunnen hier geen uitzondering voor maken. Spring door naar het onderdeel over Bot Fight Mode verderop.
• Iets anders, zoals Browser integrity check in het screenshot, een managed rule of Super Bot Fight Mode: maak de Skip-regel hieronder.

Laat CoreDash door Cloudflare met een Skip-regel

Een Skip-regel vertelt Cloudflare om elk request met een CoreDash user agent met rust te laten voor de functies die je kiest. Hij dekt de audit en de uptime check tegelijk af, en je kunt er een aanmaken op elk Cloudflare-plan.

1. Ga naar Security › Security rules. Klik onder Custom rules op Create rule.

Security rules voor example-shop.com, vóór de eerste custom rule.

2. Geef de regel de naam CoreDash. Klik onder "When incoming requests match" op "Edit expression" en plak deze regel in het tekstvak dat opent.

   http.user_agent contains "CoreDash/"

Regelnaam en expressie na de klik op "Edit expression". De slash achter CoreDash hoort erbij.

3. Kies onder "Then take action" voor Skip en selecteer wat Cloudflare overslaat voor CoreDash. Vink in "WAF components to skip" "All managed rules" en "All Super Bot Fight Mode Rules" aan. Klik op "More components to skip" om dit te openen en vink ook "Browser Integrity Check" aan. Laat "Log matching requests" aanstaan, zodat Events straks laat zien dat de regel werkt.

De actie Skip, met de drie aangevinkte opties.

4. Klik op Deploy. Heeft je domein al andere custom rules, dan vraagt Cloudflare waar deze moet komen: zet hem bovenaan.

Zonder andere custom rules hoef je niets te rangschikken, dus Deploy is de laatste klik.

5. Controleer of CoreDash doorkomt. Zodra de volgende audit of uptime check binnenkomt, toont Events in Cloudflare deze met de actie Skip. Controleer in CoreDash de bot die je gebruikt, of allebei.

Voor de cRUM-audit kies je de pagina opnieuw onder cRUM (beta), of ververs je het browsertabblad waarin hij openstaat; er start dan een nieuwe audit. Zodra die doorkomt, toont de Page load filmstrip hoe je eigen pagina frame voor frame in Chrome laadt.

Een voltooide audit, met TTFB, FCP, LCP en CLS gemarkeerd op de frames.

Voor de uptime check hoef je niet te klikken: CoreDash controleert op het hele en halve uur, dus binnen 30 minuten springt de monitor op Up en zijn de nieuwe balkjes groen.

example-shop.com staat weer op Up: 38 checks kregen een 403, en elke check sinds de regel kreeg een 200.

Een veiligere Cloudflare-regel met je CoreDash bot-token

Iedereen kan een user agent meesturen die begint met CoreDash/. Een kwaadwillende bot die zich voordoet als CoreDash komt dus ook door de Skip-regel heen. Het bot-token van je project is geheim: elke audit en uptime check stuurt dit mee in een header met de naam X-CoreDash-Bot. Een regel op dat token laat alleen de bots van je eigen project door.

Je vindt het token door in CoreDash naar Project settings te gaan en het tabblad "CoreDash bot token" te openen. Alleen de projecteigenaar kan dit openen. Staat een monitor op Blocked, dan brengt de link "View your CoreDash bot token" in de melding je er ook naartoe. Klik op "Copy Cloudflare rule": je krijgt de volledige expressie inclusief jouw token.

"Copy Cloudflare rule" zet de expressie met jouw token op je klembord.

Heb je de Skip-regel al gemaakt, ga dan naar Security › Security rules en open de CoreDash-regel. Vervang de user agent-regel in de expressie door wat je net hebt gekopieerd en sla de regel op. De actie en de aangevinkte opties blijven zoals ze zijn. Heb je nog geen regel, volg dan de bovenstaande stappen voor de Skip-regel en plak de token-regel bij stap 2.

Het token gaat alleen naar de eigen site van je project en subdomeinen daarvan. Een monitor of een audit van een pagina op een ander domein stuurt geen token mee, dus dat domein houdt de user agent-regel. En belandt het token ooit op een plek waar het niet hoort, klik dan op "Make a new token". Het oude token stopt direct met werken, dus zet het nieuwe meteen daarna in je Cloudflare-regel.

Bot Fight Mode op het Cloudflare Free-plan

Stond er bij de regel Service in Events Bot fight mode, dan is dit deel voor jou.

Een CoreDash uptime check met de actie Managed Challenge en de Service Bot fight mode.

Bot Fight Mode schotelt eenvoudige bots op cloudservers een challenge voor, en voor Cloudflare zijn beide CoreDash-bots precies dat. Volgens de documentatie van Cloudflare hebben Skip- en Allow-regels hier geen vat op. Je zet het dus óf uit, óf je laat het aanstaan en laat de IP-adressen van CoreDash erlangs.

Zet Bot Fight Mode uit

Ga naar Security › Settings en filter op Bot traffic. Zoek de rij "Bot fight mode" en zet de schakelaar uit. Cloudflare stopt dan met het challengen van die eenvoudige bots op je hele site. Wil je dit type bescherming liever behouden: het Pro-plan biedt Super Bot Fight Mode, en die luistert wél naar de Skip-regel. Heb je de schakelaar uitgezet, maak dan ook de bovenstaande Skip-regel aan. Zo voorkom je dat Browser Integrity Check of een managed rule CoreDash alsnog tegenhoudt.

De schakelaar voor Bot fight mode staat in de kolom Status. In dit screenshot staat hij al uit.

Laat Bot Fight Mode aanstaan en laat de IP-adressen van CoreDash toe

Voor je begint: deze adressen staan niet vast. Je IP access rules blijven exact zoals je ze hebt ingevoerd, terwijl de actuele lijst altijd te vinden is op app.coredash.app/bot/ips.json. Wordt CoreDash ooit weer geblokkeerd, vergelijk je regels dan eerst met die lijst.

Een IP access rule laat één IP-adres langs je firewallregels, en Bot Fight Mode laat een request met rust als zo'n regel als eerste matchte. Ga naar Security › Security rules en klik onder IP access rules op Create rule. Stelt Cloudflare voor om er een custom rule van te maken, kies dan "No, go to IP access rules". Vul 51.195.222.219 in, kies Allow en "This website", en klik op Create. Maak één regel per adres: 51.195.222.219 en 51.195.222.220 voor de uptime check, 135.125.202.210 voor de cRUM-audit.

Eén IP access rule per CoreDash-adres, ingesteld op Allow voor "This website".

Welke fix je ook kiest: controleer daarna of CoreDash doorkomt, net zoals in stap 5 van de Skip-regel.

Laat CoreDash toe in AWS WAF, boven Bot Control

In AWS WAF zit wat CoreDash tegenhoudt meestal in Bot Control, de managed rule group die AWS biedt tegen bots. Je lost dit op met een Allow-regel voor de CoreDash user agent, geplaatst boven Bot Control. Die ene regel laat zowel de audit als de uptime check door. De AWS-screenshots hier komen uit een demo-omgeving voor acme-aws.com, speciaal gemaakt voor deze pagina.

1. Open in de AWS WAF-console de web ACL van je site (de set regels die je site beveiligt) en ga naar het tabblad Sampled requests. Klik op de URI van een request om de headers te bekijken: requests van CoreDash hebben een user agent die begint met CoreDash/. De kolom "Rule inside rule group" toont de regel die ze blokkeerde.

De regel SignalNonBrowserUserAgent van Bot Control blokkeert de CoreDash uptime checks op acme-aws.com.

2. Klik in de web ACL op Add rules › "Add my own rules and rule groups" om de Rule builder te openen (in de nieuwe AWS-console heet dit Custom rule). Vul het formulier in zoals in het screenshot: een regular rule genaamd CoreDash die kijkt naar de header user-agent en elk request toestaat waarin die begint met CoreDash/. Scroll vervolgens naar beneden tot onder het formulier en klik op "Add rule".

De CoreDash-regel: Single header user-agent, Starts with string CoreDash/, action Allow.

3. AWS opent vervolgens "Set rule priority". Selecteer CoreDash, klik net zolang op "Move up" tot de regel helemaal bovenaan staat en klik op Save. AWS verwerkt de regels van boven naar beneden. Een request dat matcht met een Allow-regel gaat niet verder, waardoor Bot Control nooit een CoreDash-request te zien krijgt.

CoreDash bovenaan, boven de Bot Control-regelgroep.

4. Controleer of CoreDash doorkomt. In Sampled requests tonen de nieuwste CoreDash-requests nu je CoreDash-regel met de actie Allow.

De nieuwste CoreDash-checks op acme-aws.com matchen met de CoreDash-regel en komen erdoor.

Controleer in CoreDash de bot die je gebruikt, net als in stap 5 van de Cloudflare Skip-regel: een nieuwe audit toont je eigen pagina in de Page load filmstrip, en de monitor springt op Up na de volgende uptime check.

Net als bij Cloudflare maakt het bot-token van je project deze regel veiliger. Waarom, en welke sites het token krijgen, lees je in het gedeelte over het Cloudflare-token hierboven. Zo zet je de AWS-regel over naar het token:

1. Open in CoreDash Project settings, ga naar het tabblad "CoreDash bot token" en klik op "Copy token".
2. Open in AWS WAF de CoreDash-regel op je web ACL opnieuw. Dit is het formulier uit het Rule builder-screenshot hierboven.
3. Wijzig de veldnaam van de header van user-agent naar x-coredash-bot. AWS leest headernamen ongeacht hoofd- of kleine letters; dit is dus de X-CoreDash-Bot-header.
4. Zet het match type op "Exactly matches string", plak je token als de te matchen string en sla de regel op.

De origin check krijgt een timeout achter je CDN

Dit deel gaat alleen over de uptime check, en alleen als je bij het instellen van de monitor Origin IP hebt ingevuld onder Advanced. CoreDash controleert je server dan ook direct, om je CDN heen. Sommige servers accepteren alleen requests van de adressen van het CDN zelf. De monitor springt dan op Down met "The origin check fails: Connect timeout", terwijl bezoekers nog gewoon pagina's van het CDN krijgen.

Het CDN serveert nog gecachte pagina's, terwijl de check op de server zelf een timeout krijgt.

Een regel op de user agent of het token helpt hier niet: zo'n server dropt de check vanwege de herkomst, nog vóór hij welke header dan ook leest. De server moet CoreDash dus herkennen aan de IP-adressen. Laat de twee uptime-adressen, 51.195.222.219 en 51.195.222.220, toe in de firewall van je server, of vraag je host om dat te doen. Krijgt de origin check later opnieuw een timeout, kijk dan eerst op de actuele lijst: het kan zijn dat de adressen zijn gewijzigd.

CoreDash wordt nog steeds geblokkeerd

Staat de monitor nog steeds op Blocked of mislukt de audit nog steeds, open de logs dan opnieuw en klik op het nieuwste CoreDash-request: Events in Cloudflare, Sampled requests in AWS. Wat daar staat, is wat CoreDash nu tegenhoudt. De gebruikelijke oorzaken:

• Een ander onderdeel dan eerst, zoals Browser integrity check nadat je Bot Fight Mode hebt uitgezet. Maak dan ook de Skip-regel aan.
• De regel is niet actief, of staat in AWS niet bovenaan. In Cloudflare moet de CoreDash-regel onder Custom rules op Active staan. AWS verwacht hem bovenaan in "Set rule priority".
• De regel staat anders ingesteld dan in de stappen. Cloudflare heeft contains en CoreDash/ mét slash nodig; AWS vereist de header user-agent en "Starts with string".
• Een van je eigen Cloudflare-regels, zoals een regel die landen blokkeert. De Skip-regel laat je eigen custom rules gewoon actief, dus pas die regel aan om CoreDash uit te zonderen. Events toont uit welk land het request kwam.
• Under Attack Mode. Dit toont een challenge aan elke bezoeker, inclusief CoreDash, totdat je het uitzet.
• Een request dat doorkwam, of helemaal geen CoreDash-request. Dan zit er nog een firewall voor of achter Cloudflare of AWS, zoals de firewall van je host of een regel op je server. Laat de user agent CoreDash/ daar ook door.

Kom je er niet uit? Neem contact op met CoreDash met de URL van de monitor of de geauditeerde pagina, en het tijdstip waarop die geblokkeerd werd.

Wat beide bots meesturen en waarom, lees je op de CoreDash bot-pagina. Meer over monitors: uptime-monitoring, en voor scripts de Uptime API.