Boty CoreDash: co pobierają i jak je rozpoznać
CoreDash/1.0 w logach to jeden z dwóch botów CoreDash. Oba otwierają wyłącznie strony, o które poprosił klient CoreDash.
Kto zarządza botami CoreDash i dlaczego wchodzą na stronę
W skrócie
- CoreDash ma dwa boty: uptime check odpytuje o stronę co 30 minut, a audyt cRUM – test szybkości pojedynczej strony – ładuje ją raz w Chrome, gdy klient otwiera jej raport.
- Oba wysyłają user agent zaczynający się od
CoreDash/. Ich adresy znajdują się w ips.json, a klienci CoreDash otrzymują też tajny token w nagłówku. - Aby je wpuścić, zezwól na ten user agent. Jeśli nie chcesz ich na stronie, skontaktuj się z CoreDash, a wizyty ustaną.
CoreDash to narzędzie do monitorowania rzeczywistych użytkowników dla Core Web Vitals. Właściciele stron sprawdzają w nim, jak szybko strony ładują się prawdziwym użytkownikom na telefonach i komputerach. CoreDash ma siedzibę w Bergen op Zoom w Holandii i sam zarządza oboma botami.
Bot CoreDash wchodzi na stronę tylko wtedy, gdy poprosi o to klient CoreDash: po dodaniu strony do monitora uptime'u lub po otwarciu jej audytu. Boty nie podążają za linkami i nigdy nie szukają stron na własną rękę. Nic z tego, co pobiorą, nie trafia do indeksu wyszukiwarki ani nie trenuje modeli AI. Wyniki trafiają do klienta, który o nie poprosił, i do nikogo innego.
User agenty CoreDash
CoreDash/1.0 (uptime; +https://www.coredash.app/bot) CoreDash/1.0 (audit; +https://www.coredash.app/bot)
Słowo w nawiasie wskazuje, który bot wysłał request, a link prowadzi do tej strony. Każde narzędzie CoreDash wysyła user agent zaczynający się od CoreDash/ – dotyczy to także narzędzi dodanych w przyszłości. Wyszukanie w logach lub reguła firewalla dla CoreDash/ wyłapie je wszystkie. Tę samą nazwę może jednak wysłać każdy, dlatego sprawdź też w ips.json adres, z którego przyszedł request.
Uptime check i audyt cRUM
W access logu serwera oba boty wyglądają tak: uptime check o pełnej godzinie i o wpół do oraz pojedynczy audyt ładujący stronę wraz z CSS-em i obrazem.
Access log serwera www.example-shop.com.
Uptime check
Klient dodaje adres URL do monitora uptime'u w CoreDash. Od tej chwili uptime check odpytuje ten URL co 30 minut: jeden serwer CoreDash o pełnej godzinie, drugi o wpół do. Daje to 48 sprawdzeń na dobę dla każdego monitora.
Każde sprawdzenie to jeden request GET po HTML oraz po jednym na każde przekierowanie, maksymalnie do pięciu z rzędu. Bot odczytuje najwyżej pierwsze 256 KB odpowiedzi i nie ładuje obrazów, skryptów ani CSS. Jeśli klient podał adres IP serwera strony, każde sprawdzenie wysyła też request bezpośrednio do tego serwera, omijając CDN, aby sprawdzić, czy sam serwer odpowiada. CoreDash zachowuje kod statusu i czasy odpowiedzi – z samej strony nie zapisuje nic.
Audyt cRUM
Audyt cRUM to test szybkości pojedynczej strony w CoreDash. Uruchamia się, gdy klient otwiera raport danej strony w CoreDash, a także przy ponownym uruchomieniu testu lub przełączeniu między telefonem a komputerem. Nie ma tu żadnego harmonogramu: strona, której raportu nikt nie otwiera, nigdy nie przechodzi audytu.
Audyt ładuje stronę raz w Chrome, z wyłączonym cache'em, jak przy pierwszej wizycie na telefonie lub komputerze. Chrome pobiera wtedy wszystko, czego wymaga strona: CSS, skrypty i obrazy – dokładnie tak, jak dla każdego innego użytkownika. W logach zobaczysz request o stronę z parametrem _cache_bust= i znacznikiem czasu dodanym do adresu URL, a zaraz po nim requesty o jej pliki – wszystkie z user agentem audytu.
Pliki, które strona ładuje z innych serwisów – jak fonty czy skrypty analityczne – również są pobierane z user agentem audytu. Jeśli hostujesz taki plik, CoreDash może pojawić się w logach przy stronie, która nie należy do Ciebie. Każdy z tych requestów to po prostu część ładowania strony wybranej przez klienta.
Jak sprawdzić, czy request pochodzi z CoreDash
CoreDash publikuje adresy swoich botów pod app.coredash.app/bot/ips.json. To plik JSON w formacie, jakiego Google używa dla adresów swoich crawlerów, z polem service o wartości „uptime” lub „audit” dla każdego adresu. Request z user agentem CoreDash z adresu, którego nie ma w tym pliku, nie pochodzi z CoreDash.
Adresy te mogą się zmieniać: CoreDash od czasu do czasu dodaje lub przenosi serwery. Zawsze sprawdzaj aktualną wersję pliku. Pole creationTime zmienia się przy każdej modyfikacji listy.
Klienci CoreDash mają do dyspozycji drugą metodę weryfikacji. Każdy projekt ma własny, tajny token bota. Oba boty wysyłają go w nagłówku X-CoreDash-Bot, gdy odwiedzają stronę projektu lub jedną z jej subdomen. Wizyta na jakiejkolwiek innej stronie nie zawiera tokena. Token znajdziesz w CoreDash w sekcji Project settings, w zakładce „CoreDash bot token”.
Przepuszczanie botów CoreDash przez firewall
Firewall lub CDN czasami bierze boty CoreDash za niezaufane i je blokuje. Aby je wpuścić, zezwól na requesty, których user agent zaczyna się od CoreDash/. Jeśli strona znajduje się w Twoim projekcie CoreDash, bezpieczniejsza będzie reguła oparta na tokenie bota – mają go tylko requesty z tego projektu. Na adresy IP zezwalaj tylko wtedy, gdy nic innego nie działa, i pamiętaj, że mogą się one zmienić. Przepuszczanie botów CoreDash przez CDN lub firewall opisuje konfigurację dla Cloudflare i AWS WAF.
Dlaczego boty CoreDash nie czytają robots.txt
Plik robots.txt mówi crawlerom, które strony mogą odwiedzać, gdy same przeszukują serwis. Boty CoreDash nigdy tego nie robią. Każdą wizytę zleca klient – dokładnie tak samo, jak Lighthouse ładuje stronę, gdy ktoś uruchamia test. Dlatego żaden z nich nie czyta robots.txt, a reguła Disallow ich nie powstrzyma.
Zatrzymanie botów CoreDash na stronie
Jeśli masz pytania o boty lub nie chcesz ich na stronie, skontaktuj się z CoreDash przez stronę kontaktową. Prześlij adres URL oraz wpis z CoreDash z logów. CoreDash wstrzyma wtedy wizyty na stronie.
