CoreDashin botit: mitä ne pyytävät ja miten tunnistat ne
Lokeissasi näkyvä CoreDash/1.0 on toinen CoreDashin kahdesta botista, ja kumpikin avaa vain sivuja, joita CoreDashin asiakas on pyytänyt.
Kuka CoreDashin botteja ajaa ja miksi ne vierailevat
Lyhyesti
- CoreDashilla on kaksi bottia: uptime-tarkistus pyytää sivua 30 minuutin välein, ja cRUM-auditointi – yksittäisen sivun nopeustesti – lataa sen kerran Chromessa, kun asiakas avaa kyseisen sivun raportin.
- Molemmat lähettävät
CoreDash/-alkuisen user agentin. Niiden osoitteet löytyvät tiedostosta ips.json, ja CoreDashin asiakkaat saavat lisäksi salaisen tokenin headerissa. - Päästät ne läpi sallimalla kyseisen user agentin. Jos et halua niitä sivustollesi, ota yhteyttä CoreDashiin, niin käynnit loppuvat.
CoreDash on Core Web Vitals -mittareiden real user monitoring -työkalu. Sivustojen omistajat näkevät sen avulla, miten nopeasti sivut latautuvat oikeilla kävijöillä mobiilissa ja desktopilla. CoreDash toimii Alankomaiden Bergen op Zoomissa ja ajaa kumpaakin bottia itse.
CoreDashin botti vierailee sivulla vain silloin, kun CoreDashin asiakas sitä pyytää: lisäämällä sivun uptime-seurantaan tai avaamalla kyseisen sivun auditoinnin. Botit eivät seuraa linkkejä eivätkä koskaan etsi sivuja omin päin. Mikään niiden noutama ei päädy hakukoneen indeksiin eikä opeta tekoälymalleja. Tulokset toimitetaan vain pyynnön tehneelle asiakkaalle, ei kenellekään muulle.
CoreDashin user agentit
CoreDash/1.0 (uptime; +https://www.coredash.app/bot) CoreDash/1.0 (audit; +https://www.coredash.app/bot)
Sulkeissa oleva sana kertoo, kumpi botti pyynnön teki, ja linkki tuo tälle sivulle. Jokainen CoreDashin työkalu lähettää CoreDash/-alkuisen user agentin – myös myöhemmin lisättävät työkalut. Lokihaku tai palomuurisääntö ehdolla CoreDash/ löytää ne kaikki. Kuka tahansa voi kuitenkin lähettää tuon nimen, joten tarkista pyynnön tulosoite aina myös ips.json-tiedostosta.
Uptime-tarkistus ja cRUM-auditointi
Palvelimen access-lokissa kaksi bottia näyttävät tältä: uptime-tarkistus tasatunnein ja puolelta, ja yksi auditointi, joka lataa sivun sekä sen CSS:n ja kuvan.
Sivuston www.example-shop.com access-loki.
Uptime-tarkistus
Asiakas lisää URL-osoitteen CoreDashin uptime-seurantaan. Tästä lähtien uptime-tarkistus pyytää kyseistä osoitetta 30 minuutin välein: toinen CoreDash-palvelin tasatunnein ja toinen puolelta. Siitä kertyy 48 tarkistusta vuorokaudessa monitoria kohden.
Jokainen tarkistus on yksi HTML:ää hakeva GET-pyyntö sekä yksi lisäpyyntö jokaisesta uudelleenohjauksesta, enintään viisi peräkkäin. Tarkistus lukee vastauksesta enintään ensimmäiset 256 KB eikä lataa kuvia, skriptejä tai CSS:ää. Jos asiakas on antanut sivuston palvelimen IP-osoitteen, kukin tarkistus lähettää pyynnön myös suoraan kyseiselle palvelimelle CDN:n ohi nähdäkseen, vastaako itse palvelin. CoreDash tallentaa vain tilakoodin ja ajoitukset, ei mitään itse sivusta.
cRUM-auditointi
cRUM-auditointi on CoreDashin tekemä yksittäisen sivun nopeustesti. Se ajetaan, kun asiakas avaa kyseisen sivun raportin CoreDashissa, ja uudelleen silloin, kun testi aloitetaan alusta tai näkymää vaihdetaan puhelimen ja desktopin välillä. Ajastusta ei ole: sivu, jonka raporttia kukaan ei avaa, ei koskaan saa auditointia.
Auditointi lataa sivun kerran Chromessa välimuisti poiskytkettynä, kuten ensikertalainen vierailija puhelimella tai desktopilla. Chrome noutaa sen jälkeen kaiken, mitä sivu pyytää – CSS:n, skriptit ja kuvat – aivan kuten minkä tahansa vierailijan kohdalla. Lokissasi näet sivupyynnön, jonka URL-osoitteeseen on lisätty _cache_bust= ja aikaleima, sekä sitä seuraavat tiedostopyynnöt, kaikki auditoinnin user agentilla.
Myös tiedostot, jotka sivu lataa toiselta sivustolta (kuten verkkofontit tai analytiikkaskriptit), haetaan auditoinnin user agentilla. Jos hostaat tällaista tiedostoa, CoreDash voi näkyä lokissasi sellaisen sivun takia, joka ei ole omasi. Jokainen näistä pyynnöistä on osa asiakkaan valitseman sivun lataamista.
Miten tarkistat, että pyyntö tuli CoreDashilta
CoreDash julkaisee bottiensa osoitteet tiedostossa app.coredash.app/bot/ips.json. Se on JSON-tiedosto samassa muodossa kuin Googlen crawlereiden osoitelista, ja kunkin osoitteen service-kenttä ilmoittaa arvoksi "uptime" tai "audit". CoreDashin user agentilla varustettu pyyntö osoitteesta, jota ei löydy kyseisestä tiedostosta, ei ole tullut CoreDashilta.
Nämä osoitteet voivat muuttua: CoreDash lisää tai siirtää palvelimia aika ajoin. Tarkista pyynnöt aina ajantasaisesta tiedostosta. Sen creationTime päivittyy aina, kun listaa muutetaan.
CoreDashin asiakkailla on toinenkin tarkistuskeino. Jokaisella projektilla on oma salainen bot-tokeninsa, ja molemmat botit lähettävät sen X-CoreDash-Bot-headerissa, kun ne vierailevat projektin omalla sivustolla tai sen aliverkkotunnuksilla. Käynneissä muille sivustoille tokenia ei lähetetä. Token löytyy CoreDashista kohdasta Project settings välilehdeltä "CoreDash bot token".
CoreDash-bottien päästäminen palomuurin läpi
Palomuuri tai CDN luulee CoreDashin botteja toisinaan ei-toivotuiksi ja estää ne. Päästät ne läpi sallimalla pyynnöt, joiden user agent alkaa merkkijonolla CoreDash/. Jos sivusto on omassa CoreDash-projektissasi, bot-tokeniin perustuva sääntö on turvallisempi, koska vain oman projektisi pyynnöt sisältävät sen. Salli IP-osoitteet vain silloin, kun mikään muu ei toimi, ja muista niiden voivan muuttua. Ohjeessa Päästä CoreDashin botit CDN:n tai palomuurin läpi on ohjeet Cloudflarea ja AWS WAFia varten.
Miksi CoreDashin botit eivät lue robots.txt-tiedostoa
robots.txt-tiedosto kertoo crawlereille, millä sivuilla ne saavat vierailla käydessään sivustoa läpi omin päin. CoreDashin botit eivät koskaan tee niin. Jokainen käynti on asiakkaan käynnistämä, samalla tavalla kuin Lighthouse lataa sivun jonkun ajaessa sille testin. Siksi kumpikaan botti ei lue robots.txt-tiedostoa, eikä Disallow-rivi pysäytä niitä.
CoreDash-bottien estäminen sivustollasi
Jos sinulla on kysyttävää boteista tai et halua niitä sivustollesi, ota yhteyttä CoreDashiin yhteydenottosivun kautta. Lähetä kyseinen URL-osoite ja lokistasi löytyvä CoreDash-rivi. CoreDash lopettaa sen jälkeen käynnit sivustollasi.
