Night Watch
Ohranite svoje spletne strani delujoče med poplavami scraperjev: nadzor razpoložljivosti, ščit Cloudflare Free-plan in vrata za bote.
- Linux
- Python 3.10+
- Cloudflare Free plan
- ASGI or WSGI apps
Kaj počne
Night Watch odpre vsako stran, ki jo poganjate, tako kot obiskovalec, vsakih pet minut, in vas takoj obvesti, ko stran preneha delovati in ko spet deluje. Ko stran pade zaradi preobremenitve s scraperji, varuh vklopi pravilo Cloudflare, ki ustavi poplavo na robu, vaša aplikacija pa medtem še naprej streže uporabnike.
- Vsaka stran, vsakih pet minut. Vsaka cona v vašem računu Cloudflare in poljubna stran, ki jo navedete, po želji z besedilom, ki ga mora vsebovati. Ena obvestila, ko stran pade, eno, ko spet deluje (z navedbo časa izpada), in opomnik, medtem ko je stran še vedno nedostopna. Po e-pošti, prek spletnega kljuka za klepet ali oboje.
- Ščit na brezplačnem načrtu. Tri pravila po meri WAF: uporabniški agent Chrome brez glave, ki jih pošilja vsak pravi Chrome, dobi izziv; zahteve za strani iz oblakov scraperjev dobijo izziv; nujno pravilo pa postavi izziv neznancem brez piškotka in brez povezave med poplavo.
- Vklopi se sam. Ko stran pade zaradi preobremenitve, varuh vklopi nujno pravilo in to navede v alarmu; ure po tem, ko stran spet deluje, ga izklopi. Ščit, ki ste ga vklopili sami, ostane vklopljen.
- Vrata znotraj vaše aplikacije. Ena datoteka brez odvisnosti za FastAPI, Starlette, Django, Flask ali katero koli aplikacijo ASGI ali WSGI. Zavrne lažne brskalnike, preden se zažene vaša koda, in ohrani neznance znotraj zmogljivosti posameznega delavca. Uporabniki s piškotkom ali tisti, ki pridejo prek povezave, tega ne opazijo.
- Vidite, kdo vas napada. Kaj je požarni zid Cloudflare v zadnjih minutah postavil pred izziv, po pravilu, omrežju, državi, uporabniškem agentu in poti, prebrano iz surovih dogodkov, ki jih dovoljuje brezplačni načrt.
- Vgrajena razveljavitev. Vsaka sprememba pravila najprej shrani pravila cone, vaša lastna pravila ostanejo na mestu pred našimi, en ukaz pa obnovi shranjeni nabor.
Preizkušeno na naših straneh
- Prava poplava, ena ura: na eni od naših strani je pravilo za lažne brskalnike postavilo pred izziv več kot 10.000 zahtev. Od 10.000 zahtev, ki jih Cloudflare dovoli prebrati, je 9.627 prihajalo z naslovov domačih širokopasovnih povezav, noben pa ni poslal več kot 4 zahtev: omejitev hitrosti na naslov se ne bi nikoli sprožila.
- Vsako pravilo preizkušeno v živo na brezplačnem načrtu: neznancu je bil postavljen izziv, medtem ko je bilo nujno pravilo vklopljeno, in je bil spuščen naprej s piškotkom ali povezavo; uporabniški agent Chrome brez glave brskalnika je bil postavljen pred izziv; Googlebot je šel skozi. Prejšnja pravila cone so bila nato natančno obnovljena.
- Vrata pod 1.747 zahtevami na sekundo na uvicorn: vsak scraper brez glave brskalnika je bil zavrnjen, tujci so bili omejeni na to, kar je aplikacija lahko postregla, vsaka zahteva vrnjenega obiskovalca, obiskovalca s povezave in Googlebota pa je bila postrežena v medijanu 0,20 sekunde, kar je čas same strani.
Kaj je vključeno
Varuh
Strani iz vašega računa Cloudflare in seznam, preverjanja, ki so videti kot obiskovalci, sporočila po e-pošti ali webhooku ter test, ki loči "vse je spodletelo" od "ta stroj je izklopljen".
Ščit
Namestitev, stanje, vklop, izklop, odstranitev in obnovitev za eno cono ali vse cone, pri čemer je vsaka sprememba najprej varnostno kopirana.
Vrata
Vmesna programska oprema ASGI in WSGI, stran "trenutek" z zamikom 2 sekundi, ki ljudem podeli piškotek, in ena vrstica dnevnika na minuto.
Navodila za delovanje
Kaj storiti, ko je stran počasna ali nedostopna, kako brati poplavo zahtev in kaj ne vklopiti v nadzorni plošči Cloudflare.
Zahteve
- Linux s systemd in Python 3.10 ali novejši; ni treba ničesar nameščati iz pip.
- Za ščit in pogled dogodkov so potrebne strani na Cloudflare (katerikoli načrt, vključno z brezplačnim) in žeton API.
- Stroj, ki ni tisti, ki postreže vaše strani, da vam lahko pove, ko je ta stroj nedostopen.
Dobro vedeti
- Izredno pravilo tudi izzove osebo, ki v novem brskalniku vpiše vaš naslov, zato je izklopljeno, razen med poplavo zahtev.
- Preverjeni boti in roboti, ki se predstavijo, nikoli niso izzvani, iskalniki pa vrata nikoli ne zavrnejo.
- Ščit uporablja tri od petih pravil po meri, ki jih brezplačni načrt dovoljuje na cono.
Vprašanja
Ali potrebujem plačljivi načrt Cloudflare?
Ne. Vse, kar Night Watch počne, deluje na brezplačnem načrtu: tri pravila, pogled dogodkov in samodejno preklapljanje. Plačljivi načrt vam ponudi le več mest za pravila poleg naših.
Ali bo blokiral Google ali iskalne pajke za AI?
Ne. Preverjeni boti Cloudflare in vsak robot, ki se predstavi v svojem uporabniškem agentu, preidejo ščit, vrata pa nikoli ne zavrnejo iskalnika ali predogleda povezave. Če želite blokirati pajke za AI, je to ločena izbira v nadzorni plošči Cloudflare.
Moja stran ni na Cloudflare. Je še vedno uporabna?
Varuh in vrata delujejo povsod: varuh odpre katerikoli URL, vrata pa zaščitijo katerokoli spletno aplikacijo Python. Ščit in pogled dogodkov potrebujeta Cloudflare.
Kaj je razlika v primerjavi z nadzornikom razpoložljivosti?
Nadzornik razpoložljivosti vam pove, da stran ne deluje. Night Watch vam to pove tudi, nato pa ukrepa glede najpogostejšega vzroka, ki ga opažamo: vklopi ščit na robu storitve Cloudflare, vrata pa vašo aplikacijo ohranjajo v obratovanju za želene uporabnike, medtem ko poplava traja.
Posodobljeno: