Night Watch
Kenbe sit ou yo ap fonksyone malgre inondasyon scraper yo: yon siveyans disponiblite, yon pwoteksyon plan Cloudflare Gratis ak yon gadyen sekirite pou bot.
- Linux
- Python 3.10+
- Cloudflare Free plan
- ASGI or WSGI apps
Sa li fè
Night Watch louvri chak sit ou kouri menm jan yon vizitè fè l, chak senk minit, epi li di ou moman youn sispann louvri ak moman li tounen. Lè yon sit tonbe paske yon scraper ap inonde l, siveyans lan aktive yon règ Cloudflare ki sispann inondasyon an nan bò kote a, epi aplikasyon w lan kontinye sèvi moun pandan sa dire.
- Chak sit, chak senk minit. Chak zòn nan kont Cloudflare ou a, plis nenpòt paj ou mete nan lis, si ou vle ak tèks paj la dwe genyen. Yon mesaj lè yon sit tonbe, yon lè li tounen ak konbyen tan li te tonbe, yon rapèl pandan li rete tonbe. Pa imel, yon webhook chat, oswa toude.
- Yon boukliye sou plan Gratis la. Twa règ WAF pèsonalize: yon user agent Chrome san tèt yo tout Chrome reyèl voye jwenn yon defi, demann paj soti nan nwaj scraper yo jwenn yon defi, epi yon règ ijans defi moun etranje san cookie ak san lyen pandan yon inondasyon.
- Lanmpe tèt li. Lè yon sit tonbe akòz twòp chaj, siveyans lan aktive règ ijans lan epi li di sa nan alèt la; plizyè èdtan apre sit la tounen, li dekonekte l. Yon boukliye ou te aktive ou menm rete aktive.
- Yon baraj andedan aplikasyon w lan. Yon sèl fichye san depandans, pou FastAPI, Starlette, Django, Flask oswa nenpòt aplikasyon ASGI oswa WSGI. Li refize fo navigatè anvan kòd ou a kouri epi li kenbe moun etranje yo nan limit sa chak travayè ka sèvi. Moun ki gen yon cookie oswa k ap rive atravè yon lyen pa janm remake l.
- Wè sa k ap frape ou. Sa firewall Cloudflare a te defi nan dènye minit yo, pa règ, rezo, peyi, user agent ak chemen, li li nan evènman brit yo plan Gratis la pèmèt.
- Anile enkli. Chak chanjman règ sove règ zòn nan anvan, pwòp règ ou yo rete an plas devan pa nou yo, epi yon sèl kòmandan mete seri sove a tounen.
Teste sou pwòp sit nou yo
- Yon vrè inondasyon, yon èdtan: sou yon sit pa nou, règ fo navigatè a te defi plis pase 10,000 demann. 10,000 yo Cloudflare kite nou li yo te soti nan 9,627 adrès entènèt kay, okenn pa t voye plis pase 4: yon limit vitès pa adrès pa t janm ta deklanche.
- Chak règ, sonde an dirèk sou plan Gratis la: yon moun etranje te defi pandan règ ijans lan te aktive epi kite l pase ak yon cookie oswa yon lyen; yon user agent Chrome san tèt navigatè te defi; Googlebot pase. Règ zòn nan anvan yo te restabli egzakteman apre sa.
- Pòtay la anba 1,747 demann pa segonn sou uvicorn: chak scraper san entèt navigatè te refize, moun etranje te rete sa aplikasyon an te ka sèvi, epi chak vizitè k ap retounen, vizitè lyen ak demann Googlebot te sèvi nan yon tan medyan 0.20 segonn, tan pwòp paj la.
Sa ki andedan
Siveyans lan
Sit yo nan kont Cloudflare ou a ak yon lis, tès ki sanble ak yon vizitè, mesaj pa imel oswa webhook, ak yon tès ki di "tout bagay tonbe" lè "machin sa a deyò".
Boukliye a
Enstalasyon, estati, limen, etenn, dezenstalasyon ak retablisman pou yon zòn oswa pou tout, ak chak chanjman ki sovgade anvan.
Pòtay la
Lojisyèl entèmedyè ASGI ak WSGI, yon paj "tanpri tann yon ti moman" de (2) segonn ki bay moun yo yon cookie, ak yon liy rejis pa minit.
Manuel operasyon an
Kisa pou fè lè yon sit ralanti oswa tonbe, kijan pou li yon afliks, ak sa pou pa aktive nan tablo kontwòl Cloudflare a.
Egzijans
- Linux ak systemd ak Python 3.10 oswa yon vèsyon pi resan; pa gen anyen pou enstale ak pip.
- Pou gadyen sekirite a ak vi evènman an, sit sou Cloudflare (nenpòt plan, plan Gratis la enkli) ak yon kle API.
- Yon machin ki pa menm ak sa ki sèvi sit ou yo, konsa li ka avèti w lè sa a tonbe.
Bon pou konnen
- Règ ijans lan tou defye yon moun ki tape adrès ou nan yon navigatè ki fenk louvri, se poutèt sa li etenn eksepte pandan yon inondasyon.
- Bot verifye ak robo ki idantifye tèt yo pa janm defye, epi motè rechèch yo pa janm refize nan pòtay la.
- Boukliye a itilize twa nan senk règ pèsonalize Plan Gratis la pèmèt pou chak zòn.
Kesyon
Èske mwen bezwen yon plan Cloudflare peye?
Non. Tout sa Night Watch fè ap mache sou plan Gratis la: twa règ yo, vi evènman an ak basculman otomatik la. Yon plan peye sèlman ba ou plis plas règ bò kote pa nou.
Èske l ap bloke Google oswa wobo rechèch AI yo?
Non. Wobo verifye Cloudflare yo ak tout wobo ki idantifye tèt yo nan user agent yo pase nan boukliye a, epi pòtay la pa janm vire do l bay yon motè rechèch oswa yon apèsi lyen. Si ou vle bloke wobo AI yo, se yon chwa separe nan tablodbò Cloudflare a.
Sit mwen an pa sou Cloudflare. Èske li toujou itil?
Siveyans la ak pòtay la mache nenpòt kote: siveyans la louvri nenpòt URL, epi pòtay la pwoteje nenpòt aplikasyon web Python. Boukliye a ak vi evènman an mande Cloudflare.
Kijan sa a diferan de yon monitè disponiblite?
Yon monitè disponiblite di w ke yon sit anba. Night Watch di w sa tou, epi li aji sou kòz ki pi komen nou wè: li aktive boukliye a nan bò Cloudflare, epi pòtay la kontinye sèvi moun ou vle yo pandan inondasyon an dire.
Mizajou: