Yon inondasyon scraper sou plan Gratis Cloudflare: sa ki te kanpe l, ak sa nou te kite etenn

Operasyon2026-10-31

Yon maten, youn nan sit lis nou yo te sispann louvri. Cloudflare te montre vizitè yo yon erè 524, orijin nan te pran de a sis minit pou chak paj, epi anyen pa t avèti nou pandan apeprè dis èdtan. Kòz la te yon scraper k ap pase nan pwoksij rezidansyèl ak apeprè 225 demann pa segond.

Fòm inondasyon an

• Milye adrès, youn a twa demann chak. Koneksyon entènèt kay nan US, Espay, Frans, Brezil, UK ak lòt kote, kalite trafik yon rezo pwoksij rezidansyèl lwe.
• User agents Chrome sou Mac, ak nimewo vèsyon soti 103 rive 151.
• Preske jamè yon cookie oswa yon Referer. Nan 2,697 demann nou te echantiyone nan sèvè a, 4 te pote yon cookie epi 4 yon Referer.
• De kalite kliyan. Apeprè mwatye te voye okenn header Sec-Fetch-* ni okenn endis kliyan: yon script ak yon chenn user agent kopye. Lòt mwatye a te voye header navigatè konplè: yon navigatè san tèt.

Chak paj te rann pou chak demann, kidonk chak worker te mete santèn rann nan liy epi rive nan limit CPU li.

Poukisa limit pa adrès pa t ka ede

Yon limit to konte demann pa adrès. Ak youn a twa demann soti nan chak nan milye adrès, okenn adrès pa janm pwoche bò yon limit. Bloke peyi ta bloke vizitè nou yo. Sa scraper a pa t ka foje san depans se konpòte tankou yon navigatè ki te deja vizite sit la.

Nan bò Cloudflare: twa règ gratis

Plan Gratis la pèmèt senk règ WAF pèsonalize pa zòn. Nou te itilize twa, tout ak yon defi jere olye yon bloke, konsa yon moun ki pran pa erè klike pou l pase:

• Navigatè fo: yon GET kote user agent la genyen Chrome/ epi ki pa gen header Sec-Fetch-Mode. Chak Chrome depi 2019 voye l.
• Nwaj scraper: yon demann paj soti nan rezo Alibaba, Tencent ak Huawei Cloud, kote anpil nan sa nou te defi a te soti.
• Ijans, etenn pa defo: yon GET san okenn cookie ditou epi san Referer. Yon moun ki te deja vizite sit la, oswa ki rive atravè yon lyen, pase san pwoblèm; yon scraper ki pa kenbe cookie rankontre yon defi sou chak demann. Nou limen l sèlman pandan yon inondasyon, paske li defi tou yon moun ki tape adrès la nan yon navigatè fre.

Twa a kite pase bots verifye Cloudflare yo, user agents ki nonmen tèt yo kòm robots, pwòp adrès nou yo, chemen API ak webhook yo, ak fichye ki se pa paj. De jou apre, inondasyon an te toujou ap mache: nan yon èdtan, règ fo navigatè a te lanse defi sou plis pase 10,000 demann. 10,000 evènman Cloudflare retounen pa rechèch te soti nan 9,627 adrès, okenn pa te gen plis pase 4.

Nan orijin an: yon baraj nan aplikasyon an

Mwatye san tèt la gen tout header navigatè Chrome, konsa règ bò kwen yo sèlman pa kenbe l pandan règ ijans lan etenn. Nan aplikasyon an menm, nou mete yon ti middleware devan motè rann paj la:

• yon user agent Chrome ki pa gen ni Sec-Fetch-Mode ni endis kliyan resevwa yon 403 anvan okenn travay fèt;
• yon moun etranje, ki pa gen okenn nan cookies nou yo epi san Referer, sèvi sèlman lè travayè a gen kapasite vid, a kèk paj pa segonn. Pi lwen pase sa, yon paj 503 de 400 okte mete yon cookie epi rechaje apre de segonn. Yon moun jwenn paj la sou dezyèm eseye a; yon scraper ki pa kenbe cookies pa janm jwenn li.

Nan premye minit li a, baraj la te refize apeprè 6,700 fo navigatè epi te vire do sou apeprè 6,700 moun etranje, pandan l t ap sèvi moun etranje yo apeprè 9 paj pa segonn. Demann ki te ralanti yo tonbe a zewo, CPU travayè yo te bese soti nan limit yo a 12 a 15 pousan, epi memwa yo te bese soti nan 4 a 5 GB chak a 0.65 GB.

Sa nou kite etenn

• Bot Fight Mode. Li lanse defi sou trafik otomatik epi li pa ka sote ak yon règ pèsonalize sou plan Gratis la, epi li te kenbe webhook founisè peman nou an.
• Mòd Under Attack pou tout zòn nan. Li pase chak vizitè, kliyan API ak webhook nan entèstisyèl la. Règ ijans lan fè menm travay la sèlman pou demann paj moun etranje yo.
• Règ limit vitès plan Gratis la. Li konte pa adrès, sa inondasyon sa a pa janm deklanche.
• Bloke krawler AI yo. Nou vle jwenn pa asistan rechèch AI yo, epi krawler sa yo pa t pwoblèm nan.

Kesyon kle a

Yon inondasyon atravè pwoksi rezidansyèl fasil pou wè pa sa ki manke l: header fetch navigatè, cookies ak Referer. Lanse defi sa a nan bò kwen an, kenbe moun etranje yo nan limit sa travayè ou yo ka rann, epi asire w ke yon bagay deyò sèvè a remake lè yon paj sispann louvri. Night Watch anbalote tout twa a: siveyans lan, règ yo ak yon chanjman otomatik pou ijans lan, ak baraj la pou aplikasyon web Python.