Rifaa scraperii sagantaa Bilisaa Cloudflare irratti: maaltu dhaabe, maaltu ammoo cufaa hafe

Hojii2026-10-31

Ganama tokko site ibsa gurgurtaa keenya tokko banuu dhaabe. Cloudflare hordoftoota 524 agarsiise, maddi (origin) fuula tokkoof daqiiqaa lama hanga jaha fudhate, wanti nuuf himu ammoo sa'aatii kudha ol hin jirre. Sababni isaa scraper kan residential proxies fayyadamuudhaan sekonda tokkotti gaaffiiwwan 225 naannoo godhu ture.

Bifa balaalee

• Kumaatama tuqaawwanii, tokkoo hanga sadii gaaffii tokkoon tokkoon isaanii. Walqunnamtii interneetii manaa kanneen akka US, Spain, France, Brazil, UK fi kanneen biroo, kan akka sochii interneetii netaawurkii prooksii mana jireenyaa gurguruu.
• Maamileewwan fayyadamaa Chrome irratti Mac, lakkoofsota verziinii 103 hanga 151 qaban.
• Cookie ykn Referer hin jiru. Keessa gaaffii 2,697 kan server irratti qoranne, 4 cookie qabu, 4 ammoo Referer qabu.
• Gosa lama maamila. Gama tokkoon (harka giddugaleessa) Sec-Fetch-* matadureewwanii fi mallattoolee maamila hin ergine: sagantaa (script) sirna maamila (user agent) koppii godhame qabu. Gama kaan immoo matadureewwan guutuu samsii (browser) ergan: samsii (browser) mata hin qabne (headless browser).

Gubniin hundi gaaffii hundaaf yeroo hundaa ni hojjetamaa ture, kanaafuu hojjettoonni tokkoon tokkoon isaanii hojii hojjechuu dhibbaan lakkaa'amanii turanii daangaa CPU isaaniitti ga'an.

Maaltu daangaa tuuta qubataa gargaarsa hin qabne taasisu

Daangaan sochii (rate limit) gaaffiwwan (requests) tuulaa (address) tokkoon tokkoon isaa lakkaa'a. Gaaffiiwwan tokkoo hanga sadii tuulaawwan kumaan lakkaa'aman irraa yoo ta'an, tuulaan tokko illee daangaa sanatti hin dhiyaatu. Biyyoota cufuun haaftota keenya cufuu ture. Kan sochii (scraper) sanaa baasii xiqqaan of fakkeessuu hin dandeenye akka sochii (browser) dura site sana deemu tureetti of agarsiisuu ture.

Iddoo daangaa Cloudflare: seeraawwan sadii bilisaa

Karoorri Bilisaa seera custom WAF shan zone tokkotti eeyyama. Sadii itti fayyadamne, hundi isaanii haala qorannoo to'atameen (managed challenge) malee dhorkuun (block) hin taane, kanaaf namni dogoggoraan qabame qabxii cuunfaan darba:

• Biraawuzera sobaa: GET kan user agent isaa keessatti Chrome/ qabu fi mata-duree Sec-Fetch-Mode hin qabne. Chrome hundi eegalee bara 2019 sana erga ergaa ture.
• Duumessa scraper: gaaffii fuula irraa kanneen akka Alibaba, Tencent fi Huawei Cloud irraa dhufe, kan keessaa baay'ee kanneen nuti morme irraa dhufe.
• Haala hatattamaa, ofumaan cufaa: GET kan kuukii (cookie) hin qabne fi Referer hin qabne. Namni gara site-ichaatti seene, ykn tuqaa (link) irraan dhufe, hin dhaabbatu; scraper kuukii hin qabne gaaffii (challenge) gaaffii hunda irratti argata. Isaa banina malee yeroo balaan (flood) dhufe, sababni isaas namni adiresii haaraa browser keessatti barreessuufis gaaffii (challenge) argata.

Sagantawwan sadiin hundi botii Cloudflare mirkaneessan, user agent kan ofii akka robotitti ibsan, adiresii keenya, karaan API fi webhook, akkasumas faayilii fuula hin taanin akka darban godhu. Guyyaa lama booda lolli sun itti fufe: sa'aatii tokko keessatti seerri browser sobaa gaaffii 10,000 ol gaafate. Taateewwan 10,000 Cloudflare gaaffii tokkoon deebisu irraa adiresii 9,627 irraa dhufan, tokko illee 4 hin caaluu.

Madda irratti: balbala appii keessatti

Kutaa ofumaa hojjetu (headless) keessatti mattee biraawzaraa guutuu qaba, kanaaf seerota marga (edge rules) qofaan yeroo seerri hatattamaa cufame argamaa hin jiru. Appii keessatti, gabaabummaa (middleware) xiqqaa fuula dhiheessuu (page renderer) dura dhaabneerra:

• Fayyadamaan Chrome kan Sec-Fetch-Mode fi client hints hin qabne hojiin tokko iyyuu hin jalqabamin dura 403 argata;
• namni harkaa hin beekne, kuukii keenya keessaa tokko iyyuu hin qabne, akkasumas Referer hin qabne, hojjechi humna dabalataa yoo qabaate qofaaf tajaajilama, sekondaatti fuulota muraasa. Kan caalu irratti, fuula 503 baaytii 400-byte tokko kuukii kaa'ee booda sekonda lama booda irra deebi'ee bana. Namni tokko yeroo lammaffaatti fuula argata; scraper kuukii hin qabne yeroo hundaa hin argatu.

Daqiiqaa jalqabaatti cufni kun biraawzerota sobaa 6,700 ol didsisaa, namoota hin beekamne 6,700 ol deebisee garagalchuu, yeroo sanatti sekondaatti fuulota 9 ol namoota hin beekamneef dhiheessee ture. Gaaffii suuta deeman gara zeroitti gadi bu'an, CPU hojjettootaa daangaa isaanii irraa gara 12 hanga 15 percentitti gadi bu'e, akkasumas yaadannoo isaanii tokkoon tokkoon isaanii GB 4 hanga 5 irraa gara GB 0.65 gadi bu'e.

Kan ofumaa hojjetu nutti dhiifne

• Bot Fight Mode. Traafikii ofumaan hojjetamu qorata; sagantaa Free irraa seera mataa keetiin darbuu hin danda'u, webhooka dhaabbata kaffaltii keenyaa argateera.
• Haala 'Under Attack' sagantaa hojii guutuuf. Kun hunda — hiriyyoota, API fi webhook — gara tuuta interstitialitti geessa. Seerri hatattamaa hojii walfakkaatuuf gaaffii fuula namoota hin beekamne qofaaf hojjeta.
• Seera muddamaa sirna bilisaa. Kunis akka tuutaatti lakkaa'ama, baha guddaa kun immoo inni hin kaasu.
• Daawwattoota AI dhorkuu. Gargaartoota barbaaduu AI'n akka argamnu barbaanna, daawwattoonni sun rakkoo hin turan.

Qoodama (Takeaway)

Daawwii guddaa prookisiinii manneen jiraatamuu irraa dhufu kan salphaatti beekamu kan dhabuun isaa: matadureewwan fe'annaa biraawzariitiiti, kuukii fi Referer. Kana daangaa irratti qabi, namoota hin beekamne keessa jiraachisi kan hojjettoonni kee mul'isuu danda'an, akkasumas waan serverii alaa jiru bifa tokko bannaan yoo banamuu dhaabe hubachuu qaba. Eegduu Halkanii sadii lamaan walitti qaba: eegduu, seeraawwan jijjiirama ofumaatiin kan emergency tokko qaban, akkasumas balbala appiiwwan webii Python.