Night Watch
שמור על האתרים שלך פעילים גם מול הצפות של סקרייפרים: שומר סף זמינות, מגן בתוכנית Cloudflare החינמית ושער לבוטים.
- Linux
- Python 3.10+
- Cloudflare Free plan
- ASGI or WSGI apps
מה זה עושה
Night Watch פותח כל אתר שאתם מריצים בדיוק כמו מבקר, כל חמש דקות, ומעדכן אתכם ברגע שאתר מפסיק להיפתח וברגע שהוא חוזר לפעול. כאשר אתר קורס בגלל שסקרייפר מציף אותו, השומר מפעיל כלל של Cloudflare שעוצר את ההצפה בקצה, והאפליקציה שלכם ממשיכה לשרת משתמשים כל עוד המצב נמשך.
- כל אתר, כל חמש דקות. כל אזור בחשבון Cloudflare שלך, בנוסף לכל דף שאתה מוסיף לרשימה, באופן אופציונלי עם טקסט שהדף חייב להכיל. הודעה אחת כאשר אתר יורד, הודעה אחת כאשר הוא חוזר עם משך הזמן שהיה למטה, ותזכורת בזמן שהוא נשאר למטה. בדוא"ל, ב-webhook של צ'אט, או בשניהם.
- מגן בתוכנית החינמית. שלושה כללי WAF מותאמים אישית: דפדפן Chrome ללא הכותרות שכל Chrome אמיתי שולח מקבל אתגר, בקשות לדף מענני סקרייפר מקבלות אתגר, וכלל חירום מפעיל אתגר כלפי מבקרים ללא עוגייה וללא קישור בזמן הצפה.
- מופעל אוטומטית. כשהאתר קורס מעומס, השומר מפעיל את כלל החירום ומדווח על כך בהתראה; שעות לאחר שהאתר חוזר לפעולה, הוא מכבה אותו. מגן שהפעלת בעצמך נשאר פעיל.
- שער בתוך האפליקציה שלך. קובץ אחד ללא תלויות, עבור FastAPI, Starlette, Django, Flask או כל אפליקציית ASGI או WSGI. הוא דוחה דפדפנים מזויפים לפני שהקוד שלך רץ ושומר על זרים במסגרת מה שכל עובד יכול להגיש. אנשים עם עוגייה או שמגיעים דרך קישור לא שמים לב לכך.
- ראו מה פוגע בכם. מה חוסם ה־firewall של Cloudflare בדקות האחרונות, לפי כלל, רשת, מדינה, user agent ונתיב, נקרא מאירועי הגולם שהתוכנית החינמית מאפשרת.
- ביטול מובנה. כל שינוי בחוק שומר תחילה את חוקי האזור, החוקים שלכם נשארים במקומם לפני שלנו, ופקודה אחת מחזירה את הערכים השמורים.
נבדקו באתרים שלנו
- שיטפון אמיתי, שעה אחת: באתר שלנו, כלל הדפדפן המזויף אתגר יותר מ־10,000 בקשות. 10,000 הבקשות ש־Cloudflare מאפשרת לנו לקרוא הגיעו מ־9,627 כתובות רוחב פס ביתיות, ואף אחת מהן לא שלחה יותר מ־4: מגבלת קצב לפי כתובת לא הייתה מופעלת לעולם.
- כל כלל, נבדק בזמן אמת בתוכנית החינמית: אדם זר נחסם בזמן שהפעילו את כלל החירום ושוחרר באמצעות קוקי או קישור; דפדפן Chrome עם סוכן משתמש ללא כותרות דפדפן נחסם; Googlebot עבר. לאחר מכן שוחזרו במדויק הכללים הקודמים של האזור.
- השער מתחת ל-1,747 בקשות בשנייה על uvicorn: כל סקרייפר ללא כותרות דפדפן נדחה, זרים הוגבלו למה שהאפליקציה יכולה להגיש, וכל מבקר חוזר, מבקר מקישור ובקשת Googlebot הוגשו בזמן חציוני של 0.20 שניות, זמן הדף עצמו.
מה יש בפנים
הצפייה
אתרים מחשבון Cloudflare שלך ורשימה, בדיקות שנראות כמו מבקר, הודעות בדוא"ל או webhook, ובדיקה שמבדילה בין "הכול למטה" ל"מכונה זו מקוונת".
המגן
התקנה, מצב, הפעלה, כיבוי, הסרה ושחזור עבור אזור אחד או לכולם, עם גיבוי לכל שינוי לפני ביצועו.
השער
תוכנות ביניים ASGI ו-WSGI, דף "רגע אחד" של 2 שניות שמעניק עוגייה, ושורת יומן אחת בדקה.
מדריך ההפעלה
מה לעשות כשאתר איטי או למטה, איך לקרוא הצפה, ומה לא להפעיל בלוח הבקרה של Cloudflare.
דרישות
- Linux עם systemd ו-Python 3.10 או חדש יותר; אין צורך להתקין כלום מ-pip.
- עבור המגן ותצוגת האירועים, אתרים ב-Cloudflare (כל תוכנית, כולל התוכנית החינמית) וטוקן API.
- מכונה שאינה זו שמגישה את האתרים שלך, כדי שתוכל להודיע לך כשהיא למטה.
כדאי לדעת
- כלל החירום גם מאתגר אדם שמקליד את הכתובת שלך בדפדפן חדש, ולכן הוא כבוי למעט בזמן הצפה.
- בוטים מאומתים ורובוטים שמזדהים בשמם לעולם אינם נחסמים, ומנועי חיפוש לעולם אינם נדחים על ידי השער.
- המגן משתמש בשלושה מחמשת הכללים המותאמים אישית שהתוכנית החינמית מאפשרת לכל אזור.
- הכללים של Cloudflare ושער הבוטים הם גם חינמיים בקוד פתוח: cloudflare-free-shield ו-bot-gate ב-GitHub. ערכת האוטומציה מוסיפה את הצפייה, המגן האוטומטי, תצוגת האירועים, ספר ההפעלה ושנה של עדכונים.
From our field notes
מונה הצפיות שהפך את הקטלוג שלנו ל-502
במשך כ-41 שעות עמוד הקטלוג הראשי של החנות שלנו הגיב לכל מבקר עם 502, משום שהקוד שסופר את הביקורים התרסק על הכתובת שלו. מדוע אף אחד מהבדיקות שלנו לא זיהה זאת, ושלוש השינויים שהיו מונעים זאת.
שיטפון סקרייפרים בתוכנית החינמית של Cloudflare: מה עצר אותו, ומה השארנו כבוי
סקרייפר מאחורי פרוקסים ביתיים הוריד אחד מהאתרים שלנו למשך כעשר שעות. מה חשף אותו, שלושת כללי ה-WAF החינמיים ושער ברמת האפליקציה שעצרו אותו, ומהמתגים ב-Cloudflare שהיו עלולים לשבש משהו אחר.
שאלות
האם אני צריך תוכנית Cloudflare בתשלום?
לא. כל מה ש-Night Watch עושה עובד בתוכנית החינמית: שלושת הכללים, תצוגת האירועים וההחלפה האוטומטית. תוכנית בתשלום רק נותנת לך יותר מקומות לכללים ליד שלנו.
האם זה יחסום את Google או זוחלי חיפוש AI?
לא. הבוטים המאומתים של Cloudflare וכל רובוט שמזדהה ב-user agent שלו עוברים את המגן, והשער לעולם לא דוחה מנוע חיפוש או תצוגה מקדימה של קישור. אם אתה רוצה לחסום זוחלי AI, זו החלטה נפרדת בלוח הבקרה של Cloudflare.
האתר שלי לא ב-Cloudflare. האם זה עדיין שימושי?
הצפייה והשער עובדים בכל מקום: הצפייה פותחת כל URL, והשער מגן על כל אפליקציית ווב ב-Python. המגן ותצוגת האירועים דורשים Cloudflare.
מה שונה כאן מניטור זמינות?
ניטור זמינות אומר לכם שהאתר לא פעיל. Night Watch גם אומר לכם זאת, ואז פועל לפי הגורם הנפוץ ביותר שאנו רואים: הוא מפעיל את המגן בקצה של Cloudflare, והשער ממשיך להנגיש את האפליקציה שלכם לאנשים שאתם רוצים, כל עוד הגל נמשך.
עודכן: