Night Watch
ಸ್ಕ್ರೇಪರ್ ಪ್ರವಾಹಗಳ ನಡುವೆಯೂ ನಿಮ್ಮ ಸೈಟ್‌ಗಳನ್ನು ಸಕ್ರಿಯವಾಗಿ ಇರಿಸಿಕೊಳ್ಳಿ: ಒಂದು ಅಪ್‌ಟೈಮ್ ವಾಚ್, ಒಂದು Cloudflare ಫ್ರೀ-ಪ್ಲಾನ್ ಶೀಲ್ಡ್ ಮತ್ತು ಒಂದು ಬಾಟ್ ಗೇಟ್.
- Linux
- Python 3.10+
- Cloudflare Free plan
- ASGI or WSGI apps
ಇದು ಏನು ಮಾಡುತ್ತದೆ
ನೈಟ್ ವಾಚ್ ನೀವು ನಡೆಸುವ ಪ್ರತಿ ಸೈಟ್ ಅನ್ನು ಒಬ್ಬ ಭೇಟಿಗಾರನಂತೆ ಪ್ರತಿ ಐದು ನಿಮಿಷಗಳಿಗೊಮ್ಮೆ ತೆರೆಯುತ್ತದೆ, ಒಂದು ತೆರೆಯುವುದನ್ನು ನಿಲ್ಲಿಸಿದ ಕ್ಷಣ ಮತ್ತು ಅದು ಮತ್ತೆ ಬಂದ ಕ್ಷಣ ನಿಮಗೆ ತಿಳಿಸುತ್ತದೆ. ಒಂದು ಸೈಟ್ ಸ್ಕ್ರೇಪರ್ ಪ್ರವಾಹದಿಂದ ಕುಸಿದಾಗ, ವಾಚ್ ಕ್ಲೌಡ್‌ಫ್ಲೇರ್ ನಿಯಮವನ್ನು ಆನ್ ಮಾಡಿ ಪ್ರವಾಹವನ್ನು ಎಡ್ಜ್‌ನಲ್ಲಿ ತಡೆಯುತ್ತದೆ, ಮತ್ತು ಅದು ಇರುವಷ್ಟು ಕಾಲ ನಿಮ್ಮ ಆ್ಯಪ್ ಜನರಿಗೆ ಸೇವೆ ಒದಗಿಸುತ್ತಲೇ ಇರುತ್ತದೆ.
- ಪ್ರತಿ ಸೈಟ್, ಪ್ರತಿ ಐದು ನಿಮಿಷಗಳಿಗೊಮ್ಮೆ. ನಿಮ್ಮ ಕ್ಲೌಡ್‌ಫ್ಲೇರ್ ಖಾತೆಯಲ್ಲಿನ ಪ್ರತಿ ಝೋನ್, ಜೊತೆಗೆ ನೀವು ಪಟ್ಟಿ ಮಾಡುವ ಯಾವುದೇ ಪುಟ, ಆಯ್ಕೆಯಂತೆ ಪುಟದಲ್ಲಿ ಇರಲೇಬೇಕಾದ ಪಠ್ಯದೊಂದಿಗೆ. ಒಂದು ಸೈಟ್ ಕೆಳಗೆ ಬಿದ್ದಾಗ ಒಂದು ಸಂದೇಶ, ಅದು ಮತ್ತೆ ಬಂದಾಗ ಎಷ್ಟು ಕಾಲ ಕೆಳಗಿತ್ತು ಎಂಬುದರೊಂದಿಗೆ ಒಂದು ಸಂದೇಶ, ಅದು ಕೆಳಗಿದ್ದಾಗ ನೆನಪಿಸುವ ಸಂದೇಶ. ಇಮೇಲ್ ಮೂಲಕ, ಚಾಟ್ ವೆಬ್‌ಹುಕ್ ಮೂಲಕ, ಅಥವಾ ಎರಡರ ಮೂಲಕ.
- ಫ್ರೀ ಪ್ಲಾನ್‌ನಲ್ಲಿ ಒಂದು ಕವಚ. ಮೂರು WAF ಕಸ್ಟಮ್ ನಿಯಮಗಳು: ಪ್ರತಿ ನಿಜವಾದ ಕ್ರೋಮ್ ಕಳುಹಿಸುವ ಹೆಡರ್‌ಗಳಿಲ್ಲದ ಕ್ರೋಮ್ ಯೂಸರ್ ಏಜೆಂಟ್‌ಗೆ ಚಾಲೆಂಜ್, ಸ್ಕ್ರೇಪರ್ ಕ್ಲೌಡ್‌ಗಳಿಂದ ಬರುವ ಪುಟ ವಿನಂತಿಗಳಿಗೆ ಚಾಲೆಂಜ್, ಮತ್ತು ಪ್ರವಾಹದ ಸಮಯದಲ್ಲಿ ಕುಕೀ ಇಲ್ಲದ ಮತ್ತು ಲಿಂಕ್ ಇಲ್ಲದ ಅಪರಿಚಿತರಿಗೆ ಚಾಲೆಂಜ್ ಮಾಡುವ ತುರ್ತು ನಿಯಮ.
- ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಆನ್ ಆಗುತ್ತದೆ. ಒಂದು ಸೈಟ್ ಓವರ್‌ಲೋಡ್‌ನಿಂದ ಕೆಳಗೆ ಬಿದ್ದಾಗ, ವಾಚ್ ತುರ್ತು ನಿಯಮವನ್ನು ಆನ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಅಲರ್ಟ್‌ನಲ್ಲಿ ಅದನ್ನು ತಿಳಿಸುತ್ತದೆ; ಸೈಟ್ ಮತ್ತೆ ಬಂದ ನಂತರ ಗಂಟೆಗಳ ಕಾಲ ಅದು ಆಫ್ ಆಗುತ್ತದೆ. ನೀವು ಸ್ವತಃ ಆನ್ ಮಾಡಿದ ಕವಚ ಆನ್ ಆಗಿಯೇ ಉಳಿಯುತ್ತದೆ.
- ನಿಮ್ಮ ಆ್ಯಪ್‌ನ ಒಳಗಿನ ಗೇಟ್. ಅವಲಂಬನೆಗಳಿಲ್ಲದ ಒಂದು ಫೈಲ್, FastAPI, Starlette, Django, Flask ಅಥವಾ ಯಾವುದೇ ASGI ಅಥವಾ WSGI ಆ್ಯಪ್‌ಗಾಗಿ. ನಿಮ್ಮ ಕೋಡ್ ರನ್ ಆಗುವ ಮೊದಲೇ ಇದು ನಕಲಿ ಬ್ರೌಸರ್‌ಗಳನ್ನು ತಿರಸ್ಕರಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ವರ್ಕರ್ ಸೇವೆ ಒದಗಿಸಬಲ್ಲ ಪರಿಮಿತಿ ಒಳಗೆ ಅಪರಿಚಿತರನ್ನು ಇರಿಸುತ್ತದೆ. ಕುಕೀ ಇರುವವರು ಅಥವಾ ಲಿಂಕ್ ಮೂಲಕ ಬರುವವರು ಇದನ್ನು ಗಮನಿಸುವುದೇ ಇಲ್ಲ.
- ನಿಮ್ಮ ಮೇಲೆ ಯಾರು ದಾಳಿ ಮಾಡುತ್ತಿದ್ದಾರೆ ಎಂಬುದನ್ನು ನೋಡಿ. ಕಳೆದ ಕೆಲವು ನಿಮಿಷಗಳಲ್ಲಿ ಕ್ಲೌಡ್‌ಫ್ಲೇರ್ ಫೈರ್‌ವಾಲ್ ನಿಯಮ, ನೆಟ್‌ವರ್ಕ್, ದೇಶ, ಯೂಸರ್ ಏಜೆಂಟ್ ಮತ್ತು ಪಾತ್ ಪ್ರಕಾರ ಯಾರಿಗೆ ಚಾಲೆಂಜ್ ಮಾಡಿತು ಎಂಬುದನ್ನು, ಫ್ರೀ ಪ್ಲಾನ್ ಅನುಮತಿಸುವ ರಾ ಎವೆಂಟ್‌ಗಳಿಂದ ಓದಿ.
- ಅನ್‌ಡೋ ಅಂತರ್ನಿರ್ಮಿತವಾಗಿದೆ. ಪ್ರತಿ ನಿಯಮ ಬದಲಾವಣೆಯು ಝೋನ್‌ನ ನಿಯಮಗಳನ್ನು ಮೊದಲು ಉಳಿಸುತ್ತದೆ, ನಿಮ್ಮ ಸ್ವಂತ ನಿಯಮಗಳು ನಮ್ಮ ನಿಯಮಗಳ ಮುಂದೆ ಸ್ಥಾನದಲ್ಲಿ ಉಳಿಯುತ್ತವೆ, ಮತ್ತು ಒಂದು ಕಮಾಂಡ್ ಉಳಿಸಿದ ಸೆಟ್ ಅನ್ನು ಮತ್ತೆ ಹಿಂದಿರುಗಿಸುತ್ತದೆ.
ನಮ್ಮ ಸ್ವಂತ ಸೈಟ್‌ಗಳಲ್ಲಿ ಪರೀಕ್ಷಿಸಲಾಗಿದೆ
- ನಿಜವಾದ ಪ್ರವಾಹ, ಒಂದು ಗಂಟೆ: ನಮ್ಮ ಒಂದು ಸೈಟ್‌ನಲ್ಲಿ, ನಕಲಿ-ಬ್ರೌಸರ್ ನಿಯಮವು 10,000 ಕ್ಕಿಂತ ಹೆಚ್ಚು ವಿನಂತಿಗಳಿಗೆ ಚಾಲೆಂಜ್ ಮಾಡಿತು. ಕ್ಲೌಡ್‌ಫ್ಲೇರ್ ನಮಗೆ ಓದಲು ಬಿಡುವ 10,000 ವಿನಂತಿಗಳು 9,627 ಹೋಮ್ ಬ್ರಾಡ್‌ಬ್ಯಾಂಡ್ ವಿಳಾಸಗಳಿಂದ ಬಂದವು, ಯಾವುದೂ 4 ಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಳುಹಿಸಲಿಲ್ಲ: ಪ್ರತಿ-ವಿಳಾಸ ದರ ಮಿತಿ ಎಂದಿಗೂ ಕಾರ್ಯಗತಗೊಂಡಿರಲಿಲ್ಲ.
- ಪ್ರತಿ ನಿಯಮ, ಫ್ರೀ ಪ್ಲಾನ್‌ನಲ್ಲಿ ಲೈವ್ ಆಗಿ ಪರಿಶೀಲಿಸಲಾಗಿದೆ: ತುರ್ತು ನಿಯಮ ಆನ್ ಇದ್ದಾಗ ಒಬ್ಬ ಅಪರಿಚಿತನಿಗೆ ಚಾಲೆಂಜ್ ಮಾಡಲಾಯಿತು ಮತ್ತು ಕುಕೀ ಅಥವಾ ಲಿಂಕ್ ಇದ್ದಾಗ ಅವನನ್ನು ಒಳಬಿಡಲಾಯಿತು; ಬ್ರೌಸರ್ ಹೆಡರ್‌ಗಳಿಲ್ಲದ ಕ್ರೋಮ್ ಯೂಸರ್ ಏಜೆಂಟ್‌ಗೆ ಚಾಲೆಂಜ್ ಮಾಡಲಾಯಿತು; Googlebot ಉತ್ತೀರ್ಣವಾಯಿತು. ನಂತರ ಝೋನ್‌ನ ಹಿಂದಿನ ನಿಯಮಗಳನ್ನು ನಿಖರವಾಗಿ ಪುನಃಸ್ಥಾಪಿಸಲಾಯಿತು.
- uvicorn ಮೇಲೆ 1,747 ವಿನಂತಿಗಳ/ಸೆಕೆಂಡ್‌ಗಿಂತ ಕಡಿಮೆ ಇರುವ ಗೇಟ್: ಬ್ರೌಸರ್ ಹೆಡರ್‌ಗಳಿಲ್ಲದ ಪ್ರತಿಯೊಂದು ಸ್ಕ್ರೇಪರ್ ಅನ್ನು ತಿರಸ್ಕರಿಸಲಾಗಿದೆ, ಅಪರಿಚಿತರು ಅಪ್ಲಿಕೇಶನ್ ಸೇವೆ ಸಲ್ಲಿಸಬಲ್ಲದಕ್ಕೆ ಮಾತ್ರ ಬದ್ಧರಾಗಿದ್ದರು, ಮತ್ತು ಪ್ರತಿಯೊಬ್ಬ ಮರುಬರುವ ಸಂದರ್ಶಕರು, ಲಿಂಕ್ ಸಂದರ್ಶಕರು ಮತ್ತು Googlebot ವಿನಂತಿಗಳನ್ನು ಮಧ್ಯಮ 0.20 ಸೆಕೆಂಡುಗಳಲ್ಲಿ, ಪುಟದ ಸ್ವಂತ ಸಮಯದಲ್ಲಿ ಸೇವೆ ಸಲ್ಲಿಸಲಾಗಿದೆ.
ಒಳಗೆ ಏನಿದೆ
ವಾಚ್
ನಿಮ್ಮ Cloudflare ಖಾತೆಯಿಂದ ಸೈಟ್‌ಗಳು ಮತ್ತು ಒಂದು ಪಟ್ಟಿ, ಸಂದರ್ಶಕನಂತೆ ಕಾಣುವ ಪರಿಶೀಲನೆಗಳು, ಮೇಲ್ ಅಥವಾ ವೆಬ್‌ಹುಕ್ ಮೂಲಕ ಸಂದೇಶಗಳು, ಮತ್ತು "ಎಲ್ಲಾ ಕೆಳಗೆ" ಎಂಬುದನ್ನು "ಈ ಯಂತ್ರ ಆಫ್‌ಲೈನ್ ಆಗಿದೆ" ಎಂಬುದರಿಂದ ತಿಳಿಸುವ ಒಂದು ಪರೀಕ್ಷೆ.
ಶೀಲ್ಡ್
ಒಂದು ವಲಯ ಅಥವಾ ಎಲ್ಲಕ್ಕೂ ಇನ್‌ಸ್ಟಾಲ್, ಸ್ಥಿತಿ, ಆನ್, ಆಫ್, ಅನ್‌ಇನ್‌ಸ್ಟಾಲ್ ಮತ್ತು ಪುನಃಸ್ಥಾಪನೆ, ಪ್ರತಿಯೊಂದು ಬದಲಾವಣೆಯನ್ನು ಮೊದಲು ಬ್ಯಾಕಪ್ ಮಾಡಿಕೊಂಡು.
ಗೇಟ್
ASGI ಮತ್ತು WSGI ಮಧ್ಯವರ್ತಿಗಳು, ಜನರಿಗೆ ಕುಕೀ ನೀಡುವ 2-ಸೆಕೆಂಡ್‌ನ "ಒಂದು ಕ್ಷಣ" ಪುಟ, ಮತ್ತು ನಿಮಿಷಕ್ಕೆ ಒಂದು ಲಾಗ್ ಸಾಲು.
ರನ್‌ಬುಕ್
ಸೈಟ್ ನಿಧಾನವಾಗಿದ್ದಾಗ ಅಥವಾ ಕೆಳಗೆ ಇದ್ದಾಗ ಏನು ಮಾಡಬೇಕು, ಪ್ರವಾಹವನ್ನು ಹೇಗೆ ಓದಬೇಕು, ಮತ್ತು Cloudflare ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ಯಾವುದನ್ನು ಆನ್ ಮಾಡಬಾರದು ಎಂಬುದು.
ಅಗತ್ಯತೆಗಳು
- systemd ಮತ್ತು Python 3.10 ಅಥವಾ ಹೊಸದರೊಂದಿಗೆ Linux; pip ನಿಂದ ಇನ್‌ಸ್ಟಾಲ್ ಮಾಡಲು ಏನೂ ಇಲ್ಲ.
- ಶೀಲ್ಡ್ ಮತ್ತು ಈವೆಂಟ್ ವೀವ್‌ಗಾಗಿ, Cloudflare ಮೇಲಿನ ಸೈಟ್‌ಗಳು (ಯಾವುದೇ ಪ್ಲಾನ್, ಫ್ರೀ ಪ್ಲಾನ್ ಸೇರಿದಂತೆ) ಮತ್ತು ಒಂದು API ಟೋಕನ್.
- ನಿಮ್ಮ ಸೈಟ್‌ಗಳಿಗೆ ಸೇವೆ ಸಲ್ಲಿಸುವ ಯಂತ್ರವಲ್ಲದ ಬೇರೆ ಯಂತ್ರ, ಆದ್ದರಿಂದ ಅದು ಕೆಳಗೆ ಇದ್ದಾಗ ಅದು ನಿಮಗೆ ತಿಳಿಸಬಲ್ಲದು.
ಗೊಂಡಿರಬೇಕಾದ ವಿಷಯಗಳು
- ತುರ್ತು ನಿಯಮವು ಹೊಸ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ನಿಮ್ಮ ವಿಳಾಸವನ್ನು ಟೈಪ್ ಮಾಡುವ ವ್ಯಕ್ತಿಯನ್ನೂ ಸವಾಲು ಮಾಡುತ್ತದೆ, ಇದಕ್ಕಾಗಿಯೇ ಪ್ರವಾಹದ ಸಮಯವನ್ನು ಹೊರತುಪಡಿಸಿ ಅದು ಆಫ್ ಆಗಿರುತ್ತದೆ.
- ಪರಿಶೀಲಿತ ಬಾಟ್‌ಗಳು ಮತ್ತು ತಮ್ಮನ್ನು ತಾವು ಹೆಸರಿಸಿಕೊಳ್ಳುವ ರೋಬಾಟ್‌ಗಳನ್ನು ಎಂದಿಗೂ ಸವಾಲು ಮಾಡಲಾಗುವುದಿಲ್ಲ, ಮತ್ತು ಗೇಟ್ ಎಂದಿಗೂ ಹುಡುಕಾಣೆ ಎಂಜಿನ್‌ಗಳನ್ನು ತಿರುಗಿಸಿ ಕಳುಹಿಸುವುದಿಲ್ಲ.
- ಶೀಲ್ಡ್ ಫ್ರೀ ಪ್ಲಾನ್ ವಲಯಕ್ಕೆ ಅನುಮತಿಸುವ ಐದು ಕಸ್ಟಮ್ ನಿಯಮಗಳಲ್ಲಿ ಮೂರನ್ನು ಬಳಸುತ್ತದೆ.
ಪ್ರಶ್ನೆಗಳು
ನನಗೆ ಪಾವತಿಸಿದ Cloudflare ಪ್ಲಾನ್ ಬೇಕೇ?
ಇಲ್ಲ. Night Watch ಮಾಡುವ ಎಲ್ಲವೂ ಫ್ರೀ ಪ್ಲಾನ್‌ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ: ಮೂರು ನಿಯಮಗಳು, ಈವೆಂಟ್ ವೀವ್ ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಬದಲಾವಣೆಗಳು. ಪಾವತಿಸಿದ ಪ್ಲಾನ್ ನಮ್ಮ ಪಕ್ಕದಲ್ಲಿ ಹೆಚ್ಚಿನ ನಿಯಮ ಸ್ಲಾಟ್‌ಗಳನ್ನು ಮಾತ್ರ ನೀಡುತ್ತದೆ.
ಇದು Google ಅಥವಾ AI ಹುಡುಕಾಣೆ ಕ್ರಾಲ್‌ಗಳನ್ನು ಬ್ಲಾಕ್ ಮಾಡುತ್ತದೆಯೇ?
ಇಲ್ಲ. Cloudflare ನ ಪರಿಶೀಲಿತ ಬಾಟ್‌ಗಳು ಮತ್ತು ತಮ್ಮ ಬಳಕೆದಾರ ಏಜೆಂಟ್‌ನಲ್ಲಿ ತಮ್ಮನ್ನು ತಾವು ಹೆಸರಿಸಿಕೊಳ್ಳುವ ಪ್ರತಿಯೊಂದು ರೋಬಾಟ್ ಶೀಲ್ಡ್ ಅನ್ನು ದಾಟುತ್ತವೆ, ಮತ್ತು ಗೇಟ್ ಎಂದಿಗೂ ಹುಡುಕಾಣೆ ಎಂಜಿನ್ ಅಥವಾ ಲಿಂಕ್ ಪೂರ್ವವೀಕ್ಷಣೆಯನ್ನು ತಿರುಗಿಸಿ ಕಳುಹಿಸುವುದಿಲ್ಲ. ನೀವು AI ಕ್ರಾಲ್‌ಗಳನ್ನು ಬ್ಲಾಕ್ ಮಾಡಲು ಬಯಸಿದರೆ, ಅದು Cloudflare ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ಪ್ರತ್ಯೇಕ ಆಯ್ಕೆಯಾಗಿದೆ.
ನನ್ನ ಸೈಟ್ Cloudflare ನಲ್ಲಿ ಇಲ್ಲ. ಅದು ಇನ್ನೂ ಉಪಯುಕ್ತವೇ?
ವಾಚ್ ಮತ್ತು ಗೇಟ್ ಎಲ್ಲೆಡೆ ಕೆಲಸ ಮಾಡುತ್ತವೆ: ವಾಚ್ ಯಾವುದೇ URL ಅನ್ನು ತೆರೆಯುತ್ತದೆ, ಮತ್ತು ಗೇಟ್ ಯಾವುದೇ Python ವೆಬ್ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ರಕ್ಷಿಸುತ್ತದೆ. ಶೀಲ್ಡ್ ಮತ್ತು ಈವೆಂಟ್ ವೀವ್‌ಗೆ Cloudflare ಬೇಕು.
ಇದು ಅಪ್‌ಟೈಮ್ ಮಾನಿಟರ್‌ಗಿಂತ ಹೇಗೆ ಭಿನ್ನವಾಗಿದೆ?
ಒಂದು ಅಪ್‌ಟೈಮ್ ಮಾನಿಟರ್ ಸೈಟ್ ಕೆಳಗೆ ಇದೆ ಎಂದು ನಿಮಗೆ ತಿಳಿಸುತ್ತದೆ. ನೈಟ್ ವಾಚ್ ಕೂಡ ತಿಳಿಸುತ್ತದೆ, ನಂತರ ನಾವು ಕಾಣುವ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ಕಾರಣಕ್ಕೆ ಕ್ರಮ ಕೈಗೊಳ್ಳುತ್ತದೆ: ಇದು Cloudflare ಎಡ್ಜ್‌ನಲ್ಲಿ ಶೀಲ್ಡ್ ಅನ್ನು ಆನ್ ಮಾಡುತ್ತದೆ, ಮತ್ತು ಪ್ರವಾಹ ಮುಗಿಯುವವರೆಗೂ ಗೇಟ್ ನಿಮಗೆ ಬೇಕಾದ ಜನರಿಗೆ ನಿಮ್ಮ ಆ್ಯಪ್ ಸೇವೆ ಒದಗಿಸುತ್ತಲೇ ಇರುತ್ತದೆ.
ನವೀಕರಿಸಲಾಗಿದೆ: