ಕ್ಲೌಡ್‌ಫ್ಲೇರ್ ಫ್ರೀ ಯೋಜನೆಯಲ್ಲಿ ಸ್ಕ್ರೇಪರ್ ಪ್ರವಾಹ: ಅದನ್ನು ತಡೆದದ್ದು ಏನು ಮತ್ತು ಯಾವುದನ್ನು ನಾವು ಆಫ್ ಆಗಿ ಬಿಟ್ಟಿದ್ದೇವೆ
ಆಪ್ಸ್
ಒಂದು ಬೆಳಿಗ್ಗೆ ನಮ್ಮ ಒಂದು ಉತ್ಪನ್ನ ಪಟ್ಟಿ ಸೈಟ್ ತೆರೆಯುವುದನ್ನು ನಿಲ್ಲಿಸಿತು. ಕ್ಲೌಡ್‌ಫ್ಲೇರ್ 524 ದೋಷವನ್ನು ತೋರಿಸಿತು, ಮೂಲ ಸರ್ವರ್ ಪ್ರತಿ ಪುಟಕ್ಕೆ ಎರಡು ರಿಂದ ಆರು ನಿಮಿಷಗಳನ್ನು ತೆಗೆದುಕೊಂಡಿತು, ಮತ್ತು ಸುಮಾರು ಹತ್ತು ಗಂಟೆಗಳ ಕಾಲ ನಮಗೆ ಯಾವುದೇ ಸೂಚನೆ ಸಿಗಲಿಲ್ಲ. ಕಾರಣ, ನಿವಾಸಿ ಪ್ರಾಕ್ಸಿಗಳ ಮೂಲಕ ಸೆಕೆಂಡಿಗೆ ಸುಮಾರು 225 ವಿನಂತಿಗಳನ್ನು ಮಾಡುತ್ತಿದ್ದ ಸ್ಕ್ರೇಪರ್.
ಪ್ರವಾಹದ ಸ್ವರೂಪ
- ಸಾವಿರಾರು ವಿಳಾಸಗಳು, ಪ್ರತಿಯೊಂದರಿಂದ ಒಂದರಿಂದ ಮೂರು ವಿನಂತಿಗಳು. ಅಮೆರಿಕಾ, ಸ್ಪೇನ್, ಫ್ರಾನ್ಸ್, ಬ್ರೆಜಿಲ್, ಯುಕೆ ಮತ್ತು ಇತರೆಡೆಗಳ ಹೋಮ್ ಬ್ರಾಡ್‌ಬ್ಯಾಂಡ್ ಸಂಪರ್ಕಗಳು, ನಿವಾಸಿ ಪ್ರಾಕ್ಸಿ ನೆಟ್‌ವರ್ಕ್ ಬಾಡಿಗೆಗೆ ನೀಡುವ ರೀತಿಯ ಟ್ರಾಫಿಕ್.
- ಮ್ಯಾಕ್‌ನಲ್ಲಿ ಕ್ರೋಮ್ ಯೂಸರ್ ಏಜೆಂಟ್‌ಗಳು, 103 ರಿಂದ 151 ರವರೆಗಿನ ಆವೃತ್ತಿ ಸಂಖ್ಯೆಗಳೊಂದಿಗೆ.
- ಬಹುತೇಕ ಕುಕೀ ಅಥವಾ Referer ಇರುವುದಿಲ್ಲ. ಸರ್ವರ್‌ನಲ್ಲಿ ನಾವು ಮಾದರಿಯಾಗಿ ಪರಿಶೀಲಿಸಿದ 2,697 ವಿನಂತಿಗಳಲ್ಲಿ, 4 ಕುಕೀ ಹೊಂದಿದ್ದವು ಮತ್ತು 4 Referer ಹೊಂದಿದ್ದವು.
- ಎರಡು ರೀತಿಯ ಕ್ಲೈಂಟ್‌ಗಳು. ಸುಮಾರು ಅರ್ಧದಷ್ಟು
Sec-Fetch-*ಹೆಡರ್‌ಗಳನ್ನು ಮತ್ತು ಕ್ಲೈಂಟ್ ಹಿಂಟ್ಸ್ ಅನ್ನು ಕಳುಹಿಸಲಿಲ್ಲ: ನಕಲಿಸಿದ ಯೂಸರ್ ಏಜೆಂಟ್ ಸ್ಟ್ರಿಂಗ್ ಹೊಂದಿರುವ ಸ್ಕ್ರಿಪ್ಟ್. ಉಳಿದ ಅರ್ಧ ಪೂರ್ಣ ಬ್ರೌಸರ್ ಹೆಡರ್‌ಗಳನ್ನು ಕಳುಹಿಸಿದವು: ಹೆಡ್‌ಲೆಸ್ ಬ್ರೌಸರ್.
ಪ್ರತಿ ವಿನಂತಿಗೂ ಪ್ರತಿ ಪುಟವನ್ನು ರೆಂಡರ್ ಮಾಡಲಾಗುತ್ತಿತ್ತು, ಆದ್ದರಿಂದ ಪ್ರತಿ ವರ್ಕರ್ ನೂರಾರು ರೆಂಡರ್‌ಗಳನ್ನು ಕ್ಯೂ ಮಾಡಿ ತನ್ನ CPU ಮಿತಿಯನ್ನು ತಲುಪಿತು.
ವಿಳಾಸ-ಆಧಾರಿತ ಮಿತಿಗಳು ಏಕೆ ಸಹಾಯ ಮಾಡಲಿಲ್ಲ
ರೇಟ್ ಲಿಮಿಟ್ ವಿಳಾಸದ ಪ್ರಕಾರ ವಿನಂತಿಗಳನ್ನು ಎಣಿಸುತ್ತದೆ. ಸಾವಿರಾರು ವಿಳಾಸಗಳಿಂದ ಪ್ರತಿಯೊಂದರಿಂದ ಒಂದರಿಂದ ಮೂರು ವಿನಂತಿಗಳಿದ್ದಾಗ, ಯಾವುದೇ ಒಂದು ವಿಳಾಸವೂ ಮಿತಿಯನ್ನು ಹತ್ತಿರದಿಂದಲೂ ತಲುಪುವುದಿಲ್ಲ. ದೇಶಗಳನ್ನು ಬ್ಲಾಕ್ ಮಾಡಿದ್ದರೆ ನಮ್ಮ ಭೇಟಿಗಾರರನ್ನೂ ಬ್ಲಾಕ್ ಮಾಡುತ್ತಿದ್ದೆವು. ಸ್ಕ್ರೇಪರ್ ಅಗ್ಗವಾಗಿ ನಕಲಿಸಲಾಗದ ವಿಷಯವೆಂದರೆ, ಸೈಟ್‌ಗೆ ಹಿಂದೆ ಭೇಟಿ ನೀಡಿದ ಬ್ರೌಸರ್‌ನಂತೆ ವರ್ತಿಸುವುದು.
ಕ್ಲೌಡ್‌ಫ್ಲೇರ್ ಎಡ್ಜ್‌ನಲ್ಲಿ: ಮೂರು ಉಚಿತ ನಿಯಮಗಳು
ಫ್ರೀ ಯೋಜನೆಯು ಪ್ರತಿ ಝೋನ್‌ಗೆ ಐದು WAF ಕಸ್ಟಮ್ ನಿಯಮಗಳನ್ನು ಅನುಮತಿಸುತ್ತದೆ. ನಾವು ಮೂರನ್ನು ಬಳಸಿದ್ದೇವೆ, ಎಲ್ಲವೂ ಬ್ಲಾಕ್ ಬದಲಿಗೆ ಮ್ಯಾನೇಜ್ಡ್ ಚಾಲೆಂಜ್ ಅನ್ನು ಬಳಸುತ್ತವೆ, ಆದ್ದರಿಂದ ತಪ್ಪಾಗಿ ಸಿಕ್ಕುವ ವ್ಯಕ್ತಿ ಕ್ಲಿಕ್ ಮಾಡಿ ಮುಂದುವರಿಯಬಹುದು:
- ನಕಲಿ ಬ್ರೌಸರ್: ಯೂಸರ್ ಏಜೆಂಟ್‌ನಲ್ಲಿ
Chrome/ಇರುವ ಮತ್ತುSec-Fetch-Modeಹೆಡರ್ ಇಲ್ಲದ GET. 2019 ರಿಂದ ಪ್ರತಿ ಕ್ರೋಮ್ ಇದನ್ನು ಕಳುಹಿಸುತ್ತದೆ. - ಸ್ಕ್ರೇಪರ್ ಕ್ಲೌಡ್‌ಗಳು: ಅಲಿಬಾಬಾ, ಟೆನ್‌ಸೆಂಟ್ ಮತ್ತು ಹುವಾವೇ ಕ್ಲೌಡ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳಿಂದ ಪುಟ ವಿನಂತಿ, ನಾವು ಚಾಲೆಂಜ್ ಮಾಡಿದವುಗಳಲ್ಲಿ ಹೆಚ್ಚಿನವು ಇಲ್ಲಿಂದ ಬಂದಿದ್ದವು.
- ತುರ್ತು, ಡೀಫಾಲ್ಟ್ ಆಗಿ ಆಫ್: ಯಾವುದೇ ಕುಕೀ ಇಲ್ಲದ ಮತ್ತು Referer ಇಲ್ಲದ GET. ಸೈಟ್‌ಗೆ ಭೇಟಿ ನೀಡಿದ ಅಥವಾ ಲಿಂಕ್ ಮೂಲಕ ಬರುವ ವ್ಯಕ್ತಿ ಬದಲಾಗದೆ ಉಳಿಯುತ್ತಾನೆ; ಕುಕೀಗಳನ್ನು ಇಟ್ಟುಕೊಳ್ಳದ ಸ್ಕ್ರೇಪರ್ ಪ್ರತಿ ವಿನಂತಿಯಲ್ಲಿ ಚಾಲೆಂಜ್ ಅನ್ನು ಎದುರಿಸುತ್ತದೆ. ಇದನ್ನು ನಾವು ಪ್ರವಾಹದ ಸಮಯದಲ್ಲಿ ಮಾತ್ರ ಆನ್ ಮಾಡುತ್ತೇವೆ, ಏಕೆಂದರೆ ಇದು ಹೊಸ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ವಿಳಾಸವನ್ನು ಟೈಪ್ ಮಾಡುವ ವ್ಯಕ್ತಿಯನ್ನೂ ಚಾಲೆಂಜ್ ಮಾಡುತ್ತದೆ.
ಮೂರೂ ನಿಯಮಗಳು Cloudflareನ ಪರಿಶೀಲಿತ ಬಾಟ್‌ಗಳು, ರೋಬೋಟ್‌ಗಳೆಂದು ತಮ್ಮನ್ನು ತಾವು ಗುರುತಿಸಿಕೊಳ್ಳುವ ಯೂಸರ್ ಏಜೆಂಟ್‌ಗಳು, ನಮ್ಮದೇ ಸ್ವಂತ ವಿಳಾಸಗಳು, API ಮತ್ತು ವೆಬ್‌ಹುಕ್ ಪಾತ್‌ಗಳು, ಹಾಗೂ ಪುಟಗಳಲ್ಲದ ಫೈಲ್‌ಗಳನ್ನು ಒಳಬಿಡುತ್ತವೆ. ಎರಡು ದಿನಗಳ ನಂತರವೂ ಪ್ರವಾಹ ಮುಂದುವರಿದಿತ್ತು: ಒಂದು ಗಂಟೆಯಲ್ಲಿ ಫೇಕ್-ಬ್ರೌಸರ್ ನಿಯಮವು 10,000ಕ್ಕೂ ಹೆಚ್ಚು ವಿನಂತಿಗಳಿಗೆ ಸವಾಲು ಹಾಕಿತು. ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ Cloudflare ನೀಡುವ 10,000 ಈವೆಂಟ್‌ಗಳು 9,627 ವಿಳಾಸಗಳಿಂದ ಬಂದಿದ್ದವು, ಯಾವುದರಲ್ಲೂ 4ಕ್ಕಿಂತ ಹೆಚ್ಚು ಇರಲಿಲ್ಲ.
ಮೂಲದಲ್ಲಿ: ಆ್ಯಪ್‌ನಲ್ಲಿರುವ ಒಂದು ಗೇಟ್
ಹೆಡ್‌ಲೆಸ್ ಅರ್ಧಭಾಗಕ್ಕೆ ಪೂರ್ಣ ಬ್ರೌಸರ್ ಹೆಡರ್‌ಗಳಿವೆ, ಆದ್ದರಿಂದ ತುರ್ತು ನಿಯಮ ಆಫ್ ಆಗಿದ್ದಾಗ ಎಡ್ಜ್ ನಿಯಮಗಳು ಮಾತ್ರ ಅದನ್ನು ಹಿಡಿಯುವುದಿಲ್ಲ. ಆ್ಯಪ್‌ನಲ್ಲಿಯೇ, ಪುಟ ರೆಂಡರರ್ ಮುಂದೆ ನಾವು ಒಂದು ಸಣ್ಣ ಮಿಡ್ಲ್‌ವೇರ್ ಅನ್ನು ಇಟ್ಟಿದ್ದೇವೆ:
Sec-Fetch-Modeಅಥವಾ ಕ್ಲೈಂಟ್ ಹಿಂಟ್ಸ್ ಎರಡೂ ಇಲ್ಲದ Chrome ಯೂಸರ್ ಏಜೆಂಟ್‌ಗೆ ಯಾವುದೇ ಕೆಲಸ ಆಗುವ ಮೊದಲೇ 403 ನೀಡಲಾಗುತ್ತದೆ;- ನಮ್ಮ ಕುಕೀಗಳಿಲ್ಲದ ಮತ್ತು Referer ಇಲ್ಲದ ಒಬ್ಬ ಅಪರಿಚಿತನಿಗೆ, ವರ್ಕರ್ ಬಳಿ ಸ್ಪೇಸ್ ಇದ್ದಾಗ ಮಾತ್ರ, ಸೆಕೆಂಡಿಗೆ ಕೆಲವು ಪುಟಗಳ ದರದಲ್ಲಿ ಸೇವೆ ನೀಡಲಾಗುತ್ತದೆ. ಅದಕ್ಕಿಂತ ಹೆಚ್ಚಾದರೆ, 400-ಬೈಟ್ 503 ಪುಟವು ಕುಕೀಯನ್ನು ಹೊಂದಿಸಿ ಎರಡು ಸೆಕೆಂಡುಗಳ ನಂತರ ಪುನಃ ಲೋಡ್ ಆಗುತ್ತದೆ. ಒಬ್ಬ ವ್ಯಕ್ತಿ ಎರಡನೇ ಪ್ರಯತ್ನದಲ್ಲಿ ಪುಟವನ್ನು ಪಡೆಯುತ್ತಾನೆ; ಕುಕೀಗಳನ್ನು ಇಟ್ಟುಕೊಳ್ಳದ ಸ್ಕ್ರೇಪರ್ ಎಂದಿಗೂ ಪಡೆಯುವುದಿಲ್ಲ.
ಮೊದಲ ನಿಮಿಷದಲ್ಲಿ ಗೇಟ್ ಸುಮಾರು 6,700 ಫೇಕ್ ಬ್ರೌಸರ್‌ಗಳನ್ನು ತಿರಸ್ಕರಿಸಿತು ಮತ್ತು ಸುಮಾರು 6,700 ಅಪರಿಚಿತರನ್ನು ಹಿಂದಿರುಗಿಸಿತು, ಆದರೆ ಅಪರಿಚಿತರಿಗೆ ಸೆಕೆಂಡಿಗೆ ಸುಮಾರು 9 ಪುಟಗಳ ದರದಲ್ಲಿ ಸೇವೆ ನೀಡಿತು. ನಿಧಾನಗತಿಯ ವಿನಂತಿಗಳು ಶೂನ್ಯಕ್ಕೆ ಇಳಿದವು, ವರ್ಕರ್‌ಗಳ CPU ಅವುಗಳ ಮಿತಿಯಿಂದ 12 ರಿಂದ 15 ಶೇಕಡಾಕ್ಕೆ ಇಳಿಯಿತು, ಮತ್ತು ಅವುಗಳ ಮೆಮೊರಿ ಪ್ರತಿಯೊಂದಕ್ಕೂ 4 ರಿಂದ 5 GB ನಿಂದ 0.65 GB ಗೆ ಇಳಿಯಿತು.
ನಾವು ಆಫ್ ಆಗಿ ಬಿಟ್ಟಿದ್ದು
- Bot Fight Mode. ಇದು ಸ್ವಯಂಚಾಲಿತ ಟ್ರಾಫಿಕ್‌ಗೆ ಸವಾಲು ಹಾಕುತ್ತದೆ ಮತ್ತು Free ಪ್ಲಾನ್‌ನಲ್ಲಿ ಕಸ್ಟಮ್ ನಿಯಮದ ಮೂಲಕ ಇದನ್ನು ತಪ್ಪಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ, ಮತ್ತು ಇದು ನಮ್ಮ ಪೇಮೆಂಟ್ ಪ್ರೊವೈಡರ್‌ನ ವೆಬ್‌ಹುಕ್‌ಗಳನ್ನು ಹಿಡಿದಿತ್ತು.
- ಇಡೀ ಝೋನ್‌ಗೆ Under Attack mode. ಇದು ಪ್ರತಿಯೊಬ್ಬ ಭೇಟಿಗಾರ, API ಕ್ಲೈಂಟ್ ಮತ್ತು ವೆಬ್‌ಹುಕ್ ಅನ್ನು ಇಂಟರ್‌ಸ್ಟಿಷಿಯಲ್ ಮೂಲಕ ಕಳುಹಿಸುತ್ತದೆ. ತುರ್ತು ನಿಯಮವು ಅಪರಿಚಿತರ ಪುಟ ವಿನಂತಿಗಳಿಗೆ ಮಾತ್ರ ಅದೇ ಕೆಲಸವನ್ನು ಮಾಡುತ್ತದೆ.
- Free ಪ್ಲಾನ್‌ನ ರೇಟ್-ಲಿಮಿಟಿಂಗ್ ನಿಯಮ. ಇದು ವಿಳಾಸದ ಪ್ರಕಾರ ಎಣಿಸುತ್ತದೆ, ಇದನ್ನು ಈ ಪ್ರವಾಹ ಎಂದಿಗೂ ಟ್ರಿಗರ್ ಮಾಡುವುದಿಲ್ಲ.
- AI ಕ್ರಾಲ್‌ಗಳನ್ನು ಬ್ಲಾಕ್ ಮಾಡುವುದು. AI ಹುಡುಕಾಟ ಸಹಾಯಕರಿಂದ ನಾವು ಕಂಡುಹಿಡಿಯಲ್ಪಡಬೇಕೆಂದು ಬಯಸುತ್ತೇವೆ, ಮತ್ತು ಆ ಕ್ರಾಲ್‌ಗಳು ಸಮಸ್ಯೆಯಾಗಿರಲಿಲ್ಲ.
ಮುಖ್ಯ ಅಂಶ
ರೆಸಿಡೆನ್ಷಿಯಲ್ ಪ್ರಾಕ್ಸಿಗಳ ಮೂಲಕ ಬರುವ ಪ್ರವಾಹವನ್ನು ಅದು ಕಳೆದುಕೊಂಡಿರುವುದರಿಂದ ಸುಲಭವಾಗಿ ಗುರುತಿಸಬಹುದು: ಬ್ರೌಸರ್ ಫೆಚ್ ಹೆಡರ್‌ಗಳು, ಕುಕೀಗಳು ಮತ್ತು Refererಗಳು. ಎಡ್ಜ್‌ನಲ್ಲಿ ಅದಕ್ಕೆ ಸವಾಲು ಹಾಕಿ, ಅಪರಿಚಿತರನ್ನು ನಿಮ್ಮ ವರ್ಕರ್‌ಗಳು ರೆಂಡರ್ ಮಾಡಬಹುದಾದ ಮಿತಿಯೊಳಗೆ ಇರಿಸಿ, ಮತ್ತು ಒಂದು ಪುಟ ತೆರೆಯುವುದನ್ನು ನಿಲ್ಲಿಸಿದಾಗ ಸರ್ವರ್ ಹೊರಗಿನ ಏನಾದರೂ ಗಮನಿಸುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ. Night Watch ಮೂರನ್ನೂ ಪ್ಯಾಕೇಜ್ ಮಾಡುತ್ತದೆ: ವಾಚ್, ತುರ್ತು ನಿಯಮಕ್ಕೆ ಸ್ವಯಂಚಾಲಿತ ಸ್ವಿಚ್ ಇರುವ ನಿಯಮಗಳು, ಮತ್ತು Python ವೆಬ್ ಆ್ಯಪ್‌ಗಳಿಗಾಗಿ ಗೇಟ್.