TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
จากการวิเคราะห์การการเยี่ยมชมของ Search Engine 400 ล้านครั้ง บนเว็บไซต์มากกว่า 10,000 แห่ง โดยทีมวิจัยของ Incapsula บริษัทชั้นนำทางด้านการป้องกันเว็บไซต์และ DDoS ในเครือของ Imperva ได้ค้นพบเรื่องน่าสนใจเกี่ยวกับ Web-crawling bot มากมาย ซึ่งเป็นประโยชน์ต่อผู้ที่บริหารจัดการเว็บไซต์และผู้ที่ทำงานด้าน SEO ทางทีมงาน TechTalkThai จึงได้สรุปข้อมูลมาโดยสังเขป ดังนี้
สถิติทั่วไปที่น่าสนใจ
- Web-crawling Bot ของ Google ทำงานหนักและทั่วถึงมากกว่า Bot อื่นๆรวมกัน (MSN/Bing, Baidu, Majestic และ Yandex)
- เว็บไซต์ที่ที่ GoogleBot เข้าไปเก็บข้อมูลบ่อย ไม่ได้หมายความว่าจะมีคนค้นหาเจอมากกว่าเว็บอื่นๆ นั่นคือ Google ไม่ได้มีเว็บไซต์ที่ “ชื่นชอบ” เป็นการส่วนตัว
- GoogleBot จะเข้าเยี่ยมชมโดยเฉลี่ย 187 ครั้งต่อวัน และเก็บข้อมูลเฉลี่ย 4 เพจต่อครั้ง และดูเหมือนว่าเว็บไซต์ที่มีเนื้อหาเป็นจำนวนมากและอัพเดทบ่อยๆ เช่น เว็บบอร์ด, เว็บไซต์ใหม่, ซื้อของออนไลน์ใหญ่ๆ จะถูกเก็บข้อมูลโดยละเอียดถี่ถ้วนกว่า
- เฉลี่ยแล้วทุกๆ 24 การเยี่ยมชมของ GoogleBot จะมี 1 ครั้งที่เป็น GoogleBot ปลอม
เนื่องจาก Google เป็นเว็บค้นหาที่คนใช้กันทั่วโลก องค์กรส่วนใหญ่จึงไม่คิดจะบล็อค GoogleBot เพราะอาจทำให้ไม่มีใครเห็นเว็บของตนเองได้ ส่งผลให้มีคนใช้ช่องโหว่นี้ในการสร้าง GoogleBot ปลอมขึ้นมาเพื่อโจมตีแบบ DDoS, ขโมยข้อมูล หรือสแปม
แฮ็คเกอร์ใช้วิธีปลอมแปลง HTTP(S) User-agent ให้เหมือน GoogleBot เพื่อแอบเข้าถึงเว็บไซต์และข้อมูลออนไลน์ ซึ่งทีมวิจัยของ Incapsula ค้นพบว่า มากกว่า 4% ของ Bot ที่ใช้ User-agent ดังกล่าว เป็น GoogleBot ปลอม
“จากการสังเกตข้อมูลล่าสุดจาก 50 ล้านเซสชันของ GoogleBot ปลอม พบว่า 23.5% ถูกใช้เพื่อโจมตี DDoS ระดับเลเยอร์ 7 และอีกมากกว่า 10% ถูกใช้เพื่อจุดประสงค์ในการแฮ็ค เช่น Scraping, Spam และค้นหาช่องโหว่ของเหยื่อ” — Incapsula ให้ข้อมูล
การโจมตีโดยใช้ GoogleBot ปลอมเป็นอะไรที่ให้ผลดีมาก เนื่องจากเหยื่อมีแต่เสียกับเสีย กล่าวคือ ถ้าเหยื่อเลือกบล็อค GoogleBot อาจทำให้คนอื่นค้นหาเว็บของตนไม่เจอ หรือถ้าต้องยอมปล่อยมันเข้ามา ก็อาจถูกโจมตีแบบ DDoS จนเซิฟเวอร์ล่มไปเลยก็ได้ เว้นแต่ว่าเหยื่อจะยอมจ่ายเงินเพื่อเพิ่มแบนวิธด์หรือซื้ออุปกรณ์ป้องกัน DDoS
การเยี่ยมชมของ GoogleBot ปลอม มาจาก Botnet ของแฮ็คเกอร์ ตามรายงานของ Incapsula ระบุว่าต้นทางส่วนใหญ่มาจากประเทศอเมริกา (25.2%), จีน (15.6%), ตุรกี (14.7%), บราซิล (13.49%) อินเดีย (8.4%) และไทย (4.07%) ส่วน GoogleBot ของจริงนั้น เกือบทั้งหมดมาจากประเทศอเมริกา (98%)
ปิดท้ายด้วย Infographic สวยๆจาก Incapsula
รายละเอียดเพิ่มเติม: http://www.incapsula.com/blog/googlebot-study-mr-hack.html
เครดิตภาพประกอบ: Incapsula
