Technical SEO

Crawl Budget คืออะไร เว็บขนาดไหนต้องเริ่มกังวล

อธิบาย Crawl Budget คืออะไร Google ตัดสินใจอย่างไรว่าจะเข้าเว็บไหนบ่อยแค่ไหน พร้อมวิธีอ่าน log file และวิธี optimize ไม่ให้ Googlebot เสียเวลากับหน้าที่ไม่มีค่า

ทีม NOAH · เผยแพร่ 2 กันยายน 2569 · อัปเดต 2 กันยายน 2569 · อ่าน 15 นาที

สรุปสั้น

✓Crawl Budget คือจำนวนหน้าและความถี่ที่ Googlebot ยอมเข้ามาเก็บข้อมูลเว็บหนึ่งภายในช่วงเวลาหนึ่ง
✓เว็บขนาดเล็กถึงกลางส่วนใหญ่ไม่ต้องกังวลเรื่องนี้ ปัญหานี้สำคัญจริงกับเว็บที่มีหลายหมื่นถึงหลายล้านหน้า
✓หน้าที่ไม่มีค่าแต่ยังให้ Googlebot เข้าได้ เช่น หน้าฟิลเตอร์ซ้ำหรือหน้าที่ noindex อยู่แล้ว คือสิ่งที่กิน crawl budget โดยเปล่าประโยชน์
✓การอ่าน log file ของ server คือวิธีเดียวที่รู้แน่ชัดว่า Googlebot ใช้เวลาไปกับหน้าไหนจริง ๆ
✓NOAH ไม่ได้ทำหน้าที่คลานเว็บหรือวิเคราะห์ log file แต่ช่วยวางแผนว่าควรผลิตและจัดลำดับความสำคัญของหน้าเนื้อหาใดก่อน

เจ้าของเว็บอีคอมเมิร์ซรายหนึ่งเคยถามว่า ทำไมสินค้าที่เพิ่งเพิ่มเข้าไปหลายพันรายการยังไม่ถูก Google เก็บเข้าดัชนีเลยหลังผ่านไปเป็นเดือน คำตอบไม่ใช่เรื่องคุณภาพเนื้อหา แต่เป็นเรื่อง Googlebot ไม่มีเวลาเข้ามาดูหน้าเหล่านั้นเพียงพอ ซึ่งคือปัญหาเรื่อง Crawl Budget โดยตรง

หัวข้อนี้มักถูกเข้าใจผิดว่าเป็นเรื่องของเว็บใหญ่เท่านั้น ความจริงคือหลักการเดียวกันนี้อธิบายได้ว่าทำไมบางเว็บขนาดกลางถึงมีหน้าสำคัญที่ไม่เคยถูก index เลย ทั้งที่เนื้อหาดีและไม่มีปัญหาทางเทคนิคอื่น เรื่องนี้เป็นส่วนหนึ่งของงานTechnical SEO ที่มักถูกมองข้ามเพราะไม่เห็นผลทันทีเหมือนงานด้านเนื้อหา

Crawl Budget คืออะไร

Crawl Budget คือจำนวนหน้าเว็บโดยประมาณที่ Googlebot ยอมเข้ามาเก็บข้อมูลภายในช่วงเวลาหนึ่ง ถูกกำหนดจากสองปัจจัยหลักคือ Crawl Capacity ซึ่งคือปริมาณการเข้าเว็บที่ server รับไหวโดยไม่ล่ม และ Crawl Demand ซึ่งคือความสนใจของ Google ต่อเว็บนั้น ยิ่งเว็บมีเนื้อหาที่อัปเดตบ่อยและมีคุณค่าสูง Google ยิ่งอยากเข้ามาบ่อยขึ้น

แนวคิดนี้เป็นเรื่องเกี่ยวกับ “การเข้าถึง” (crawl) ไม่ใช่ “การจัดอันดับ” โดยตรง หน้าที่มี crawl budget ไม่พอจะไม่ถูกเข้ามาเก็บข้อมูล และถ้าไม่ถูกเก็บข้อมูล ก็ไม่มีทางถูก index ต่อให้เนื้อหาดีแค่ไหนก็ตาม ความแตกต่างระหว่าง crawl กับ index อธิบายไว้ละเอียดในCrawl กับ Index ต่างกันยังไง และเป็นพื้นฐานที่ควรเข้าใจก่อนอ่านเรื่อง crawl budget ต่อ

เว็บขนาดไหนต้องกังวลเรื่อง Crawl Budget จริง ๆ

เว็บส่วนใหญ่ที่มีจำนวนหน้าหลักพันหรือต่ำกว่าไม่ต้องกังวลเรื่องนี้ เพราะ Googlebot มักมี capacity เพียงพอที่จะเข้าเก็บข้อมูลได้ครบภายในเวลาไม่นาน ปัญหานี้เริ่มมีน้ำหนักจริงกับเว็บที่มีลักษณะอย่างใดอย่างหนึ่งต่อไปนี้

เว็บที่มีหน้ารวมหลายหมื่นถึงหลายล้านหน้า เช่น อีคอมเมิร์ซขนาดใหญ่หรือเว็บประกาศ
เว็บที่สร้างหน้าจำนวนมากแบบอัตโนมัติ (programmatic) จากฐานข้อมูล
เว็บที่มีหน้าฟิลเตอร์หรือพารามิเตอร์ URL จำนวนมากจากระบบค้นหาและกรองสินค้า
เว็บที่เพิ่งย้ายโดเมนหรือเปลี่ยนโครงสร้าง URL ทั้งเว็บ ทำให้ Google ต้อง crawl ซ้ำเกือบทุกหน้า

ถ้าไม่แน่ใจว่าเว็บตัวเองเข้าข่ายไหม

ให้ดูรายงาน “สถิติการรวบรวมข้อมูล” (Crawl Stats) ใน Google Search Console เทียบจำนวนหน้าที่ถูก crawl ต่อวันกับจำนวนหน้าทั้งหมดที่เว็บมี ถ้าห่างกันมากและหน้าใหม่ใช้เวลานานกว่าจะถูก index แสดงว่าเริ่มเข้าข่ายต้องดูแลเรื่องนี้

อะไรบ้างที่กิน Crawl Budget โดยเปล่าประโยชน์

สาเหตุ	ทำไมเป็นปัญหา
หน้าฟิลเตอร์/พารามิเตอร์ URL จำนวนมาก	สร้าง URL ซ้ำซ้อนนับพันจากสินค้าชุดเดียวกัน
หน้าที่ noindex อยู่แล้วแต่ยังเปิดให้ crawl	Googlebot ยังต้องเข้ามาเช็กซ้ำทุกรอบทั้งที่ไม่นำไป index
Redirect Chain ยาวหลายชั้น	แต่ละ hop คือการเรียก server เพิ่มโดยไม่ได้เนื้อหาใหม่
ลิงก์เสียจำนวนมาก (404)	Googlebot เสียรอบ crawl ไปกับหน้าที่ไม่มีอยู่จริง
หน้าซ้ำจาก session ID หรือ tracking parameter	ทำให้เนื้อหาเดียวกันถูกมองเป็นหลาย URL

สาเหตุที่พบบ่อยที่ทำให้ Crawl Budget ถูกใช้อย่างสิ้นเปลือง

วิธี Optimize Crawl Budget

1บล็อกหน้าที่ไม่มีค่าต่อการ index ผ่าน robots.txt เช่นหน้าฟิลเตอร์ที่ไม่ควรติดอันดับอยู่แล้ว
2ใช้ noindex กับหน้าที่ต้องการให้ผู้ใช้เข้าถึงได้แต่ไม่ต้องการให้ Google เก็บเข้าดัชนี
3แก้ Redirect Chain ให้ชี้ตรงไปหน้าปลายทาง อ่านวิธีทำใน 301 Redirect กับ 302 Redirect
4แก้หรือเอาลิงก์ที่ชี้ไปหน้า 404 ออก ดูหลักการใน 404 SEO
5อัปเดต XML Sitemap ให้มีเฉพาะ URL ที่ต้องการให้ index จริง ไม่ใส่หน้าที่ noindex ปนเข้าไป
6ลด crawl depth ของหน้าสำคัญให้เข้าถึงได้ในไม่กี่คลิกจากหน้าแรก ตามหลักที่อธิบายไว้ใน Crawl Depth คือ

ตัวอย่างสมมติ: เว็บประกาศขายรถมือสองที่มีหน้าฟิลเตอร์นับหมื่น

สมมติเว็บประกาศขายรถมือสองแห่งหนึ่งมีระบบค้นหารถตามยี่ห้อ รุ่น ปี ราคา และจังหวัด ซึ่งสร้าง URL แบบผสมพารามิเตอร์ได้หลายหมื่นรูปแบบจากตัวกรองเดียวกัน ทีมงานตรวจ Crawl Stats แล้วพบว่า Googlebot ใช้เวลาส่วนใหญ่ไปกับหน้าฟิลเตอร์เหล่านี้ แทนที่จะเข้าไปเก็บหน้าประกาศรถใหม่ที่เพิ่งลงขาย หลังจากบล็อกหน้าฟิลเตอร์ที่ไม่มีคุณค่าผ่าน robots.txt และปรับให้เหลือเฉพาะหน้าหมวดหมู่หลักที่ควร index จริง Googlebot จึงเริ่มเข้ามาเก็บประกาศรถใหม่ได้เร็วขึ้นภายในไม่กี่สัปดาห์

การอ่าน Log File เพื่อดูว่า Googlebot ทำอะไรบ้างจริง

Log file ของ server คือหลักฐานที่แม่นที่สุดว่า Googlebot เข้าเว็บหน้าไหนบ้างจริง ๆ ต่างจาก Search Console ที่เป็นข้อมูลสรุป Log file แสดงทุกคำขอ (request) ที่ Googlebot ส่งมา พร้อมเวลาและรหัสสถานะที่ตอบกลับ ทำให้เห็นได้ตรง ๆ ว่า Googlebot เสียเวลาไปกับหน้าประเภทไหนมากที่สุด

การวิเคราะห์ log file เบื้องต้นทำได้โดยกรองบรรทัดที่ user agent เป็น Googlebot ออกมา แล้วนับจำนวนครั้งที่เข้าแต่ละ path จัดกลุ่มตามรูปแบบ URL เช่น /product/, /category/, /blog/ แล้วเทียบว่ากลุ่มไหนถูกเข้าบ่อยผิดปกติทั้งที่ไม่ใช่หน้าสำคัญ ถ้ากลุ่มที่ถูก crawl บ่อยที่สุดคือหน้าฟิลเตอร์สินค้าแทนที่จะเป็นหน้าสินค้าจริง นั่นคือสัญญาณชัดว่าต้องเข้าไปแก้

งานนี้ไม่ใช่สิ่งที่ NOAH ทำให้

NOAH ไม่ได้เป็นเครื่องมือวิเคราะห์ log file หรือคลานเว็บเพื่อตรวจ crawl budget โดยตรง งานนี้ต้องใช้เครื่องมือ crawl แบบ desktop หรือเครื่องมือวิเคราะห์ log เฉพาะทาง สิ่งที่ NOAH ช่วยได้คือฝั่งวางแผนเนื้อหาและคีย์เวิร์ดที่ควรให้ความสำคัญก่อน หลังรู้แล้วว่าหน้าไหนคุ้มค่ากับ crawl budget ที่มี

ข้อผิดพลาดที่เจอบ่อย

เข้าใจว่า crawl budget เป็นปัจจัยจัดอันดับ ทั้งที่จริงมันเป็นเรื่องการเข้าถึงเท่านั้น หน้าที่ถูก crawl ครบไม่ได้แปลว่าจะได้อันดับดี
บล็อกหน้าผิดใน robots.txt จนบล็อก CSS/JavaScript ที่จำเป็นต่อการ render หน้าไปด้วย
ใส่ทุก URL รวมทั้งหน้าที่ noindex ลงใน sitemap ทำให้สับสนว่าอันไหนควรถูก index จริง
แก้ปัญหาที่ปลายเหตุด้วยการเพิ่ม server capacity แทนที่จะลดจำนวนหน้าที่ไม่จำเป็นก่อน

คำถามที่พบบ่อย

Crawl Budget มีผลต่ออันดับโดยตรงไหม+

ไม่โดยตรง Crawl Budget เกี่ยวกับว่า Googlebot จะเข้ามาเก็บข้อมูลหน้าไหนบ้าง ไม่ใช่ปัจจัยจัดอันดับ แต่ถ้าหน้าสำคัญไม่ถูก crawl ก็จะไม่ถูก index และไม่มีทางติดอันดับได้เลย ผลกระทบจึงเป็นทางอ้อมแต่รุนแรง

รู้ได้อย่างไรว่าเว็บมีปัญหา Crawl Budget+

สัญญาณที่พบบ่อยคือหน้าใหม่ใช้เวลานานผิดปกติก่อนถูก index หรือหน้าสำคัญบางหน้าไม่เคยถูก index เลยทั้งที่ไม่มีปัญหาทางเทคนิคอื่น ให้ตรวจรายงาน Crawl Stats ใน Search Console ประกอบการวิเคราะห์

การเพิ่มความเร็วเว็บช่วยเรื่อง Crawl Budget ไหม+

ช่วยได้ เพราะ Crawl Capacity ส่วนหนึ่งขึ้นกับว่า server ตอบสนองเร็วแค่ไหน server ที่ตอบช้าจะทำให้ Googlebot ชะลอการเข้ามา crawl เพื่อไม่ให้ server รับภาระหนักเกินไป

sitemap ช่วยแก้ปัญหา Crawl Budget ได้จริงไหม+

sitemap ช่วยบอกทางให้ Googlebot รู้ว่าหน้าไหนสำคัญและควรเข้าถึง แต่ไม่ได้เพิ่มโควตา crawl budget โดยตรง งานหลักที่ช่วยได้จริงคือการลดจำนวนหน้าที่ไม่จำเป็นออกจากเส้นทางที่ Googlebot ต้องเดิน

เว็บอีคอมเมิร์ซที่มีหน้าฟิลเตอร์เยอะควรทำอย่างไร+

ควรกำหนดให้ชัดว่าฟิลเตอร์แบบไหนควรมี URL ของตัวเองและ index ได้ เช่นหมวดหมู่หลัก กับฟิลเตอร์แบบไหนควรบล็อกไม่ให้ Googlebot เข้าเพราะไม่มีคุณค่าเป็นหน้าเดี่ยว เช่นการเรียงลำดับราคา อ่านเพิ่มที่ Pagination กับ Faceted Navigation

สรุป

Crawl Budget ไม่ใช่เรื่องที่เว็บทุกขนาดต้องกังวล แต่ถ้าเว็บของคุณมีหน้าจำนวนมากหรือหน้าใหม่ถูก index ช้าผิดปกติ ควรเริ่มจากดูรายงาน Crawl Stats แล้วไล่ตัดหน้าที่ไม่มีค่าออกจากเส้นทางที่ Googlebot ต้องเดิน ก่อนจะไปแก้ปัญหาที่ยังไม่ได้เกิดขึ้นจริง

วางแผนว่าหน้าไหนควรได้ความสำคัญก่อน

เมื่อรู้แล้วว่าเว็บมีข้อจำกัดเรื่อง crawl การจัดลำดับว่าหัวข้อไหนควรผลิตก่อนยิ่งสำคัญ NOAH ช่วยวางแผนคีย์เวิร์ดและเนื้อหาให้เห็นภาพรวมทั้งโปรเจกต์

เริ่มต้นใช้งาน