เว็บทดสอบหลุดขึ้น Google: สาเหตุ วิธีเอาออก และวิธีกันไม่ให้เกิดซ้ำ

วันหนึ่งลูกค้าโทรมาบอกว่า ค้นชื่อร้านใน Google แล้วเจอเว็บที่หน้าตาเหมือนเว็บของคุณ แต่ราคายังเป็นของแคมเปญปีที่แล้ว มีคำว่า “ทดสอบ” ค้างอยู่กลางหน้า และเบอร์โทรเป็นเบอร์เก่า พอกดดูที่อยู่เว็บถึงเห็นว่าไม่ใช่โดเมนหลัก แต่เป็นอะไรทำนอง dev.ชื่อร้าน.com สิ่งที่เกิดขึ้นคือเว็บทดสอบของทีมพัฒนาหลุดขึ้น Google

บทความนี้จะพาไล่ตั้งแต่วิธีตรวจว่าเว็บทดสอบหลุดขึ้นจริงหรือไม่ สาเหตุที่ทำให้หลุดทั้งที่ทีมคิดว่าปิดแล้ว ความต่างระหว่างการบล็อกบอตกับการสั่งไม่ให้เก็บเข้าระบบ ขั้นตอนเอาออกเมื่อหลุดไปแล้ว และวิธีตั้งค่าที่กันไม่ให้เกิดซ้ำ ถ้าอยากเห็นภาพรวมของงานฝั่งเทคนิคทั้งหมดที่เจ้าของธุรกิจควรรู้ อ่านต่อได้ที่ Technical SEO สำหรับ SME

เว็บทดสอบหลุดขึ้น Google คืออะไร

คำว่าเว็บทดสอบในบทความนี้หมายรวมถึงทุกสำเนาที่ไม่ใช่เว็บจริง ไม่ว่าจะเรียกว่า staging (เว็บสำหรับทดสอบก่อนขึ้นจริง), dev, uat, demo, preview หรือเว็บที่เอเจนซีทำให้ดูก่อนอนุมัติ ทุกตัวมีความเสี่ยงเดียวกันหมด เพราะเนื้อหาข้างในเหมือนหรือใกล้เคียงกับเว็บจริงมาก

อาการที่บอกว่าเว็บทดสอบของคุณหลุดขึ้นแล้ว

ส่วนใหญ่ไม่มีใครมาแจ้งเตือน เจ้าของธุรกิจมักรู้ตอนที่ลูกค้าทักมา หรือตอนที่สังเกตว่าตัวเลขในรายงานแปลก ๆ ก่อนจะเชื่อว่าเกิดขึ้นจริง ให้ไล่ตรวจสามข้อนี้ด้วยตัวเองก่อน ใช้เวลาไม่เกินสิบนาทีและไม่ต้องใช้เครื่องมืออะไรเลยนอกจากช่องค้นหา

ทำไมเว็บทดสอบถึงหลุดขึ้นทั้งที่คิดว่าปิดไว้แล้ว

แทบทุกเคสไม่ได้เกิดจากความประมาทครั้งเดียว แต่เกิดจากการปิดด้วยวิธีที่ไม่ได้ผลตั้งแต่แรก แล้วไม่มีใครกลับไปตรวจซ้ำ สาเหตุที่พบบ่อยเรียงตามความถี่มีดังนี้

• ทีมพัฒนาตั้งค่าปิดไว้ตอนเริ่มโปรเจกต์ แล้วมีการคัดลอกค่าตั้งจากเว็บจริงมาทับภายหลัง ทำให้ค่าที่ปิดไว้หายไปโดยไม่มีใครสังเกต
• ปิดด้วยการใส่ Disallow ใน robots.txt อย่างเดียว ซึ่งเป็นการขอไม่ให้บอตเข้าอ่าน ไม่ใช่การสั่งไม่ให้แสดงในผลการค้นหา
• มีลิงก์จากที่อื่นชี้เข้ามา เช่น ทีมส่งลิงก์เว็บทดสอบให้ลูกค้าดูผ่านหน้าเว็บสาธารณะ ใบเสนอราคาที่เผยแพร่ออนไลน์ หรือโพสต์ในกลุ่มเปิด บอตเดินตามลิงก์เข้ามาเจอได้เอง
• เว็บทดสอบถูกใส่ไว้ใน sitemap ที่คัดลอกมาจากเว็บจริง หรือมี sitemap ของตัวเองที่ประกาศทุกหน้าไว้ครบ
• ระบบจัดการเว็บมีสวิตช์ห้ามเก็บเข้าระบบให้ติ๊ก แต่สวิตช์นั้นทำงานเฉพาะบางหน้า ไม่ครอบคลุมไฟล์ภาพ ไฟล์แนบ หรือหน้าที่ปลั๊กอินสร้างขึ้นเอง
• เว็บทดสอบเปิดสาธารณะเพราะต้องให้ลูกค้าหรือทีมขายเข้าดูได้ง่าย เลยไม่มีใครกล้าใส่รหัสผ่านกั้น

จุดร่วมของทุกข้อคือไม่มีใครทำหน้าที่ตรวจซ้ำหลังจากตั้งค่าครั้งแรก การตั้งค่าให้ถูกวันแรกจึงสำคัญน้อยกว่าการมีคนตรวจซ้ำทุกครั้งที่ย้ายข้อมูลหรือคัดลอกเว็บ

ทำไม robots.txt อย่างเดียวไม่พอ และต่างจาก noindex อย่างไร

นี่คือจุดที่เข้าใจผิดกันมากที่สุด และเป็นสาเหตุที่ทำให้เว็บทดสอบยังหลุดอยู่แม้ทีมยืนยันว่าปิดแล้ว ทั้งสองอย่างทำงานคนละชั้นกัน robots.txt คือไฟล์ที่บอกบอตว่าอย่าเข้ามาอ่านส่วนไหน ส่วน noindex คือคำสั่งในหน้าเว็บที่บอกว่าอย่านำหน้านี้ไปแสดงในผลการค้นหา

รายละเอียดของไฟล์ robots.txt ว่าเขียนอย่างไร บรรทัดไหนหมายถึงอะไร และบล็อกผิดจุดแล้วเกิดอะไรขึ้น อธิบายไว้ครบที่ robots.txt คืออะไร ส่วนบทความนี้จะโฟกัสเฉพาะกรณีเว็บทดสอบ

ขั้นตอนเอาออกอย่างเร็วเมื่อหลุดไปแล้ว

เมื่อยืนยันแล้วว่าหลุดจริง ลำดับการแก้สำคัญมาก ถ้าทำสลับขั้นจะกลายเป็นล็อกตัวเองจนหน้าค้างอยู่นานกว่าเดิม ลำดับที่ควรทำคือหยุดการเข้าถึงก่อน แล้วค่อยขอให้เอาออก ไม่ใช่ขอให้เอาออกก่อนแล้วค่อยปิด

ผลเสียที่เกิดกับเว็บจริง ไม่ใช่แค่เรื่องภาพลักษณ์

หลายคนคิดว่าเรื่องนี้เป็นแค่ความน่าอาย แต่ผลกระทบที่ตามมามีมากกว่านั้น เพราะเนื้อหาในเว็บทดสอบมักเหมือนเว็บจริงเกือบทุกตัวอักษร

• เกิดเนื้อหาซ้ำระหว่างสองเว็บ ระบบค้นหาต้องเลือกเองว่าจะแสดงหน้าไหน และอาจเลือกหน้าที่ธุรกิจไม่ต้องการให้คนเห็น
• ลูกค้าที่กดเข้าเว็บทดสอบเจอราคาเก่า สินค้าที่เลิกขายแล้ว หรือแบบฟอร์มที่ส่งข้อมูลไปไม่ถึงใคร กลายเป็นลีดที่หายไปเงียบ ๆ
• ตัวเลขในรายงานเพี้ยน ถ้าเว็บทดสอบติดโค้ดวัดผลตัวเดียวกับเว็บจริง ยอดเข้าชมและจำนวนลีดจะปนกันจนอ่านไม่ออกว่าอันไหนของจริง
• ข้อมูลภายในรั่ว เว็บทดสอบบางตัวมีหน้าที่ยังไม่เปิดตัว ราคาที่ยังไม่ประกาศ หรือรายชื่อลูกค้าตัวอย่างที่ไม่ควรเผยแพร่
• งบที่ลงไปกับบทความหนึ่งชิ้นถูกหารสองโดยไม่ตั้งใจ เพราะมีสองที่อยู่เว็บที่เนื้อหาเหมือนกันแข่งกันเอง

กลไกของปัญหาเนื้อหาซ้ำและเหตุผลที่มันฉุดทั้งเว็บ ไม่ใช่แค่หน้าเดียว อธิบายไว้ที่ Thin Content และ Duplicate Content คืออะไร ซึ่งช่วยให้เห็นว่าทำไมเรื่องนี้ควรรีบแก้

วิธีป้องกันที่ได้ผลจริง เรียงตามความแน่นอน

เกณฑ์ง่าย ๆ ในการเลือกวิธีป้องกันคือ ยิ่งวิธีนั้นทำงานใกล้ชั้นเซิร์ฟเวอร์เท่าไร ยิ่งพลาดยากเท่านั้น เพราะไม่ต้องรอให้บอตอ่านแท็กในหน้าเว็บก่อน

1. 1ล็อกด้วยรหัสผ่านระดับเซิร์ฟเวอร์ทั้งเว็บ วิธีนี้ปลอดภัยที่สุดเพราะบอตถูกปฏิเสธก่อนเห็นเนื้อหา แม้จะมีลิงก์จากที่ไหนชี้เข้ามาก็ไม่มีอะไรให้เก็บ
2. 2จำกัดให้เข้าได้เฉพาะเครือข่ายของทีมหรือผ่านระบบเชื่อมต่อภายใน เหมาะกับทีมที่มีออฟฟิศประจำ แต่ต้องเตรียมทางให้คนทำงานนอกสถานที่เข้าถึงได้ด้วย
3. 3ใส่คำสั่ง noindex ระดับทั้งเว็บที่ตัวเซิร์ฟเวอร์ ไม่ใช่ไล่ใส่ทีละหน้าในระบบจัดการเนื้อหา เพื่อให้ครอบคลุมหน้าที่สร้างอัตโนมัติทั้งหมด
4. 4แยกค่าตั้งของเว็บทดสอบออกจากเว็บจริงคนละชุด เพื่อไม่ให้การคัดลอกฐานข้อมูลมาทับลบค่าที่ปิดไว้
5. 5อย่าใส่เว็บทดสอบใน sitemap และอย่าให้มีลิงก์จากเว็บสาธารณะชี้เข้าไป เวลาส่งงานให้ลูกค้าดู ให้ส่งเป็นลิงก์ในอีเมลหรือแชทส่วนตัว ไม่ใช่โพสต์ในที่เปิด

เช็กลิสต์ก่อนเปิดเว็บใหม่หรือย้ายเว็บ

ช่วงที่เสี่ยงที่สุดคือวันขึ้นเว็บจริง เพราะทีมกำลังเร่ง และค่าตั้งจากเว็บทดสอบมักถูกคัดลอกไปเว็บจริงพร้อมกับข้อมูล ให้ใช้รายการนี้ตรวจทั้งก่อนและหลังขึ้นเว็บ

• เว็บทดสอบทุกตัวที่ยังเปิดอยู่ ถูกล็อกด้วยรหัสผ่านหรือปิดการเข้าถึงจากภายนอกแล้ว
• เว็บทดสอบตัวที่เลิกใช้แล้ว ถูกปิดทิ้งจริง ไม่ใช่แค่ปล่อยไว้เฉย ๆ
• เว็บจริงไม่มีคำสั่ง noindex ค้างมาจากเว็บทดสอบ ตรวจด้วยการเปิดดูโค้ดหน้าแรกหลังขึ้นเว็บทันที
• ไฟล์ robots.txt บนเว็บจริงไม่ได้บล็อกทั้งเว็บ ซึ่งเป็นค่าที่มักติดมาจากเว็บทดสอบ
• sitemap ของเว็บจริงมีเฉพาะที่อยู่เว็บของโดเมนจริง ไม่มีที่อยู่ของโดเมนทดสอบปนอยู่
• ค้นด้วยคำสั่ง site: กับโดเมนทดสอบอีกครั้งหลังขึ้นเว็บจริงหนึ่งสัปดาห์

ข้อผิดพลาดที่พบบ่อย

ส่วนใหญ่ไม่ได้เกิดจากไม่รู้ แต่เกิดจากแก้ด้วยวิธีที่ดูเหมือนได้ผล เลยไม่มีใครกลับไปตรวจซ้ำ

• บล็อกด้วย robots.txt แล้วคิดว่าจบ ทั้งที่หน้าที่เคยถูกเก็บไปแล้วยังค้างอยู่ในผลการค้นหาต่อไป
• ใส่ noindex พร้อมกับบล็อกด้วย robots.txt ทำให้บอตอ่านคำสั่งไม่เห็น หน้าจึงไม่หลุดออกสักที
• ใช้เครื่องมือขอนำที่อยู่เว็บออกชั่วคราวแล้วไม่ได้แก้ที่ตัวเว็บ พอคำขอหมดอายุก็กลับมาโผล่อีก
• เปลี่ยนชื่อโดเมนย่อยของเว็บทดสอบเป็นชื่อใหม่แทนที่จะปิด ผลคือได้เว็บทดสอบที่หลุดขึ้นเพิ่มอีกหนึ่งตัว
• ลบเนื้อหาในเว็บทดสอบออกจนเหลือหน้าว่าง แต่หน้ายังตอบว่ามีอยู่ ทำให้ระบบค้นหายังเก็บหน้าเปล่านั้นไว้
• ตรวจเฉพาะโดเมนย่อยที่ทีมกำลังใช้ ลืมตัวที่ผู้รับจ้างรายเก่าทำไว้บนโดเมนของเขาเอง
• แก้เสร็จแล้วไม่ได้จดไว้ในขั้นตอนการทำงาน รอบหน้าที่ทำเว็บใหม่ก็พลาดซ้ำที่เดิม

เรื่องนี้เกี่ยวกับ NOAH ตรงไหน

พูดกันตรง ๆ ว่า NOAH ไม่ได้ทำหน้าที่ไล่ตรวจเซิร์ฟเวอร์ให้ NOAH ไม่ได้ crawl ทั้งเว็บและไม่ได้ติดตามอันดับรายวัน งานปิดเว็บทดสอบเป็นงานของทีมพัฒนาหรือผู้ดูแลเซิร์ฟเวอร์โดยตรง สิ่งที่ NOAH ช่วยได้คือฝั่งเนื้อหา ตั้งแต่หาคีย์เวิร์ดพร้อมปริมาณการค้นหา วางแผนคอนเทนต์ทั้งโปรเจกต์ เขียนบทความภาษาไทยตามแนวทางของแบรนด์ ส่งขึ้น WordPress และเชื่อมข้อมูลจาก Google Search Console มาดูผล

ประโยชน์ทางอ้อมคือเมื่อเชื่อมข้อมูลจาก Search Console เข้ามาดูแล้วเห็นว่าหน้าที่เคยมีคลิกอยู่ดี ๆ ตัวเลขตกลงผิดปกติ นั่นเป็นสัญญาณให้กลับไปตรวจฝั่งเทคนิคได้เร็วขึ้น ส่วนการยืนยันว่าเว็บทดสอบหลุดหรือไม่ ยังต้องค้นด้วยคำสั่ง site: และดูใน Search Console ด้วยตัวเองอยู่ดี

คำถามที่พบบ่อย

สรุป

เว็บทดสอบหลุดขึ้น Google เป็นปัญหาที่ตรวจเองได้ในสิบนาทีด้วยคำสั่ง site: และแก้ได้ด้วยลำดับที่ชัดเจน คือเปิดทางให้บอตอ่านคำสั่ง noindex ก่อน แล้วค่อยขอนำที่อยู่เว็บออกชั่วคราว จากนั้นปิดการเข้าถึงจากภายนอกให้ถาวร ส่วนการป้องกันระยะยาวมีอยู่ทางเดียวที่แน่นอนจริง คือล็อกเว็บทดสอบด้วยรหัสผ่านระดับเซิร์ฟเวอร์ตั้งแต่วันแรก แล้วใส่ข้อนี้ไว้ในเช็กลิสต์ทุกครั้งที่ทำเว็บใหม่