ตรวจก่อนเปิดใช้จริง ต้องเปิดบนเครื่องคนอื่นสักครั้งถึงจะจบ

คนที่ใช้บริการนี้จนจบมีอยู่คนเดียว

เหลืออีกไม่กี่วันก็ถึงวันเปิด ฟีเจอร์ครบแล้ว ดีไซน์ก็ตรวจผ่านแล้ว ไฟล์ก็ขึ้นเซิร์ฟเวอร์แล้ว ดูเหมือนเหลือแค่กดเปิด แต่คนที่เดินจากหน้าจอแรกไปจนถึงหน้าจอสุดท้ายจริง ๆ ยังมีอยู่คนเดียวคือคนที่ทำมันขึ้นมา

คนทำจะเดินบนทางที่ตัวเองตัดไว้ ค่าที่กรอกในฟอร์มสมัครก็คือค่าที่กรอกอยู่ทุกวัน เส้นทางไปหน้าชำระเงินก็เรียงตามลำดับที่ตัวเองวางไว้ ทางเส้นนั้นเดินมาแล้วหลายสิบรอบ จะติดขัดได้ยังไง ปัญหาคือผู้ใช้คนแรกไม่ได้เข้ามาทางนั้น เขาเด้งจากผลค้นหาเข้าหน้ารายละเอียดตรง ๆ สมัครไปครึ่งทางแล้วปิดหน้าต่าง อีกชั่วโมงค่อยกลับมา และกดปุ่มย้อนกลับตอนที่กำลังจ่ายเงินอยู่

การตรวจก่อนเปิดจึงไม่ค่อยเกี่ยวกับว่าติ๊กไปกี่ข้อ แต่เกี่ยวกับว่าใครเดินทางไหนมาแล้วบ้าง เอาเวลาไปต่อเช็กลิสต์ให้ยาวขึ้น มักได้ผลน้อยกว่าเดินทางที่ไม่เคยอยู่ในเช็กลิสต์สักหนึ่งรอบ

ลากเป็นเส้นเดียวแล้วเดินให้ตลอด

ถ้าตรวจทีละหน้าจอ สุดท้ายจะได้สภาพที่หน้าจอทุกหน้าปกติดีแต่บริการใช้ไม่ได้ เพราะสิ่งที่ผู้ใช้ทำจริงไม่ใช่หน้าจอเดียว แต่เป็นเส้นเดียวยาว ๆ ตั้งแต่เข้ามาจนได้สิ่งที่ต้องการ ลองเดินเส้นนั้นให้จบโดยไม่ตัดตอน สมัคร รับเมลยืนยัน ล็อกอิน หยิบของใส่ตะกร้า จ่ายเงิน แล้วไปหาประวัติรายการที่เพิ่งเกิดขึ้น

จุดที่พังมักไม่ได้อยู่หลังความสำเร็จ แต่อยู่หลังความล้มเหลว บัตรถูกปฏิเสธ เมลยืนยันไม่มา กดย้อนกลับกลางทางตอนจ่ายเงิน กดปุ่มเดิมรัว ๆ สองครั้ง เส้นทางที่ทุกอย่างราบรื่นถูกดูซ้ำมาหลายสิบรอบระหว่างพัฒนา ส่วนเส้นทางที่ล้มเหลวกลับขึ้นระบบไปโดยไม่เคยมีใครเดินเลยสักครั้ง ออร์เดอร์ซ้ำสองใบ หรือเงินตัดไปแล้วแต่ไม่มีออร์เดอร์ ก็โผล่มาจากตรงนี้

สมัครบัญชีใหม่อีกอันด้วย บัญชีที่ใช้มาตลอดช่วงพัฒนามีสิทธิ์และข้อมูลสะสมอยู่เต็มไปหมด ทั้งทีมจึงไม่เคยเห็นหน้าจอเปล่า ๆ ว่าคนที่เพิ่งสมัครเมื่อเช้านี้เห็นอะไรอยู่ มีแต่บัญชีใหม่เท่านั้นที่ตอบได้

ของที่ส่งออกไป ต้องถึงปลายทางก่อนถึงจะนับว่าตรวจแล้ว

ข้อความบนหน้าจอที่บอกว่าส่งแล้ว กับเมลที่นอนอยู่ในกล่องขาเข้าของอีกฝ่าย เป็นคนละเรื่องกัน ฟอร์มติดต่อ เมลยืนยันการสมัคร รีเซ็ตรหัสผ่าน ยืนยันคำสั่งซื้อ การแจ้งเตือน ทั้งหมดนี้ยังไม่นับว่าตรวจแล้วจนกว่าจะส่งไปยังที่อยู่จริงและเปิดอ่านที่ปลายทางจริง

ระหว่างพัฒนามักใช้เครื่องมือดักเมลไว้ดูแล้วผ่านไป แต่เครื่องมือแบบนั้นไม่เคยส่งเมลออกไปข้างนอกเลย พอสลับไปส่งจริงเมื่อไร การยืนยันโดเมนผู้ส่งจะกลายเป็นด่านทันที ผู้ให้บริการอีเมลรายใหญ่ขยับมาทางเดียวกันหลายปีแล้วคือต้องมีค่า SPF DKIM และ DMARC ผูกกับโดเมนที่ใช้ส่ง ถ้าไม่มี เมลจะไปลงถังขยะหรือถูกปฏิเสธไปเลย ค่าพวกนี้อยู่ในมือคนที่ดูแลโดเมน ไม่ได้อยู่ในมือคนเขียนโค้ด ตกลงกันไว้ไม่ชัดว่าใครทำ ก็มักจะไปเจอเอาหลังเปิดใช้จริง

ฝั่งผู้รับก็ตรวจสักครั้ง ถ้าเมลที่ฟอร์มติดต่อส่งออกไปกำลังกองอยู่ในถังขยะของคนรับผิดชอบ สภาพที่ได้คือฟอร์มทำงานปกติทุกอย่าง แต่ไม่มีคำถามเข้ามาสักข้อ

เครื่องเก่า เน็ตช้า หน้าต่างที่ยังไม่ล็อกอิน

เครื่องของคนทำเป็นเครื่องใหม่เสมอ จอกว้าง เน็ตเร็ว และล็อกอินค้างไว้อยู่แล้ว ลองทำลายเงื่อนไขทั้งสี่ข้อนี้สักหนึ่งรอบ เปิดด้วยมือถือเครื่องจริงที่ใช้มาหลายปี เข้าจากหน้าแรกด้วยหน้าต่างที่ไม่ได้ล็อกอิน แล้วดูว่าตอนเน็ตช้าหน้าจอถูกวาดขึ้นมาตามลำดับไหน เว็บที่รูปหนักจะเผยธาตุแท้ในเงื่อนไขแบบนี้เท่านั้น

การตั้งค่าการมองเห็นก็ดูรอบเดียวกันนี้ ตอนพัฒนามักปิดไม่ให้เสิร์ชเอนจินเก็บข้อมูล พอค่านั้นตามขึ้นไปด้วย เว็บจะเปิดได้ปกติสำหรับคน แต่ไม่โผล่ในผลค้นหาเลย อีกด้านหนึ่งก็มีเหมือนกันคือปล่อยที่อยู่ทดสอบเปิดค้างไว้ เนื้อหาชุดเดียวกันเลยอยู่สองที่ ทั้งสองแบบมองจากหน้าจออย่างเดียวไม่เห็น และจะย้อนกลับมาอีกทีในอีกไม่กี่สัปดาห์ในรูปคำถามว่าทำไมค้นหาไม่เจอ

ถอยกลับได้ไหม

ตรวจมากแค่ไหนก็ยังมีเรื่องที่โผล่หลังเปิดอยู่ดี คำถามสุดท้ายจึงไม่ใช่ตรวจอะไรไปบ้าง แต่คือมีที่ให้ถอยหรือเปล่า มีใครรู้วิธีย้อนกลับไปเวอร์ชันก่อนหน้าไหม งานนั้นจบในไม่กี่นาทีหรือกินเวลาทั้งบ่าย และถ้าการเปลี่ยนแปลงรอบนี้แตะฐานข้อมูล แบ็กอัปชุดล่าสุดเป็นของเมื่อไร

สิ่งที่ย้อนกลับไม่ได้ให้ทำเครื่องหมายแยกไว้ หน้าจอกับโค้ดย้อนกลับได้ก็จบ แต่ข้อมูลผู้ใช้ที่ย้ายหรือลบไปแล้ว เมลที่ส่งออกไปแล้ว เงินที่ตัดไปแล้ว ไม่ย้อน การไม่เอางานประเภทนี้ไปกองรวมกันในวันเปิดก็นับเป็นส่วนหนึ่งของการตรวจ

เวลาที่เลือกเปิดก็เป็นการตัดสินใจ เปิดเย็นวันศุกร์แล้วมีเรื่อง ก็ไม่เหลือใครอยู่ดู ระบบแจ้งเตือนความผิดปกติให้เปิดไว้ก่อนวันเปิด เพราะความต่างของวันแรกอยู่ตรงที่ว่ารู้เรื่องจากระบบของตัวเองก่อน หรือรู้จากสายที่ลูกค้าโทรเข้ามา

”มันใช้ไม่ได้” ยังไม่นับเป็นผลตรวจ

ถ้ารายงานที่ได้มามีบรรทัดเดียวว่าจ่ายเงินไม่ได้ คนแก้ต้องไปไล่ทำซ้ำเองตั้งแต่ต้น กดอะไรไปบ้างตามลำดับไหน เครื่องอะไรเบราว์เซอร์ตัวไหน บัญชีไหนตอนกี่โมง และหน้าจอขึ้นข้อความว่าอะไร ถ้ามีสี่อย่างนี้แนบมา ส่วนใหญ่วงสาเหตุจะแคบลงตรงนั้นเลย ถ้าไม่มี แค่ทำซ้ำให้เจอก็หมดไปหนึ่งวัน อัดคลิปหน้าจอไว้คือทางที่เร็วที่สุด

ถ้าคนตรวจกับคนแก้เป็นคนละคน ให้ตกลงรูปแบบการเขียนกันไว้ก่อน ไม่กี่วันก่อนเปิดคือช่วงที่เจอของกันเยอะที่สุด พอรายงานที่ยังไม่ได้เรียบเรียงกองสุมกันไว้ เวลาที่ควรใช้แก้ก็เปลี่ยนไปเป็นเวลาอ่านแทน

บทบาทคนที่เพิ่งเห็นครั้งแรก เราขอรับไปเอง

บริการตรวจคุณภาพก่อนเปิดใช้จริงของ Weple คือการเดินแทนในเส้นทางที่ทีมผู้สร้างไม่เคยมีเหตุให้เดิน เราแปลงเส้นทางที่พังไม่ได้ให้เป็นชุดทดสอบอัตโนมัติที่เบราว์เซอร์จริงเดินตาม แล้วสลับเบราว์เซอร์กับขนาดหน้าจอรันซ้ำอีกรอบ พร้อมจงใจใส่เงื่อนไขที่โผล่มาในการใช้งานจริงเข้าไปด้วย ทั้งค่าว่าง ข้อความยาวผิดปกติ เน็ตช้า การกดรัว และปุ่มย้อนกลับ ไม่ต้องให้สิทธิ์เข้าถึง repository แค่มีที่อยู่ที่เปิดได้กับบัญชีทดสอบก็เริ่มได้ เรารับอะไรบ้างและคิดเงินด้วยหน่วยไหน เขียนไว้ที่หน้าราคา เรียกเราตั้งแต่พัฒนายังไม่เสร็จก็ได้ และมักจะดีกว่าเพราะยังเหลือเวลาแก้ ของที่เจอเราจะแนบขั้นตอนการทำซ้ำ คลิปหน้าจอ และระดับความรุนแรงกลับไปให้ ส่งต่อให้โปรแกรมเมอร์ได้ทันทีโดยไม่ต้องเรียบเรียงใหม่