GitLab หยุดให้บริการชั่วคราว เพราะสั่ง rm -rf ผิดเครื่อง ระบบสำรองข้อมูล 5 ระบบกู้คืนไม่ได้

GitLab ผู้ให้บริการ Source Code Hub ได้ประกาศหยุดให้บริการชั่วคราว เนื่องจากทีมงานลบข้อมูลของ Directory สำคัญบนเครื่อง Production จนข้อมูล Production หายไปกว่า 300GB

ผู้ดูแลระบบของ GitLab ได้ทำการลบข้อมูล Directory สำคัญบน Production Server ที่มีการ Replicate ข้อมูลกัน ทำให้ข้อมูลเหล่านั้นหายไปกว่า 300GB และกว่าจะรู้ตัวว่าลบผิดที่ก็เหลือข้อมูลเพียง 4.5GB แล้ว โดยข้อมูลที่สูญหายไปนี้้กระทบกับส่วนของ Issue และ Merge Request เป็นหลัก และไม่ได้กระทบกับบ Repository หรือ Wiki แต่อย่างใด

ถึงแม้ GitLab จะมีการทำ Backup และ Replication รวมกันทั้งสิ้นถึง 5 รูปแบบ แต่เมื่อเกิดเหตุครั้งนี้ขึ้นก็กลับพบว่าไม่มีรูปแบบไหนเลยที่สามารถนำมาใช้แก้วิกฤติในครั้งนี้ได้ เนื่องจากไม่มีระบบสำรองข้อมูลใดของ GitLab ที่ทำงานได้เสถียรหรือตั้งค่าจนเสร็จสมบูรณ์เลย

ก็ถือเป็นอีกบทเรียนที่เหล่าผู้ดูแลระบบควรจะเรียนรู้เอาไว้ครับ บางครั้งความผิดพลาดลักษณะนี้ก็เกิดขึ้นได้ แต่การที่แผนสำรองทั้งหมดไม่สามารถนำมาใช้จริงได้เลยนี่ถือเป็นประเด็นที่ใหญ่พอสมควรเลยทีเดียว และปัจจุบันขณะที่กำลังเขียนข่าวนี้ระบบก็ยังคงหยุดให้บริการอยู่ครับ

ที่มา: https://www.theregister.co.uk/2017/02/01/gitlab_data_loss/