TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
ตามธรรมเนียม Facebook จะออกมาอัปเดตเรื่อยๆ ถึงเทคโนโลยีที่ตนเองสร้างและพัฒนาขึ้นมาใช้งานภายใน Data Center ของตนเอง รวมถึงผลักดัน Open Compute Project หรือ OCP ไปด้วยในเวลาเดียวกัน และในครั้งนี้ Facebook ก็ออกมาเล่าถึงการออกแบบเทคโนโลยี, สถาปัตยกรรม, Hardware และ Software ที่กำลังใช้งานอยู่ภายใน Data Center ปัจจุบัน ซึ่งเนื้อหาเต็มๆ นั้นยาวมาก ทางทีมงาน TechTalkThai จึงขอนำมาสรุปอย่างย่นย่อดังนี้
ปัญหาที่ Facebook เจอ
ด้วยความที่ Facebook นั้นเปิดบริการใหม่ๆ อย่างต่อเนื่อง และเปิด Data Center ใหม่ๆ อย่างต่อเนื่อง เพื่อรองรับต่อปริมาณผู้ใช้งานที่เพิ่มขึ้นในแต่ละบริการสำหรับแต่ละภูมิภาค การเลือกลงทุน Hardware และเดินสายสำหรับใช้งานในระยะยาวนั้นจึงเป็นประเด็นสำคัญ โดยโจทย์หลักๆ ที่ Facebook ต้องเผชิญนั้นมีดังนี้
- การรับส่งข้อมูลระหว่าง Rack มีปริมาณมากขึ้น ดังนั้นจึงต้องการ Bandwidth ที่สูงขึ้นในขณะที่มี Hop ในการรับส่งข้อมูลที่น้อยลง
- มี Data Center ใหม่เกิดขึ้นอย่างต่อเนื่อง และต้องมีการอัปเกรดขยายระบบ Data Center เดิมให้มีอยู่ให้คุ้มค่าที่สุด ใช้ Hardware เดิมที่มีอยู่ให้ได้ยืนยาวที่สุด
- Data Center แต่ละแห่งใช้พลังงานหมุนเวียนทั้งหมด ทำให้พลังงานมีจำกัด ดังนั้นการออกแบบระบบใหม่ๆ จะต้องคำนึงถึงเรื่องของการใช้พลังงานให้เพียงพอต่อพลังงานที่มีอยู่ด้วย
- การเดินสายที่มีอยู่เดิมต้องใช้ซ้ำให้ได้โดยไม่ต้องเดินสายใหม่ ดังนั้นการเปิดรับเทคโนโลยีการสื่อสารแบบใหม่จึงต้องคำนึงถึง Physical Layer ที่มีอยู่เดิมให้มาก
- การนำ Hardware รุ่นใหม่ๆ มาใช้ จะต้องเข้ากับ Fabric เดิมที่มีอยู่ได้ และมีผู้ผลิต Hardware มากกว่า 1 รายเพื่อให้เกิดความมั่นคงในเชิงของ Supplier และเป็นการผลักดัน OCP ไปด้วย
การออกแบบและเทคโนโลยีใหม่ๆ สำหรับแก้ไขปัญหา
สำหรับแนวคิดและเทคโนโลยีใหม่ๆ ที่ Facebook นำมาใช้นั้นมีดังนี้
- เปิดตัว F16 Fabric Topology ใหม่ โดยแต่ละ Rack จะใช้ Wedge 100S ซึ่งมี Uplink ขนาด 100GbE จำนวน 16 เส้นไปยัง 16 Plane และมี Bandwidth ขนาด 1.6Tbps เชื่อมต่อไปยัง Server ภายใน Rack ส่วน Plane เหนือจาก Top-of-Rack จะใช้ 128-Port 100GbE Switch มาเป็นตัวรับ ตรงนี้เองที่ Facebook ต้องออกแบบ Switch ใหม่ของตนเองที่ชื่อว่า Minipack ซึ่งใช้ ASIC เดียวสำหรับประหยัดพลังงานและลดจำนวน Hop ลง ทำให้ใช้พลังงานและพื้นที่ติดตั้งน้อยลงกว่า Backpack เดิมถึงครึ่งหนึ่ง ปรับจากเดิมที่ใช้ 400GbE เป็นหลัก
Credit: Facebook การปรับเปลี่ยนครั้งนี้ทำให้เดิมทีที่การรับส่งข้อมูลต้องกินจำนวน Hop ระหว่าง ASIC หลาย Hop เพราะมีเส้นทางที่น้อยและมีจำนวน ASIC ที่มาก เหลือจำนวน Hop ที่น้อยลง 2-3 เท่าเลยทีเดียว โดยตัว Minipack ที่ใช้นี้ได้ทำการออกแบบร่วมกับ Edgecore และยังมีสถาปัตยกรรมภายในแบบ Modular รองรับ Port Interface Module (PIM) ได้หลากหลายรูปแบบ รวมถึงยังได้ออกแบบ 400G PIM อย่าง PIM-4DD ที่รองรับ 4x400G QSFP-DD ขึ้นมาด้วย
Credit: Facebook 
Credit: Facebook ภายใน Minipack นี้ยังมีการเลือกใช้ Reverse Gearbox เพื่อแปลงให้การรับส่งข้อมูลในแต่ละ Lane ที่แตกต่างกันเกิดขึ้นได้ และมีการพัฒนา MiniLake ซึ่งเป็น Control Plane ของ Minipack ขึ้นมาใน Form Factor แบบ COM Express และใช้ Type-7 Pinout
Credit: Facebook ทั้งนี้ Facebook ได้มอบทั้ง Minipack และ MiniLake นี้ให้กับโครงการ OCP แล้ว
- Facebook ได้จับมือกับ Arista พัฒนา Arista 7368X4 ขึ้นมาเพื่อเป็นอีกทางเลือกหนึ่งสำหรับ Minipack ด้วย โดยรองรับทั้งการใช้งาน FBOSS และ Arista EOS ได้ในตัว ซึ่ง Facebook เองก็ได้มีโอกาสในการพัฒนาองค์ความรู้และเทคโนโลยีใหม่ๆ ร่วมกับ Arista ในครั้งนี้ และ Arista เองก็ได้ส่งมอบการออกแบบของ Switch รุ่นนี้ให้กับ OCP ด้วย
Credit: Facebook - เปิดตัว HGRID ระบบ Fabric Aggregation ใหม่ เชื่อม F16 จำนวนมากเข้าด้วยกันโดยให้ Fabric Spine Switch นั้นเชื่อมต่อเข้ากับ HGRID โดยตรง เพิ่ม Bandwidth สำหรับทั้ง East-West และ Regional Uplink ได้ดีขึ้น และลดจำนวน Hop ที่ต้องใช้ลงได้
Credit: Facebook - พัฒนา FBOSS เพิ่มเติม โดยรองรับ OpenBMC รุ่นใหม่ที่รองรับ Hardware ใหม่ที่ออกแบบขึ้นมาทั้งสองชุด และรองรับการทำ Modularity แบบใหม่ๆ ทั้ง PIM, Port Programming, Microserver รุ่นใหม่, I2C ใหม่, MDIO, FPGA และรองรับ External PHY Chip ได้ด้วย
Credit: Facebook FBOSS นี้ใช้ CentOS เป็นระบบปฏิบัติการเบื้องหลังทั้งหมด และ FBOSS เพียงชุดเดียวนี้ก็ต้องรองรับ Hardware ทั้งหมดที่ Facebook ใช้และบริหารจัดการจากศูนย์กลางร่วมกันทั้งหมดได้ ในขณะที่ต้องทำงานร่วมกับทั้ง BMC SoC และ OpenBMC ได้ในเวลาเดียวกัน
นอกจากนี้ Facebook ยังได้มีการพัฒนา FPGA เฉพาะขึ้นมาเพื่อยุบขนาดของ I2C ลงและเพิ่มประสิทธิภาพการทำงานให้ดีขึ้น ทำให้สามารถรองรับ 128 Transceiver ได้ภายในขนาดของ Minipack เพียงแค่ 4U เท่านั้น และยังสามารถรองรับ External PHY รวมถึงเขียนโปรแกรมเข้าไปควบคุม External PHY ได้ด้วย
- ในแง่ของการทดสอบ ทาง Facebook ได้เพิ่มการทดสอบเครือข่ายในระดับ ASIC โดยมีเป้าหมายเพื่อทำ Automated ASIC-Level Testing และการทำ On-diff เพื่อลดความซับซ้อนในการทดสอบสำหรับกรณีที่มีการเปลี่ยนแปลงจำนวนมากเกิดขึ้นก่อนการทดสอบนั้นๆ ขึ้นมา
Credit: Facebook
ใครที่อยากอ่านการออกแบบ Hardware ใน OCP สามารถศึกษาเพิ้่มเติมได้ที่ https://www.opencompute.org/ ครับ
ที่มา: https://code.fb.com/data-center-engineering/f16-minipack/
