Facebook เผยเทคโนโลยีล่าสุดที่ออกแบบและใช้งานใน Data Center Network ของตนเองปี 2019

ตามธรรมเนียม Facebook จะออกมาอัปเดตเรื่อยๆ ถึงเทคโนโลยีที่ตนเองสร้างและพัฒนาขึ้นมาใช้งานภายใน Data Center ของตนเอง รวมถึงผลักดัน Open Compute Project หรือ OCP ไปด้วยในเวลาเดียวกัน และในครั้งนี้ Facebook ก็ออกมาเล่าถึงการออกแบบเทคโนโลยี, สถาปัตยกรรม, Hardware และ Software ที่กำลังใช้งานอยู่ภายใน Data Center ปัจจุบัน ซึ่งเนื้อหาเต็มๆ นั้นยาวมาก ทางทีมงาน TechTalkThai จึงขอนำมาสรุปอย่างย่นย่อดังนี้

Credit: Facebook

ปัญหาที่ Facebook เจอ

ด้วยความที่ Facebook นั้นเปิดบริการใหม่ๆ อย่างต่อเนื่อง และเปิด Data Center ใหม่ๆ อย่างต่อเนื่อง เพื่อรองรับต่อปริมาณผู้ใช้งานที่เพิ่มขึ้นในแต่ละบริการสำหรับแต่ละภูมิภาค การเลือกลงทุน Hardware และเดินสายสำหรับใช้งานในระยะยาวนั้นจึงเป็นประเด็นสำคัญ โดยโจทย์หลักๆ ที่ Facebook ต้องเผชิญนั้นมีดังนี้

  • การรับส่งข้อมูลระหว่าง Rack มีปริมาณมากขึ้น ดังนั้นจึงต้องการ Bandwidth ที่สูงขึ้นในขณะที่มี Hop ในการรับส่งข้อมูลที่น้อยลง
  • มี Data Center ใหม่เกิดขึ้นอย่างต่อเนื่อง และต้องมีการอัปเกรดขยายระบบ Data Center เดิมให้มีอยู่ให้คุ้มค่าที่สุด ใช้ Hardware เดิมที่มีอยู่ให้ได้ยืนยาวที่สุด
  • Data Center แต่ละแห่งใช้พลังงานหมุนเวียนทั้งหมด ทำให้พลังงานมีจำกัด ดังนั้นการออกแบบระบบใหม่ๆ จะต้องคำนึงถึงเรื่องของการใช้พลังงานให้เพียงพอต่อพลังงานที่มีอยู่ด้วย
  • การเดินสายที่มีอยู่เดิมต้องใช้ซ้ำให้ได้โดยไม่ต้องเดินสายใหม่ ดังนั้นการเปิดรับเทคโนโลยีการสื่อสารแบบใหม่จึงต้องคำนึงถึง Physical Layer ที่มีอยู่เดิมให้มาก
  • การนำ Hardware รุ่นใหม่ๆ มาใช้ จะต้องเข้ากับ Fabric เดิมที่มีอยู่ได้ และมีผู้ผลิต Hardware มากกว่า 1 รายเพื่อให้เกิดความมั่นคงในเชิงของ Supplier และเป็นการผลักดัน OCP ไปด้วย

การออกแบบและเทคโนโลยีใหม่ๆ สำหรับแก้ไขปัญหา

สำหรับแนวคิดและเทคโนโลยีใหม่ๆ ที่ Facebook นำมาใช้นั้นมีดังนี้

  • เปิดตัว F16 Fabric Topology ใหม่ โดยแต่ละ Rack จะใช้ Wedge 100S ซึ่งมี Uplink ขนาด 100GbE จำนวน 16 เส้นไปยัง 16 Plane และมี Bandwidth ขนาด 1.6Tbps เชื่อมต่อไปยัง Server ภายใน Rack ส่วน Plane เหนือจาก Top-of-Rack จะใช้ 128-Port 100GbE Switch มาเป็นตัวรับ ตรงนี้เองที่ Facebook ต้องออกแบบ Switch ใหม่ของตนเองที่ชื่อว่า Minipack ซึ่งใช้ ASIC เดียวสำหรับประหยัดพลังงานและลดจำนวน Hop ลง ทำให้ใช้พลังงานและพื้นที่ติดตั้งน้อยลงกว่า Backpack เดิมถึงครึ่งหนึ่ง ปรับจากเดิมที่ใช้ 400GbE เป็นหลัก
    Credit: Facebook

    การปรับเปลี่ยนครั้งนี้ทำให้เดิมทีที่การรับส่งข้อมูลต้องกินจำนวน Hop ระหว่าง ASIC หลาย Hop เพราะมีเส้นทางที่น้อยและมีจำนวน ASIC ที่มาก เหลือจำนวน Hop ที่น้อยลง 2-3 เท่าเลยทีเดียว โดยตัว Minipack ที่ใช้นี้ได้ทำการออกแบบร่วมกับ Edgecore และยังมีสถาปัตยกรรมภายในแบบ Modular รองรับ Port Interface Module (PIM) ได้หลากหลายรูปแบบ รวมถึงยังได้ออกแบบ 400G PIM อย่าง PIM-4DD ที่รองรับ 4x400G QSFP-DD ขึ้นมาด้วย

    Credit: Facebook
    Credit: Facebook

    ภายใน Minipack นี้ยังมีการเลือกใช้ Reverse Gearbox เพื่อแปลงให้การรับส่งข้อมูลในแต่ละ Lane ที่แตกต่างกันเกิดขึ้นได้ และมีการพัฒนา MiniLake ซึ่งเป็น Control Plane ของ Minipack ขึ้นมาใน Form Factor แบบ COM Express และใช้ Type-7 Pinout

    Credit: Facebook

    ทั้งนี้ Facebook ได้มอบทั้ง Minipack และ MiniLake นี้ให้กับโครงการ OCP แล้ว

  • Facebook ได้จับมือกับ Arista พัฒนา Arista 7368X4 ขึ้นมาเพื่อเป็นอีกทางเลือกหนึ่งสำหรับ Minipack ด้วย โดยรองรับทั้งการใช้งาน FBOSS และ Arista EOS ได้ในตัว ซึ่ง Facebook เองก็ได้มีโอกาสในการพัฒนาองค์ความรู้และเทคโนโลยีใหม่ๆ ร่วมกับ Arista ในครั้งนี้ และ Arista เองก็ได้ส่งมอบการออกแบบของ Switch รุ่นนี้ให้กับ OCP ด้วย
    Credit: Facebook
  • เปิดตัว HGRID ระบบ Fabric Aggregation ใหม่ เชื่อม F16 จำนวนมากเข้าด้วยกันโดยให้ Fabric Spine Switch นั้นเชื่อมต่อเข้ากับ HGRID โดยตรง เพิ่ม Bandwidth สำหรับทั้ง East-West และ Regional Uplink ได้ดีขึ้น และลดจำนวน Hop ที่ต้องใช้ลงได้
    Credit: Facebook
  • พัฒนา FBOSS เพิ่มเติม โดยรองรับ OpenBMC รุ่นใหม่ที่รองรับ Hardware ใหม่ที่ออกแบบขึ้นมาทั้งสองชุด และรองรับการทำ Modularity แบบใหม่ๆ ทั้ง PIM, Port Programming, Microserver รุ่นใหม่, I2C ใหม่, MDIO, FPGA และรองรับ External PHY Chip ได้ด้วย
    Credit: Facebook

    FBOSS นี้ใช้ CentOS เป็นระบบปฏิบัติการเบื้องหลังทั้งหมด และ FBOSS เพียงชุดเดียวนี้ก็ต้องรองรับ Hardware ทั้งหมดที่ Facebook ใช้และบริหารจัดการจากศูนย์กลางร่วมกันทั้งหมดได้ ในขณะที่ต้องทำงานร่วมกับทั้ง BMC SoC และ OpenBMC ได้ในเวลาเดียวกัน

    นอกจากนี้ Facebook ยังได้มีการพัฒนา FPGA เฉพาะขึ้นมาเพื่อยุบขนาดของ I2C ลงและเพิ่มประสิทธิภาพการทำงานให้ดีขึ้น ทำให้สามารถรองรับ 128 Transceiver ได้ภายในขนาดของ Minipack เพียงแค่ 4U เท่านั้น และยังสามารถรองรับ External PHY รวมถึงเขียนโปรแกรมเข้าไปควบคุม External PHY ได้ด้วย

  • ในแง่ของการทดสอบ ทาง Facebook ได้เพิ่มการทดสอบเครือข่ายในระดับ ASIC โดยมีเป้าหมายเพื่อทำ Automated ASIC-Level Testing และการทำ On-diff เพื่อลดความซับซ้อนในการทดสอบสำหรับกรณีที่มีการเปลี่ยนแปลงจำนวนมากเกิดขึ้นก่อนการทดสอบนั้นๆ ขึ้นมา
    Credit: Facebook

ใครที่อยากอ่านการออกแบบ Hardware ใน OCP สามารถศึกษาเพิ้่มเติมได้ที่ https://www.opencompute.org/ ครับ

ที่มา: https://code.fb.com/data-center-engineering/f16-minipack/


About techtalkthai

ทีมงาน TechTalkThai เป็นกลุ่มบุคคลที่ทำงานในสาย Enterprise IT ที่มีความเชี่ยวชาญทางด้าน Network, Security, Server, Storage, Operating System และ Virtualization มารวมตัวกันเพื่ออัพเดตข่าวสารทางด้าน Enterprise IT ให้แก่ชาว IT ในไทยโดยเฉพาะ

Check Also

ขอเชิญร่วมแข่งขัน Startup Hackathon ชิงเงินรางวัลชนะเลิศ 100,000 บาทจำนวน 3 รางวัล 25 – 26 ก.ค. 2019

Startup Thailand ขอเชิญร่วมแข่งขัน Startup Hackathon เฟ้นหาทีม Startup ที่ทำผลงานได้โดดเด่นจาก 3 เวทีการแข่งขัน EGAT, SPICY DISC และ GDG ชิงเงินรางวัลชนะเลิศ 100,000 บาท 3 รางวัล รวมรางวัลตลอดรายการมูลค่ากว่า 500,000 บาท ในวันที่ 25 - 26 กรกฎาคม 2019 โดยมีรายละเอียด กำหนดการ และวิธีการลงทะเบียนเข้าร่วมงานดังนี้

NEXUS เชิญร่วมสัมมนาฟรี “Digitizing Intelligent Omni-Channel for your Retail Business” อาวุธลับความสำเร็จของธุรกิจค้าปลีกในรูปแบบใหม่

บริษัท เน็กซัส ซิสเท็ม รีซอร์สเซส จำกัด ผู้เชี่ยวชาญด้านการให้คำปรึกษา วางระบบซอฟต์แวร์ เพื่อเพิ่มศักยภาพธุรกิจ ร่วมกับ SAP ผู้พัฒนาซอฟต์แวร์ อันดับ 1 และ DELL EMC ผู้ให้บริการฮาร์ดแวร์ ชั้นนำของโลก ขอเรียนเชิญผู้บริหาร ทีมไอที และผู้ที่สนใจเข้าร่วมงานสัมมนา "Digitizing Intelligent Omni-Channel for your Retail Business" เพื่อเรียนรู้แนวทางการประยุกต์ใช้เทคโนโลยีต่างๆ มาเปลี่ยนให้ธุรกิจค้าปลีกของคุณก้าวสู่การเป็น Omni-Channel และ Online-to-Offline (O2O) ได้อย่างเต็มตัว ในวันที่ 30 กรกฎาคม 2019 โดยมีรายละเอียด กำหนดการ และวิธีการลงทะเบียนเข้าร่วมงานดังนี้