TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
LinkedIn ประกาศเปิดตัวระบบโครงสร้างพื้นฐานใหม่ 2 ระบบคือ Northguard และ Xinfra เพื่อแก้ปัญหาการจัดเก็บ log และ messaging ในระดับ massive scale ทดแทน Apache Kafka ที่ใช้งานมานาน 15 ปี
LinkedIn ซึ่งเป็นบริษัทในเครือ Microsoft ได้พัฒนา Northguard เป็นระบบจัดเก็บ log รูปแบบใหม่ที่ออกแบบมาเพื่อรองรับการขยายตัว, throughput สูง และประสิทธิภาพในการดำเนินงาน ระบบนี้แก้ไขข้อจำกัดของ Kafka ที่เริ่มพบเมื่อ LinkedIn ขยายตัวมีสมาชิกมากกว่า 1.2 พันล้านคน และต้องจัดการข้อมูลหลายสิบ petabytes ต่อวัน โดยมีสถาปัตยกรรมที่ปรับปรุงใหม่ประกอบด้วย decentralized metadata management, dynamic log striping และความทนทานที่เพิ่มขึ้น
ระบบ Northguard ใช้วิธีการ sharding ข้อมูลและ metadata พร้อมกับใช้ segments ซึ่งเป็นหน่วยการ replication ขนาดเล็ก ทำให้สามารถกระจายภาระงานอัตโนมัติผ่านการ replication ระดับ segment เพื่อแก้ปัญหา resource skew ที่เกิดจากโมเดล partition-based replication ของ Kafka นอกจากนี้ยังเก็บ metadata ในระบบ fault-tolerant ที่ใช้ Raft consensus protocol รองรับนโยบายการจัดเก็บขั้นสูงที่ควบคุมการวางตำแหน่งข้อมูล การ replication และการเก็บรักษาข้อมูลได้อย่างละเอียด
เพื่อรองรับการ virtualization ทั่วทั้งโครงสร้างพื้นฐานและทำให้การเปลี่ยนระหว่าง Kafka กับ Northguard ง่ายขึ้น LinkedIn จึงเปิดตัว Xinfra ซึ่งเป็น virtualized Pub/Sub layer ที่ abstract ขอบเขตของ physical cluster ทำให้ producers และ consumers สามารถทำงานกับ virtual topics ที่ครอบคลุมทั้ง Kafka และ Northguard clusters ระบบนี้ทำให้การย้าย topic เป็นไปอย่างโปร่งใส รองรับฟีเจอร์ dual writes ระหว่างการย้าย, epoch-based ordering และ unified client APIs
ปัจจุบัน Xinfra clients กำลังใช้งานในแอปพลิเคชันของ LinkedIn มากกว่า 90% ทำให้บริษัทสามารถย้าย topics หลายพันรายการรวมถึง mission-critical workloads จาก Kafka ไปยัง Northguard ได้โดยไม่มี downtime โดย metadata service ของ Xinfra รองรับการทำงานข้ามกับ virtual clusters ใช้ MySQL และ Vitess สำหรับการจัดเก็บ และ Couchbase สำหรับ low-latency caching พร้อมจัดการ consumer group ผ่าน Apache ZooKeeper LinkedIn ระบุว่าในอนาคตจะมุ่งเน้นการเพิ่มการใช้งาน Northguard และ Xinfra ให้มากขึ้น พร้อมเพิ่มฟีเจอร์ auto-scaling topics ตาม traffic growth และปรับปรุง fault tolerance สำหรับ virtualized topic operations
อย่างไรก็ตาม ปัจจุบัน LinkedIn ยังไม่ได้ประกาศ Open-source สำหรับทั้ง Northguard และ Xinfra แต่อย่างใด โดยระบุว่ากำลังอยู่ในช่วงปรับแต่งและมุ่งเน้นเพื่อนำมาใช้งานกับระบบภายในเป็นหลัก แต่มีความเป็นไปได้ในการเปิด Open-source ในอนาคต
