เมื่อปลายปีก่อน AWS ได้ประกาศเปิดตัวให้ทดสอบการ Managed Streaming for Apache Kafka (MSK) สำหรับผู้ใช้งานเพื่อลดความยุ่งยากในการติดตั้งและจัดการ ในวันนี้ทาง AWS ได้ประกาศบริการดังกล่าวให้เข้าสู่สถานะพร้อมใช้งานแล้ว

Apache Kafka เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับ Capture ข้อมูล Streaming เช่น IoT Event, Transaction, Log ของแอปพลิเคชันหรือ Machine Learning เป็นต้น ทั้งนี้เพื่อประโยชน์ของการวิเคราะห์ข้อมูลแบบเรียลไทม์หรือสามารถกระจายข้อมูลต่อให้ Data Lake หรือ Database นั่นเอง อย่างไรก็ตามปัญหาคือการติดตั้งนั้นทำได้ยากทาง AWS จึงอาสาทำการดูแลให้พร้อมใช้งานเลยในบริการที่ชื่อ MSK (อ่านข่าวเก่าจาก TechTalkThai)
สิ่งที่น่าสนใจสำหรับ MSK มีดังนี้
- MSK Cluster จะรันอยู่ใน Amazon VPC เสมอภายใต้ VPC, Subnet และ Security group ของผู้ใช้งาน โดยจะมี Elastic network interface (ENIs) ปรากฏขึ้นในบัญชีใช้งาน (ภาพประกอบด้านบน)
- ทำงานร่วมกับ Kafka เวอร์ชัน 1.1.0 และ 2.1.0 ได้
- การันตี SLA 99.9%
- ทำงานเข้ากับ AWS CloudTrail เพื่อ API logging MSK
- เข้ารหัส TLS การส่งระหว่าง Client และ Broker และ Broker ด้วยกันเอง
- ใช้ IAM เพื่อควบคุมการกระทำของ Cluster ได้
- มีคุณสมบัติรับรอง HIPAA
- AWS จะติดตามสถานะของ Server และทดแทนตัวที่ล่มไปโดยอัตโนมัติ นอกจากนี้ยังทำการแพตช์และทำ HA ให้โดยไม่มีค่าใช้จ่ายเพื่มเติมด้วย
- กำหนดการตั้งค่าโดยรวมของ Cluster สำหรับ Topic และ Broker ได้
- ราคาคิดตาม Broker และ Storage เป็นรายชั่วโมง รวมถึง Data Transfer เข้าและออกใน MSK แต่ไม่คิดตอน Transfer ใน Cluster ภายใน Region เดียวกันและโหนด ZooKeeper
สำหรับผู้สนใจบริการพร้อมใช้งานได้แล้วใน US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Tokyo), Asia Pacific (Singapore), Asia Pacific (Sydney), EU (Frankfurt), EU (Ireland), EU (Paris) และ EU (London) หรือสามารถติดตามเพิ่มเติมได้ที่นี่