AWS พร้อมให้บริการ Managed Service Streaming for Apache Kafka Serverless

บริการ Managed Service Streaming for Apache Kafka (Amazon MSK) มีมาตั้งแต่ปี 2019 แต่ล่าสุด AWS ได้ยกระดับให้ผู้ใช้งานสะดวกสบายในการใช้ได้อีกด้วยการเพิ่มเรื่อง Serverless เข้ามา

Apache Kafka เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับให้ผู้ใช้รับข้อมูลสตรีมมิงได้เช่น อีเวนต์จาก IoT ทรานเซกชัน หรืออีเว้นต์การคลิก(เช่น ผู้เล่นเกม) ทั้งนี้โซลูชันจะช่วยให้เกิดการแบ่งแยกระหว่างส่วนสร้างข้อมูล(Producer) และส่วนรับข้อมูล(consumer) โดยบริการ Amazon MSK ช่วยให้ผู้ใช้สามารถรับและประมวลผลสตรีมมิงในระดับเรียลไทม์

Amazon MSK ทำให้ผู้ใช้ได้รับความสะดวกสบายมากขึ้น เพราะตัดเรื่องของการตั้งค่าต่างๆ พร้อมใช้งานในไม่กี่นาที โดย Apache kafka จะมี Broker เพียงหนึ่งตัวหรือมากกว่าซึ่งก็คือ instance ที่ช่วยให้เกิดการกระจายตัวของ compute และ storage ให้เกิดขึ้นได้ใน AWS Availability Zone เพื่อสร้างให้เกิดความสามารถด้าน HA ทั้งนี้ตัว Apache Kafka จะเก็บบันทึกของ Topic ที่ผู้ใช้งานตามที่กำหนดช่วงเวลาเอาไว้ พร้อมทำ partition และ replicate ไปยัง broker อื่นหลายๆตัว สำหรับตัวสร้างข้อมูลก็มีหน้าที่เขียนส่วนผู้ใช้ข้อมูลก็อ่านไป

อย่างไรก็ดีสิ่งที่เกิดขึ้นคือผู้ใช้งานยังจำเป็นต้องตัดสินใจเรื่องจำนวน broker ขนาดของ instance และ storage ซึ่งพารามิเตอร์เหล่านี้คือส่วนกำหนดประสิทธิภาพของคลัสเตอร์ MSK ประเด็นคือหากเป็นแอปที่ผู้ใช้งานเองก็ไม่รู้จักมาก่อนจะทำอย่างไร ด้วยเหตุนี้เอง Amazon MSK Serverless จึงเข้ามาตอบโจทย์นี้ให้ผู้ใช้ไม่ต้องกังวลรู้กับข้อมูลดังกล่าว เพราะเป็น Serverless ที่ขยายตัวได้อัตโนมัติ หรืองานที่ต้องจัดการย้าย partition ตาม broker ตัวใหม่ก็ไม่ต้องมาทำเองแล้ว นอกจากนี้ยังมาพร้อมกับฟีเจอร์เสริมอย่าง Private Connectivity, AWS IAM และการเข้ารหัสอีกด้วย

โดย AWS ชี้ว่าคลัสเตอร์ของ Amazon MSK Serverless สามารถรองรับอัตราการเขียน (write throughput) ได้สูงสุด 200 MBps และอ่านได้สูงสุดที่ 400 MBps หากนับต่อ partition การเขียนและอ่านจะอยู่ที่ 5 MBps และ 10 MBps ตามลำดับ สำหรับผู้สนใจปัจจุบัน Amazon MSK Serverless เปิดใช้แล้วใน Region ดังต่อไปนี้  US East (Ohio), US East (N. Virginia), US West (Oregon), Europe (Frankfurt), Europe (Ireland), Europe (Stockholm), Asia Pacific (Singapore), Asia Pacific (Sydney) และ Asia Pacific (Tokyo) ศึกษาเพิ่มเติมได้ที่ https://docs.aws.amazon.com/msk/latest/developerguide/serverless.html

ที่มา : https://aws.amazon.com/blogs/aws/amazon-msk-serverless-now-generally-available-no-more-capacity-planning-for-your-managed-kafka-clusters/