Kong เปิดตัวโอเพ่นซอร์ส AI Gateway เชื่อมต่อความสามารถ AI ตอบโจทย์การจัดการระดับองค์กร

หากใครเป็นผู้ใช้งาน Kong Gateway กันอยู่แล้ว วันนี้ได้มีท่านสามารถนำ AI เข้ามาสู่แอปพลิเคชันได้ง่ายขึ้น เช่น โมเดล Large Language Model (LLM) โดยที่ผู้ใช้งานสามารถบริการจัดการ API AI เหล่านั้นได้ตอบโจทย์งานระดับองค์กร

ปัจจุบัน AI Gateway รองรับโมเดล LLM แล้วหลายเจ้า เช่น Anthropic, Azure, Cohere, Meta’s LLaMA models, Mistral และ OpenAI แต่ประเด็นสำคัญของการมองให้เกิดเลเยอร์ของการทำงานที่ลึกกว่านั้นคือความสามารถในการบริหารจัดการมากมายตามมา เช่น

• สามารถเก็บข้อมูล L7 อย่างจำนวนของ Request & Response Token หรือจำนวนของโมเดลที่ถูกใช้ ส่งต่อให้โซลูชันอื่นอย่ง Datadog, New Relic, Prometheus และอื่นๆ ทำให้ท่านทราบถึงข้อมูลเชิงลึกของการใช้งานได้ว่ามีพฤติกรรมเป็นอย่างไรในองค์กร ด้วยปลั๊กอิน ‘ai-proxy’ นอกจากนี้ปลั๊กอินดังกล่าวยังสามารถจัดเก็บ Credential อย่าง Token และ API Keys ได้ การบริหารจัดการแก้ไขเปลี่ยนแปลงก็แค่ทำที่จุดนี้ที่เดียว
• ใช้งานได้โดยที่ไม่ต้องแก้ไขโค้ดของแอปพลิเคชัน ซึ่งด้วยปลั๊กอิน ai-request-transformer และ ai-response-transformer จะคอยจับการ Request/Response API เดิมและประกบกับ AI Prompt ที่ผู้ใช้ตั้งค่าไว้
• ทำเทมเพลตของ prompt เตรียมการเอาไว้ก่อนได้ โดยบริหารจัดการได้จากศูนย์กลางผ่านปลั๊กอิน ai-prompt-template ซึ่งหมายความว่าแอปพลิเคชันแค่อ้างถึงชื่อของเทมเพลตที่จะใช้ก็พอ การแก้ไขก็ไม่ต้องไปยุ่งกับแอปด้วย
• ai-prompt-decorator ช่วยให้ท่านสามารถกำหหนดบริบทของการใช้งานได้ว่าอะไรที่ AI ควรทำหรือไม่ควรทำ โดยการมีกฏบางอย่างมาควบคุมเพื่อรักษาเรื่อง Compliance
• ai-prompt-guard ช่วยให้องค์กรมั่นใจได้ว่าการใช้งานจะได้รับการอนุมัติจริงและไม่ใช่ในทางที่ไม่เหมาะสม โดยปลั๊กอินจะช่วยกำหนดกฏการอนุมัติและปฏิเสธการทำงานก่อนเรียกไปยังผู้ให้บริการ LLM

จะเห็นได้ว่าการผสานความสามารถ AI เข้ามาให้ถูกควบคุมแบบศูนย์กลางจะทำให้องค์กรสามารถออกแบบความมั่นคงปลอดภัย หรือติดตามพฤติกรรมการเข้าถึง AI ได้อย่างมั่นใจ ไม่ว่าจะอาศัยพลังจากคลาวด์ หรือใช้ Self-host LLMs ก็เป็นไปได้เช่นกัน เพื่อตอบโจทย์ความต้องการระดับองค์กร ทั้งนี้เพียงท่านอัปเดต Kong Gateway เป็นเวอร์ชัน 3.6 ก็จะเข้าถึงปลั๊กอินใหม่เหล่านี้ได้

ที่มา : https://techcrunch.com/2024/02/15/kongs-new-open-source-ai-gateway-makes-building-multi-llm-apps-easier/ และ https://konghq.com/blog/product-releases/announcing-kong-ai-gateway