Dynatrace Series III: เจาะลึก 7 องค์ประกอบสำคัญใน Dynatrace Observability Platform

จากบทความแรก ทุกท่านคงจะได้ทราบแล้วว่า Dynatrace Observability Platform คือผู้นำในการจัดอันดับของ Gartner Magic Quadrant 2023 ในหัวข้อ ‘APM & Observability’

ในบทความนี้ เราขอพาทุกท่านไปเจาะลึกเบื้องหลังไอเดียขององค์ประกอบสำคัญทั้ง 7 ตัวที่อยู่ภายในแพลตฟอร์มดังกล่าว เพื่อให้เข้าใจถึงความชาญฉลาดที่ซ่อนอยู่ในภายในแพลตฟอร์มนี้กันครับ 

ภาพรวมการทำงานของ Dynatrace Observability Platform

ภาพด้านบนได้อธิบายถึงองค์ประกอบไว้อย่างชัดเจน ซึ่งผู้ใช้งานมีทางเลือกใช้โซลูชันทั้งในรูปแบบของ On-premise, Cloud หรือ SaaS โดยไอเดียก็คือการใช้ Agent เพื่อเข้าไปเก็บข้อมูลจากส่วนประกอบต่าง ๆ เพื่อนำมาวิเคราะห์ และแสดงผลเพื่อประกอบการตัดสินใจโดยง่ายผ่านกราฟเชื่อมโยงความสัมพันธ์ ตลอดจนสร้างการทำงานอย่างอัตโนมัติร่วมกับเครื่องมือปฏิบัติการอื่น ๆ ในท้องตลาด ทั้งหมดนี้มีองค์ประกอบหลักสำคัญ 7 ตัว คือ

1. OneAgent

วิธีการรวบรวมข้อมูลผ่านโปรแกรมที่ถูกนำไปติดตั้งไว้ในเครื่องมีกันมานานมากแล้ว แต่ความโดดเด่นที่ Dynatrace นำเสนอก็คือ Agent เพียงตัวเดียวที่สามารถเก็บข้อมูลที่ต้องการทุกอย่างได้ ซึ่งหากเทียบกับเครื่องมืออื่นในท้องตลาดอาจจำเป็นต้องมี Agent หลายตัวเพื่อได้รับข้อมูลที่ต่างมุมมอง นั่นคือความง่ายที่ Dynatrace ได้ส่งตรงประสบการณ์ความประทับใจแรกแก่ลูกค้า

OneAgent สามารถรองรับการติดตั้งในสภาพแวดล้อมที่หลากหลาย เช่น ระบบปฏิบัติการที่ต่างกัน แพลตฟอร์มของ Container และแพลตฟอร์มของ Cloud โดยมีการเก็บค่า Metric ต่าง ๆ เช่น ข้อมูลประสิทธิภาพจาก

• Process – ตรวจสอบว่ามีโปรเซสใดรันอยู่ในแต่ละโฮสต์ นอกจากนี้ยังสามารถเกาะติดเข้าไปในโปรเซสเพื่อเก็บข้อมูลระดับโค้ด ให้ได้มาซึ่ง Insight ภายในแอปพลิเคชัน กรณีในภาษาที่รองรับ เช่น Java, Node.js, .NET และอื่นๆ
• Real User Monitoring – มีการเกาะติดภายใน HTML ในแต่ละหน้าเพจด้วยการฝัง JavaScript ซึ่งจะทำให้ทราบได้ว่าเวลาที่ใช้ในการตอบสนองและประสิทธิภาพที่ผู้ใช้ต้องเผชิญเป็นอย่างไร จากการใช้บนบราวเซอร์หรือการใช้งานผ่านมือถือ
• Log Monitoring – ติดตาม Log File ของโฮสต์หรือกลุ่มโปรเซสได้ พร้อมทั้งค้นหาและวิเคราะห์ระบบหรือโปรเซสใดที่สร้าง Log ซึ่งสามารถเลือกได้ด้วยว่าจะให้จัดเก็บไฟล์ Log เหล่านั้นด้วยหรือไม่ ในกรณีที่ต้องการรวมศูนย์ข้อมูลหรือเก็บไว้อย่างถาวร
• Network – เก็บข้อมูลระดับเครือข่ายที่ระดับของโปรเซส จึงเข้าใจการสื่อสารในเชิงลึกว่าเป็นอย่างไร

ด้วยความสามารถทั้งหมดนี้ทำให้ผู้ใช้งาน Dynatrace สามารถรู้จักกับข้อมูลที่บ่งชี้พฤติกรรมได้มากมาย ตัวอย่างเช่น ตรวจสอบกิจกรรมของผู้ใช้งานคนบนต่างอุปกรณ์ การปฏิสัมพันธ์ของอินเทอร์เฟสนั้น ๆ มีผลอย่างไรไปจนถึง Backend หรือการปฏิสัมพันธ์ระหว่างโปรเซสและ Container หรือโฮสต์ โดยทั้งเป็นไปได้ผ่านการติดตั้ง Agent เพียงตัวเดียวที่ชื่อ ‘OneAgent’ ทั้งยังไม่ต้องมีการตั้งค่าเพิ่มเติมอีกด้วย

2. Grail

เครื่องมือแบบเดิมไม่สามารถตอบโจทย์ข้อมูลปริมาณมหาศาลในยุคปัจจุบันได้ ทั้งประเด็นของการจัดเก็บ วิเคราะห์ และเรียกดูข้อมูล ด้วยเหตุนี้เอง Grail จึงได้ถือกำเนิดขึ้นเพื่อเอาชนะความท้าทายคือ การรองรับข้อมูลปริมาณมากทั้งในกระบวนการนำเข้าและวิธีการวิเคราะห์ รองรับข้อมูลได้อิสระ มีการจัดวางข้อมูลอย่างสื่อความหมาย โดยเทคโนโลยีที่เป็นหัวใจสำคัญก็คือ Grail หรือแนวคิด Data Lakehouse ที่เกิดจากการรวมเอาข้อดีของ Data Warehouse และ Data lake เข้าด้วยกัน

โดยไอเดียก็คือ Data Warehouse ไม่ยืดหยุ่นเพียงพอเพราะรองรับเพียงแค่ข้อมูลแบบมีโครงสร้าง ทำให้ต้องเกิดค่าใช้จ่ายในกระบวนการ ETL (Extract-Transform-Load) แม้ว่าจะมีการ Query ข้อมูลได้อย่างรวดเร็วก็ตาม กลับกันในคอนเซ็ปต์ของ Data lake มีความยืดหยุ่นสูงกว่าที่รองรับข้อมูลได้ทั้งแบบมีโครงสร้างและไร้โครงสร้าง แต่ก็ยังจัดการได้ยุ่งยากเพื่อไม่ให้ข้อมูลท่วมท้นมากเกินไป ซึ่งการรวมข้อดีของทั้งสองให้กลายเป็น Data Lakehouse นั้นนำไปสู่ข้อดีหลายด้าน คือ

1. ลดความซ้ำซ้อน สร้างครั้งเดียวเก็บข้อมูลได้ทุกรูปแบบไม่ต้องสร้าง Data Warehouse และ Data lake

2. ควบคุมค่าใช้จ่ายได้ดีเหมือน Data lake โดยมีการใช้ประโยชน์จาก Storage Tier ที่มีให้เลือกหลากหลายบนคลาวด์ได้

3. ควบคุมการใช้งานข้อมูลได้ดีขึ้นด้วยการใช้ Object Storage มาตรฐานที่จัดการเรื่อง Data Security และ Compliance ได้ง่าย

4. รองรับการนำเข้าข้อมูลปริมาณมากได้อย่างรวดเร็ว และรักษารูปแบบข้อมูลไว้ได้เหมือนต้นฉนับ

5. ประมวลผลแบบคู่ขนาน (Parallel Processing) สอบถามข้อมูลได้อย่างรวดเร็วตามที่ร้องขอผ่าน Query Language

เพื่อให้มองเห็นภาพได้ชัดเจนขึ้น Grail มีส่วนประกอบย่อย 3 ส่วน คือ

• Ingrest & Process – กลไกหน้าฉากในการรับข้อมูลของ Grail ที่ได้ถูกออกแบบให้รองรับข้อมูลได้ถึงหลายร้อย Petabyte ต่อวัน โดยระบบสามารถขยายตัวได้ตามลักษณะของ Cloud native โดยข้อมูลเหล่านี้เข้ามาได้จากหลายทาง เช่น OneAgent, OpenTelemetry, Prometheus, Micrometer และอื่น ๆ นอกจากนี้ยังสามารถคัดกรองเลือกขยายค่า Metric ที่สนใจหรือคัดกรองในประเด็นด้าน Privacy 
• Retain – มีกลไกจัดเก็บข้อมูล แม้ Grail จะเผชิญข้อมูลมากแค่ไหนแต่ผู้ใช้งานจะมั่นใจได้ว่าข้อมูลจะอยู่ได้เป็นเวลาหลายปี 
• Analytics – การจัดการข้อมูลแบบเดิมมักอาศัยคอนเซปต์ของ index ที่อยู่บนพื้นฐาน filed ที่ถูกนิยามใน Schema ณ ขั้นตอนการ

รับข้อมูลซึ่งกลไกนี้เรียกว่า (schema-on-write) โดยวิธีนี้ทำงานได้ดีในบางกรณี แต่ไม่เหมาะกับการที่ข้อมูลโตขึ้นตลอดทั้งยังซับซ้อนมากอย่างในปัจจุบัน ทำให้ทีมงาน Dynatrace คิดต่างออกไปสู่กลไกที่เรียกว่า schema-on-read กล่าวคือการเตรียมข้อมูล (data preparation) จะเกิดขึ้น ณ ช่วงที่ถูกร้องขอ ซึ่งทำให้รักษารูปแบบของข้อมูลเดิมไว้ได้ ณ ขณะรับข้อมูลแต่ไม่ถูกจำกัดด้วย schema อย่างไรก็ดี ยังมีอีกหลายเทคนิคในการวิเคราะห์นี้ เช่น

• indexless – การทำ index มีขึ้นเพื่อหวังให้ได้รับคำตอบได้อย่างรวดเร็ว แต่ก็ต้องพยายามรักษาขนาดของ index ให้ได้ซึ่งต้องตัดข้อมูลบางส่วนหากข้อมูลมีปริมาณมาก แต่หากข้อมูลถูกย้ายไปยัง Storage tier อื่นที่มีราคาถูกกว่า แล้วต้องการใช้ข้อมูลอีกครั้งก็ต้องทำ index กันใหม่ นั่นทำให้เสียเวลาอย่างมาก
• massively parallel processing (MPP) – การประมวลผลแบบคู่ขนานนี้ช่วยให้การเรียกข้อมูลผ่านภาษา Dynatrace Query Language (DQL) กับข้อมูลบน Grail นั้นทำได้รวดเร็วกว่ากลไกอย่าง Regular Expression อย่างมาก ทั้งยังพร้อมใช้งานได้ข้อมูลทุกขนาด โดย DQL เรียนรู้ได้ง่ายไม่ต่างกับภาษา SQL มากนัก

3. PurePath

โครงสร้างพื้นฐานของแอปพลิเคชันปัจจุบันไม่ได้เริ่มต้นและจบลงภายในเครื่องเดียวกันอีกต่อไป ซึ่งการทำงานแบบ Cloud native ทำให้การรันแอปพลิเคชันถูกกระจายออกไปในหลายสภาพแวดล้อม ด้วยเหตุนี้เอง เราจึงต้องมีวิธีการติดตามการทำงานให้ได้ตั้งแต่เริ่มต้นจนจบ ซึ่งนำไปสู่คำว่า ‘Distribute Tracing’ โดยมีจุดประสงค์หลักเพื่อติดตามและตอบคำถามว่าใน 1 Transaction มีปัญหาเกิดขึ้นที่ใด ซึ่งจะนำไปสู่ประโยชน์หลายด้านเช่น

• ช่วยติดตามประสิทธิภาพการทำงานของแอปพลิเคชันได้เร็วขึ้น 
• พบต้นตอแห่งปัญหาเพื่อทำการแก้ไข เช่น ส่วนของโค้ดที่ทำให้เกิดปัญหา
• หาจุดคอขวดด้านประสิทธิภาพใน Software Stack
• ทำให้ทุกทีมสามารถติดตามปัญหาร่วมด้วยภาพเดียวกัน ลดความขัดแย้ง โดยอาจจะแปรผลไปตามมุมมองทักษะของแต่ละทีม 
• ตอบโจทย์การให้บริการทางธุรกิจ เช่น คุณภาพในการให้บริการ (SLA) 
• ค้นหาปัญหาได้รวดเร็วก่อนที่จะส่งผลกระทบต่อผู้ใช้ 
• ทราบถึงความผิดปกติที่อาจจะเป็นปัญหาใหม่ที่ไม่เคยพบมาก่อน

โดยไอเดียพื้นฐานของ Distribute Tracing ก็คือการติด Tag ด้วย Unique ID ให้ Transaction นั้นๆว่าจะมีการปฏิสัมพันธ์กับใครบ้าง ตั้งแต่เริ่มการร้องขอ ดำเนินงาน จนกระทั่งได้ผลลัพธ์กลับมา ซึ่งนี่คือแนวคิดในเทคโนโลยีพิเศษโดยเฉพาะของ Dynatrace ที่เรียกว่า PurePath ที่จะเกิดขึ้นใน OneAgent โดยจากบทความแรกเราได้เรียนรู้มาแล้วว่า Observability ประกอบไปได้ด้วยข้อมูล 3 แกนคือ Log, Metric และ Trace ซึ่ง PurePath คือส่วนสุดท้าย

4. SmartScape

SmartScape เป็นกลไกการจับคู่ความสัมพันธ์ของแอปพลิเคชันและโครงสร้างพื้นฐาน โดยข้อมูลที่จำเป็นเหล่านี้ได้ถูกจัดเตรียมไว้อย่างเพียบพร้อมมาก่อนหน้าจาก OneAgent ซึ่ง SmartScape ได้ต่อยอดข้อมูลเหล่านี้มานำเสนอในรูปแบบกราฟที่เข้าใจได้ง่าย ตั้งแต่ภาพกว้างระดับโปรเซสหรือกระบวนการย่อยภายใน เช่น แอปพลิเคชันมีบริการอะไร ภายในบริการมี Process อะไรบ้าง กระจายการทำงานอยู่บนโฮสต์กี่ตัว ภายในดาต้าเซ็นเตอร์กี่แห่ง ซึ่งเรื่องราวเหล่านี้ถูกเล่าผ่านกราฟที่มนุษย์เข้าใจได้อย่างง่ายดาย

5. Davis AI

Davis AI ไม่ใช่ AI สำหรับการทำนายหรือคาดการณ์อนาคต แต่มีความสามารถหลายด้านที่เรียกว่า Hypermodal ซึ่งหมายถึงการผสาน AI ใน 3 ลักษณะ คือ

• Predictive AI – อาศัยข้อมูลเชิงสถิติและโมเดล Machine Learning เรียนรู้ข้อมูลอดีตเพื่อคาดการณ์อนาคต
• Causal AI – ประมวลข้อมูลเพื่อค้นหาต้นตอของปัญหา ผลกระทบในด้านต่าง และนำไปสู่กระบวนการทำงานแบบอัตโนมัติ
• Generative AI – เข้าใจคำสั่งในภาษามนุษย์และแปรผลเป็นคำตอบที่ถูกต้องได้ โดยอาศัยโมเดลการเรียนรู้แบบ Large Language Models(LLM)

Predictive AI และ Causal AI ของ Davis AI ได้อาศัยแหล่งข้อมูลที่ได้มาจาก Data Lakehouse ประกอบด้วย Metric, Log, Trace, Event และอื่นๆ ผสานกับโครงสร้างความสัมพันธ์ที่อยู่ Smart Scape ที่ได้จากการประมวลข้อมูลรอบด้านทั้งในแง่ของ Operation, Security และ Business ด้วยเหตุนี้เอง Davis AI จึงสามารถคาดการณ์และทำนายผลต่างๆได้ เช่น สุขภาพของแอป ประสบการณ์การใช้งานของผู้ใช้ ยอดขาย ประสิทธิภาพการใช้งานทรัพยากร ตลอดจนการต้นตอของปัญหา พร้อมระดับความรุนแรง และผลกระทบ ซึ่งความสามารถเหล่านี้จะถูกประเมินอย่างต่อเนื่อง ด้วยกระบวนการอัตโนมัติ

CoPilot หรือ Generative AI ได้ถูกประกาศเปิดตัวมาช่วงกลางปี 2023 ซึ่งจุดเด่นที่เหนือกว่าอัลกอริทึมทั่วไปคือ ปกติแล้ว LLM อาจให้คำตอบได้ไม่เหมือนกันจากคำถามเดียวกัน เพราะกระบวนการภายในมีความน่าจะเป็นและการสุ่มอยู่ ด้วยเหตุนี้เองหากนำมาปรับใช้แบบทื่อๆ อาจทำให้ผลลัพธ์ของ AI ไม่แม่นยำไปไม่ถึงต้นตอของปัญหา แต่เนื่องจาก Davis AI มีฐานความสามารถเดิมใน Predictive AI และ Causal AI อยู่แล้ว ดังนั้นการผสานขุมพลังทั้ง 3 เข้าด้วยกัน จะสามารถเติมเต็มให้ Davis AI เข้าถึงข้อมูลได้ตรงกับบริบทของคำถาม พร้อมให้คำแนะนำเพิ่มเติมได้

อย่างไรก็ดี การมาถึงของ CoPilot ได้ช่วยให้ผู้ใช้งานปฏิบัติงานได้ง่ายขึ้น เช่น การสั่งการหรือสอบถามด้วยภาษามนุษย์ เพื่อร้องขอผลลัพธ์ สร้าง Dashboard หรือ Notebooks นอกจากนี้ AI ยังสามารถแนะนำโค้ดการเขียน Workflow ให้การทำงานเป็นอัตโนมัติด้วย โดยความสามารถของ Copilot จะช่วยให้ผู้ใช้ Dynatrace สามารถปฏิบัติการได้ง่ายขึ้นกว่าที่เคย

6. AutomationEngine

เป็นเทคโนโลยีที่ถูกต่อยอดขึ้นมา เพื่อให้สามารถเกิดการตอบสนองได้อย่างอัตโนมัติ โดยกลไกภายในก็คือเทคโนโลยี Low-code/no-code นั่นเอง โดยประโยชน์ก็คือการลดงานให้แก่ทีมงานในองค์กร เช่น ทำนายการใช้งานคลาวด์เพื่อทำการ Provision ได้อัตโนมัติ หรือแจ้งเตือนผู้เกี่ยวข้องเมื่อพบช่องโหว่ผ่าน Slack, ServiceNow หรือช่องทางอื่น ๆ ซึ่งทำให้องค์กรไม่ต้องเสียเวลามาสร้างกระบวนการตรงนี้เอง แถมยังเป็นเรื่องที่มีความเป็นมาตรฐาน ลดความเสี่ยงต่อการนำออกข้อมูล และยังทำได้โดยไม่ต้องพึ่งพานักพัฒนาเพียงอย่างเดียวที่มีงานล้นมืออยู่แล้ว ซึ่งมีโอกาสผิดพลาดได้ด้วยหากทำด้วยทีมงานภายในเองที่ไม่ได้เข้าโปรแกรมที่จะทำงานด้วยมากนัก

7.) AppEngine

จากการมีข้อมูลภายใต้แพลตฟอร์มอย่างครบครัน ยังเปิดโอกาสให้องค์กรสามารถต่อยอดสร้างแอปพลิเคชันเพื่อช่วยแก้ปัญหาบางอย่างได้ด้วยเทคโนโลยี Low-code/no-code จากเดิมที่องค์กรมักพยายามรวบรวมข้อมูลเหล่านี้เอง แต่ด้วยพลังแห่ง Dynatrace ก็ทำให้ปัญหาเหล่านี้หมดไป อีกทั้งข้อมูลยังอยู่ในแพลตฟอร์มเองอีกด้วย ไม่ต้องถูกส่งต่อมาจากระบบอื่นทำให้ล่าช้า โดยการนำไปใช้งานสามารถทำได้หลากหลายตามที่องค์กรต้องการ ยกตัวอย่างเช่น Carbon Impact ที่ทีมงาน Dynatrace ทำขึ้นเพื่อนำข้อมูลการทำงานของระบบ มาประกอบกับข้อมูลเชิงเทคนิคมาประมวลร่วมกันเพื่อวัดการปล่อยคาร์บอนของ Workload ที่ทำงานอยู่ เป็นต้น

บทส่งท้าย

ในบทความนี้ เราได้พาทุกท่านมาเรียนรู้ความชาญฉลาดและแนวคิดเบื้องหลังของแพลตฟอร์ม Observability ชั้นนำ ที่การ์ทเนอร์ยกย่องให้เป็นอันดับหนึ่ง โดยความสามารถในการรวบรวมข้อมูลของ OneAgent และ PurePath ได้ก่อร่างสร้างเป็นคลังขุมทรัพย์ปริมาณมหาศาล ที่ท่านสามารถเลือกเก็บและเข้าถึงได้อย่างรวดเร็วบน Grail ซึ่ง SmartScape จะช่วยให้ท่านมองเห็นรูปแบบความสัมพันธ์ในภาพรวมไปจนถึงปัญหาภายในได้ โดย Davis AI ได้ทำงานเบื้องหลังเหล่านี้ให้ท่านรับทราบแล้วส่วนหนึ่ง ทั้งนี้ องค์กรยังสามารถต่อยอดเพื่อสร้างการจัดการที่อัตโนมัติหรือแก้ปัญหาขององค์กรได้ด้วย AutomationEngine และ AppEngine ที่เริ่มได้ง่าย ๆ ด้วยการทำงานแบบ Low-code/no-code นั่นเอง

สนใจศึกษาข้อมูลเพิ่มเติมได้ที่ https://www.dynatrace.com หรือติดต่อทีมงาน Dynatrace Thailand ได้ที่ https://www.dynatrace.com/contact/

เนื้อหาอ้างอิง

1. https://www.dynatrace.com/news/blog/dynatrace-launches-appengine/
2. https://www.dynatrace.com/news/blog/automationengine-low-code-no-code-automated-workflows/
3. https://www.dynatrace.com/news/blog/what-is-a-data-lakehouse/
4. https://www.dynatrace.com/news/blog/why-you-need-a-data-lakehouse/
5. https://www.dynatrace.com/support/help/platform/oneagent
6. https://www.dynatrace.com/support/help/platform/davis-ai
7. https://www.dynatrace.com/news/blog/what-is-distributed-tracing/
8. https://www.dynatrace.com/support/help/observe-and-explore/purepath-distributed-traces
9. https://www.dynatrace.com/news/blog/hypermodal-ai-dynatrace-expands-davis-ai-with-davis-copilot/