กลุ่มบริษัท AI ชั้นนำเตรียมสนับสนุนมาตรฐานใหม่สำหรับบล็อกการเก็บข้อมูลโดย AI

Google, Microsoft, Anthropic และ OpenAI ได้ประกาศแผนการสนับสนุนมาตรฐานใหม่สำหรับการเก็บข้อมูลจากเว็บไซต์ โดยเทคโนโลยีดังกล่าวจะช่วยให้ผู้ดูแลเว็บไซต์สามารถปิดกั้นนักพัฒนา AI ไม่ให้ใช้เนื้อหาของตนในการฝึกฝนโมเดลได้

เว็บไซต์จำนวนมากมีไฟล์ข้อความชื่อ “robots.txt” ซึ่งคอยแจ้งให้โปรแกรมรวบรวมข้อมูลทราบว่าเนื้อหาส่วนใดบ้างที่สามารถเข้าถึงได้ ผู้เผยแพร่เนื้อหาสามารถใช้ไฟล์นี้เพื่อบล็อกการคัดลอกข้อมูลทั้งหมดหรือทำให้บางหน้าเว็บไม่สามารถเข้าถึงได้ นอกจากนี้ยังสามารถระบุคำสั่งอื่น ๆ ได้ด้วย เช่น บริษัทอาจร้องขอไม่ให้โปรแกรมรวบรวมข้อมูลเข้ามาเยี่ยมชมเว็บไซต์บ่อยจนเกินไป

ในอดีต ผู้ดูแลเว็บไซต์ใช้ไฟล์ robots.txt เพื่อจัดการว่าเสิร์ชเอนจินจะโต้ตอบกับเว็บไซต์ของตนอย่างไร แต่ในปัจจุบัน เทคโนโลยีนี้ยังช่วยควบคุมกิจกรรมของโปรแกรมคัดลอกข้อมูลที่ผู้ให้บริการ AI ใช้ในการรวบรวมข้อมูลสำหรับการฝึกฝนอีกด้วย

บริษัทที่ไม่อนุญาตให้มีการคัดลอกข้อมูลเพื่อนำไปฝึกฝนโมเดล จำเป็นต้องแก้ไขไฟล์ robots.txt ของเว็บไซต์หลายครั้ง โดยเฉพาะอย่างยิ่งการเพิ่มรายการแยกสำหรับผู้ให้บริการ AI แต่ละราย หากผู้ให้บริการ AI ใช้โปรแกรมคัดลอกข้อมูลหลายตัวในการรวบรวมข้อมูล แต่ละโปรแกรมจะต้องมีรายการในไฟล์ robots.txt เป็นของตัวเอง

มาตรฐานการรวบรวมข้อมูลที่ Google, Microsoft, Anthropic และ OpenAI กำลังให้การสนับสนุนนี้มีเป้าหมายเพื่อลดความซับซ้อนของกระบวนการดังกล่าว โดยจะช่วยให้ผู้ดูแลเว็บไซต์สามารถบล็อกโปรแกรมคัดลอกข้อมูลทั้งหมดที่รวบรวมข้อมูลสำหรับฝึกฝนโมเดล Generative AI ได้ด้วยการระบุรายการใน robots.txt เพียงรายการเดียว ทั้งนี้ การตั้งค่าดังกล่าวจะไม่มีผลกับโมเดลที่ “ทำงานเฉพาะที่ไม่ใช่การสร้างเนื้อหาใหม่” เท่านั้น

โครงสร้างของไฟล์ robots.txt เป็นไปตามรูปแบบมาตรฐานที่เรียกว่า Robots Exclusion Protocol โดย Google, Microsoft, Anthropic และ OpenAI วางแผนที่จะรวมมาตรฐานการรวบรวมข้อมูลของตนเข้ากับรูปแบบดังกล่าว และได้ยื่นร่างข้อเสนอให้กับ Internet Engineering Task Force ซึ่งเป็นองค์กรไม่แสวงหาผลกำไรที่ดูแล Robots Exclusion Protocol แล้ว

Microsoft ระบุในบล็อกโพสต์ว่าจะมีการตั้งค่าการรวบรวมข้อมูลที่เรียกว่า AI Grounding เพิ่มเติมด้วย ซึ่งออกแบบมาสำหรับสถานการณ์ที่โมเดล AI ต้องการเข้าถึงหน้าเว็บเพื่อตอบคำถามของผู้ใช้แทนที่จะเป็นการรวบรวมข้อมูลเพื่อการฝึกฝน

การตั้งค่าของ Microsoft จะช่วยให้ผู้ดูแลเว็บไซต์สามารถป้องกันไม่ให้บริการของบริษัทส่งคำขอในลักษณะดังกล่าวได้ โดยฟีเจอร์นี้จะครอบคลุมไปถึงเครื่องมือ AI ของบุคคลที่สามที่ใช้เทคโนโลยีของ Microsoft ในการประมวลผลคำสั่งต่าง ๆ อีกด้วย

OpenAI มีแผนที่จะนำเสนอการควบคุมในลักษณะเดียวกัน โดยทั้งผู้พัฒนา ChatGPT และ Microsoft ต่างตั้งใจที่จะเพิ่มการสนับสนุนมาตรฐานการรวบรวมข้อมูลนี้ภายในไม่กี่เดือนข้างหน้า ในขณะที่ Google จะดำเนินการตามมาในปีหน้า ส่วน Meta Platforms ได้แสดงความสนับสนุนต่อแนวคิดเบื้องหลังเทคโนโลยีนี้ แต่ยังไม่ได้ให้คำมั่นว่าจะนำไปใช้งานแต่อย่างใด

ที่มา: https://siliconangle.com/2026/10/30/google-anthropic-and-others-to-support-new-ai-crawling-opt-out-standard/