Microsoft เปิดโอเพ่นซอร์สอัลกอริทึมใน Bing Search

Microsoft ได้เปิดโอเพ่นซอร์สส่วนสำคัญใน Bing Search อย่างอัลกอริทึม Space Partition Tree and Graph (SPTAG) มาให้ผู้สนใจเข้าไปศึกษากันได้แล้วครับ โดยหวังว่าจะเป็นประโยชน์ให้นักพัฒนานำไปต่อยอดในโปรเจ็คอื่นๆ ต่อไป

สำหรับส่วนประกอบที่ Microsoft เปิดในครั้งนี้คือไลบรารี่และโมเดล AI ที่ใช้ใน Bing Search โดยส่วนประกอบที่เป็นหัวใจของไลบรารี่คืออัลกอริทึม SPTAG นั่นเองที่ทำให้สามารถค้นหาข้อมูลหลายพันล้านส่วนได้ในเวลาไม่กี่วินาที (รูปประกอบด้านบน) อย่างไรก็ตาม Vector Search ไม่ใช่เรื่องใหม่เพียงแต่ Microsoft ได้ประยุกต์ให้คอนเซปต์นี้ทำงานร่วม Deep Learning เท่านั้น

โดยเริ่มแรกก็จะแปลงข้อมูลเป็น Vector (เรื่องเวกเตอร์ที่เรียนในสมัยมัธยม ยกตัวอย่างง่ายๆ เช่น Yes-No ก็ Encode เป็น 0 หรือ 1) และเทรนโมเดลขึ้นมา จากนั้นก็จากใช้ไลบรารี่ SPTAG สร้าง Vector index ขึ้นมา ดังนั้นเมื่อมี Query เข้ามาก็จะมีการแปลงสิ่งที่ต้องการค้นหาสู่ระบบ Vector ก่อนและใช้ Library ค้นหาสิ่งที่เกี่ยวข้อง

อย่างไรก็ตามวิธีการทางเทคนิคผู้สนใจสามารถเข้าไปชมได้บน GitHub ครับ นอกจากนี้ไลบรารี่ตัวนี้เป็น license จาก MIT ซึ่งจะวิธีการนำไปใช้สามารถติดตามได้ที่นี่ หรือชมวีดีโอแนะนำจาก Microsoft ได้ตามด้านล่าง

ที่มา : https://techcrunch.com/2019/05/15/microsoft-open-sources-a-crucial-algorithm-behind-its-bing-search-services/