TechTalkThai ศูนย์รวมข่าว Enterprise IT ออนไลน์แห่งแรกในประเทศไทย
Opera ประกาศเพิ่มฟีเจอร์ใหม่ รองรับการใช้งาน LLM กว่า 150 ตัว ได้แบบ Local บน Web Browser
ภายใต้ AI Feature Drops Program ของ Opera ได้มีการเปิดตัวฟีเจอร์ใหม่ Local LLMs รองรับการใช้งาน Large Language Model (LLM) ภายใน Web Browser ได้ทันที โดยจุดเด่นของการใช้งาน LLM แบบ Local คือ ช่วยลดปัญหาด้าน Privacy เนื่องจากไม่ต้องส่ง Prompt ไปให้ผู้บริการ LLM และยังช่วยลดปัญหาด้าน Latency ที่เกิดจากเครือข่าย ตอบโจทย์นักพัฒนาหรือผู้ใช้งานทั่วไปที่ต้องการทดสอบ LLM หลายตัวพร้อมกัน ปัจจุบัน Opera ได้ใส่ฟีเจอร์นี้เข้ามาแล้วใน Opera One Developer Stream ผู้ที่สนใจสามารถอัปเดต Opera One เป็นเวอร์ชันล่าสุดเพื่อใช้งานได้ทันที
ปัจจุบัน Local LLMs รองรับการใช้งานโมเดลมากกว่า 150 ตัว เช่น Llama, Vicuna, Gemma และ Mixtral การใช้งานเพียงแค่เลือก Local Mode บน Aria Chat และทำการดาวน์โหลดโมเดลที่ต้องการใช้งาน อย่างไรก็ตามแต่ละโมเดลใช้เนื้อที่เก็บข้อมูลประมาณ 2-10 GB แตกต่างกันตามขนาดของโมเดล และความเร็วการตอบสนองขึ้นอยู่กับฮาร์ดแวร์ที่ใช้งาน
ที่มา: https://blogs.opera.com/news/2024/04/ai-feature-drops-local-llms/
