Tokenless บริษัทสตาร์ทอัพสัญชาติไทย ได้เปิดตัว API Gateway ที่ช่วยจัดการการส่งต่อ traffic ระหว่างโมเดล AI แบบไดนามิก เพื่อลดค่าใช้จ่ายด้าน token AI ได้ถึง 50% เมื่อเทียบกับโมเดล Claude Fable 5 ที่มีประสิทธิภาพเทียบเท่า โดยใช้กลยุทธ์การส่งคำขอไปยังโมเดลหลายตัวพร้อมกัน และตัดสินใจเลือกโมเดลที่เหมาะสมกับความซับซ้อนของงาน ทั้งยังจัดการ cache อย่างชาญฉลาดเพื่อรักษาข้อมูลที่ใช้บ่อยไม่ให้สูญเสียเมื่อเปลี่ยนโมเดล ขณะนี้ Tokenless กำลังขยายการรองรับโมเดลอื่นๆ เช่น Kimi K3 และ GPT ทั้งหมด เทคโนโลยีหลักของ Tokenless คือการใช้เทคนิคใหม่ที่ยังไม่มีใครใช้มาก่อน ซึ่งรวมถึงการส่งคำขอไปยังโมเดลหลายตัวพร้อมกัน และใช้ผลลัพธ์จากโมเดลเหล่านั้นเพื่อตัดสินใจ รวมถึงการจัดการ cache อย่างชาญฉลาดเพื่อไม่ให้ข้อมูลที่ใช้บ่อยถูกทำลายเมื่อเปลี่ยนโมเดล ซึ่งช่วยให้บริษัทขนาดใหญ่เช่น Uber และ Salesforce ลดค่าใช้จ่าย AI ที่สูงเกินคาดได้อย่างมีประสิทธิภาพ
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว