Cloudflare เปิดตัว Auto Router บน AI Gateway พร้อมใช้งานในช่วงทดลอง ช่วยลดค่าใช้จ่าย AI ได้สูงสุด 30% โดยระบบจะเลือกโมเดลที่เหมาะสมที่สุดสำหรับแต่ละงานโดยอัตโนมัติ ผู้ใช้ไม่ต้องเลือกโมเดลเอง ผลการทดสอบภายในแสดงให้เห็นประสิทธิภาพใกล้เคียงกับโมเดลระดับแนวหน้า เช่น Sol และ Opus แต่ต้นทุนต่ำกว่า 80% และ 35% ตามลำดับ ระบบทำงานโดยวิเคราะห์รูปแบบคำขอและเลือกโมเดลจากพอร์ตโฟลิโอที่เชื่อมต่อกับ AI Gateway ซึ่งควบคุมการใช้จ่าย นโยบาย และข้อจำกัดอื่นๆ ลดการใช้ทรัพยากรที่ไม่จำเป็น เหมาะสำหรับงานที่ไม่ต้องใช้โมเดลระดับสูงสุด เช่น สรุปอีเมลหรือจัดการข้อมูล ผลการทดสอบแสดงให้เห็นว่า Auto Router ให้ประสิทธิภาพใกล้เคียงโมเดลระดับแนวหน้าในงานทั่วไป แม้ต้นทุนต่ำกว่า แต่ประสิทธิภาพยังคงอยู่ในระดับเดียวกัน แสดงให้เห็นว่าการเลือกโมเดลเหมาะสมช่วยลดต้นทุนโดยรวมได้ AI Gateway ถูกออกแบบให้เป็นศูนย์ควบคุมสำหรับองค์กรที่ใช้ AI ภายใน ช่วยลดค่าใช้จ่ายโดยอัตโนมัติ ขณะที่ยังให้ผู้ใช้เข้าถึงโมเดลระดับสูงเมื่อจำเป็น
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว