บริษัท llm-d ปล่อยเวอร์ชัน v1.0 ซึ่งเป็นเฟรมเวิร์กอินฟีเรนซ์ที่รองรับการใช้งานจริงในระดับอุตสาหกรรม หลังพัฒนาจากนักพัฒนา 500 คนจากองค์กร 25 แห่ง ระบบรองรับ GPU ของ NVIDIA, AMD, Intel และ Google TPU พร้อมการทำงานร่วมกับเซิร์ฟเวอร์แบบ Open-source เช่น vLLM และ SGLang องค์กรใหญ่หลายแห่ง เช่น Google, AWS, DigitalOcean, Oracle, Tesla และ Red Hat ทดสอบและใช้งานจริง พบประสิทธิภาพเพิ่มขึ้น 70% บางกรณีลดต้นทุนได้ถึง 11.5 เท่า ระบบรองรับอัปเดตโดยไม่กระทบการให้บริการ ช่วยลดข้อจำกัดด้านฮาร์ดแวร์และคลาวด์ ทำให้เหมาะกับการใช้งานในสภาพแวดล้อมที่มีความต้องการสูง llm-d v1.0 ออกแบบมาเพื่อจัดการงานซับซ้อน เช่น การให้บริการหลายผู้ใช้พร้อมกัน การประมวลผลแบบขนาน และปรับตัวต่อการเปลี่ยนแปลงระบบโดยไม่ต้องหยุดทำงาน ระบบรองรับการประมวลผลที่มีประสิทธิภาพสูงในสภาพแวดล้อมจริง ทำให้เหมาะกับองค์กรที่ต้องการขยายความจุการประมวลผลแบบกระจาย ช่วยลดต้นทุนระยะยาวและเพิ่มความยืดหยุ่นในการเลือกเครื่องมือทั้งคลาวด์สาธารณะและเครือข่ายภายในองค์กร
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว