Spanda ลดเวลาประมวลผลได้ถึง 98% ด้วย Rust วัดความไม่แน่นอน LLM แบบเรียลไทม์

ทีมวิจัยเปิดตัว Spanda ระบบโอเพนซอร์สใช้ภาษา Rust วัดความไม่แน่นอนทางความรู้ (epistemic uncertainty) และควบคุมการสร้างข้อมูลเท็จ (hallucination gating) ทำได้ภายใน 760 นาโนวินาที บน CPU ทั้งที่ใช้ทรัพยากรน้อยกว่า Python อย่างมาก (3 MB เทียบกับ 230 MB) ลดเวลาเริ่มต้น (cold start) จาก 1.17 วินาทีเหลือ 3.6 มิลลิวินาที ผลการทดสอบแสดงว่าการคำนวณแบบ exact-match normalized entropy (R_sc) ให้ผลลัพธ์เทียบเท่ากับวิธีอื่นที่ใช้ GPU แต่ไม่ต้องพึ่ง GPU ช่วย ทีมพัฒนาอธิบายว่า Spanda ใช้ DeBERTa ซึ่งมีข้อจำกัดด้านความเร็ว (90ms GPU overhead) แต่สามารถทำงานได้ใน CPU ด้วยความเร็วสูงกว่ามาก พร้อม SDK สำหรับ Python ใช้งานง่ายผ่าน pip install spnda

สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว