นักวิจัยทดสอบ 4 ฟรัมเวิร์ก AI agent (AutoGen, CrewAI, LangGraph, MetaGPT) บนงานเขียนโค้ด Rust ที่มีข้อจำกัด 3 ประการ (ความปลอดภัย ประสิทธิภาพ คุณภาพ) พบว่าฟรัมเวิร์กที่ใช้ LLM-as-a-judge ล้มเหลวทั้งหมด ขณะที่ฟรัมเวิร์กที่ใช้ mechanical grounding (compiler/linter) สร้างผลลัพธ์ที่ใช้งานได้จริง การทดสอบใช้โมเดล Qwen2.5-coder:14b บน RTX A4500 ภายใต้เงื่อนไขเดียวกันทุกฝ่าย (ไม่ใช้ API ภายนอก) พบว่า AutoGen ใช้ 517,000 tokens ในการอภิปรายแต่สร้างโค้ดที่ไม่ตรงโจทย์ ในขณะที่ CrewAI ผ่านการทดสอบแต่ละขั้นตอนแต่ละก็ละเลยข้อกำหนดด้านความปลอดภัย (ไม่ใช้ cryptographic hashing) ผลลัพธ์ชี้ให้เห็นว่า LLM-as-a-judge ไม่สามารถตรวจสอบคุณภาพโค้ดได้แม่นยำเท่าระบบตรวจสอบโดยตรงจากเครื่องมือพัฒนาซอฟต์แวร์ การทดสอบมีเป้าหมายสร้าง middleware สำหรับ Authentication & Rate Limiting ใน Rust ที่ต้องผ่าน 3 ข้อจำกัดพร้อมกัน: ความปลอดภัย (ใช้ cryptographic hashing และป้องกัน timing attack), ประสิทธิภาพ (ความล่าช้าต่ำกว่า 1ms ภายใต้โหลด 10,000 คำขอ) และคุณภาพ (ครอบคลุม unit test 100% และไม่มี warning จาก clippy) ทั้งหมดใช้โมเดล Qwen2.5-coder:14b แบบเดียวกันในสภาพแวดล้อมแยก (sandboxes) โดยห้ามใช้ API ภายนอก พบว่า AutoGen ใช้ทรัพยากรสูงแต่ผลลัพธ์ไม่ตรงโจทย์ ในขณะที่ CrewAI ผ่านขั้นตอนการทดสอบแต่ละขั้นตอนแต่ละก็ละเลยข้อกำหนดด้านความปลอดภัย
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว