นักวิจัยเปิดตัว SWE-sweep ตัวชี้วัดใหม่สำหรับ AI ที่ต้องค้นหาและซ่อมแซมบั๊กในโค้ดขนาดใหญ่โดยไม่รู้ประเภทหรือตำแหน่งของข้อผิดพลาด ตัวอย่างงานทดสอบใช้โค้ดโอเพนซอร์สที่มีบั๊กหลายประเภท ผู้ใช้ AI ต้องอ่านโค้ดเพียงอย่างเดียวแล้วค้นหาแก้ไขโดยไม่ได้รับข้อมูลเพิ่มเติม ชุดข้อมูลทดสอบมีเกณฑ์เฉพาะ เช่น บั๊กต้องตรวจสอบได้จากโค้ดเดียว ไม่ขัดแย้งกับการทดสอบเดิม และต้องมีหลักฐานว่าผู้รักษาโค้ดเห็นว่ามีปัญหา ทำให้ AI ต้องเข้าใจโค้ดลึกซึ้งเพื่อแก้ไขได้โดยไม่สร้างปัญหาใหม่ SWE-sweep วัดผลโดยให้ AI แก้ไขบั๊คที่ซ่อนอยู่ในโค้ดแล้วตรวจสอบความถูกต้องผ่านการทดสอบที่ซ่อนไว้ รวมถึงตรวจสอบว่าไม่มีปัญหาใหม่เกิดขึ้นจากการแก้ไข ตัวอย่างการทดสอบใช้ข้อมูลจาก issue-pull request ของโค้ดจริง แล้วเลือก commit ที่มีบั๊กหลายประเภทรวมกัน ตัวชี้วัดประเมินผลโดยนับจำนวนบั๊กที่ AI แก้ไขได้จากทั้งหมดในแต่ละ repository และตรวจสอบว่าไม่มีการล่มระบบจากการแก้ไข การสร้างชุดข้อมูลใช้กระบวนการคัดเลือก commit ที่มีบั๊กซ่อนอยู่หลายประเภท พร้อมกับตรวจสอบว่าการแก้ไขสามารถทดสอบได้จากโค้ดเดียวกัน ตัวชี้วัดยังต้องการให้ AI ทำงานโดยไม่รู้ข้อมูลเพิ่มเติม ทำให้ต้องเข้าใจโค้ดอย่างลึกซึ้งเพื่อแก้ไขได้โดยไม่สร้างปัญหาใหม่
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว