ทีมวิจัยพัฒนา LLM Benchmark ใหม่ลดปัญหา Contamination ทดสอบ AI ได้แม่นยำ

นักวิจัยเผยแพร่ LLM Benchmark ใหม่ที่ออกแบบมาเพื่อลดปัญหา Contamination ซึ่งเป็นความผิดพลาดในการประเมินโมเดล AI ที่เกิดจากข้อมูลที่มีอยู่ในตัวโมเดลเอง ตัวอย่างเช่น โมเดลอาจตอบคำถามได้ถูกต้องเพราะเคยเห็นข้อมูลเดียวกันในชุดฝึก ไม่ใช่เพราะความสามารถจริง ตัว benchmark นี้ใช้ข้อมูลที่ไม่ซ้ำกับชุดฝึก ทำให้การทดสอบสะท้อนศักยภาพจริงของโมเดลได้แม่นยำขึ้น ทีมวิจัยชื่อว่า DeepMind ตั้งเป้าแก้ไขข้อบกพร่องของ benchmark ทั่วไปที่ไม่สามารถแยกแยะระหว่างความรู้จากข้อมูลฝึกกับประสบการณ์จริงได้

สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว