นักวิจัยฝึกโมเดล continual learning ชื่อ mini-AGI บนแล็ปท็อป RTX 3070 ใช้ข้อมูล 35% ของ 40 GB ต้นทุนลดลง 98% เมื่อเทียบกับ GPT-2 ด้วยเทคนิค paging experts ลด VRAM ลงเหลือ 5.1 GB ขณะที่ GPT-2 ใช้ 40 GB โมเดล mini-AGI แสดงประสิทธิภาพสูงกว่า GPT-2 ทุกขนาดในข้อมูล enwik9 ที่ใช้ 2.8 GB ต้นทุน $56 ต่ำกว่า GPT-2 Small ที่ต้องใช้ 40 GB ต้นทุน $3k แม้จะมี bits/byte ต่ำกว่าเล็กน้อย แต่ต้นทุนลดลงถึง 98% แสดงถึงความเป็นไปได้ของ continual learning ที่ประหยัดทรัพยากร ผลการฝึกยังไม่สมบูรณ์ ต้องฝึกต่อเพื่อเพิ่มประสิทธิภาพ ขณะที่โมเดลที่ฝึกบน PG19 ยังไม่ได้รับการฝึกในข้อมูลนี้ ทำให้ mini-AGI ยังไม่ได้รับการทดสอบในชุดข้อมูลนี้ แต่แสดงศักยภาพในการปรับตัวต่อข้อมูลใหม่ได้ดี วิธีการฝึกใช้ NVMe drive เก็บโมเดล 1.26B parameters แยกเป็น 397 experts ลดการใช้ VRAM ลง 90% ขณะที่โมเดลทั่วไปต้องใช้ VRAM มากกว่า 10 เท่า ทำให้ mini-AGI ฝึกได้ในอุปกรณ์ทั่วไป ลดข้อจำกัดด้านทรัพยากร
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว