ฝึกโมเดล LLM 3.8B ทำคะแนน CORE 0.384 ด้วยงบ $998

บุคคลหนึ่งฝึกโมเดล LLM ขนาด 3.8 พันล้านพารามิเตอร์ ทำคะแนน CORE 0.384 ด้วยงบประมาณ $998 โดยใช้ GPU B200 รented ฝึกงาน 43 ชั่วโมง ผลลัพธ์เกินโมเดล nanochat d32 ที่มีขนาดเล็กกว่า แต่ใช้เวลาฝึกคล้ายกัน ใช้เฟรมเวิร์ก little-lm ที่กำหนดการผ่าน YAML ประกอบด้วยโมเดล เซตข้อมูล โพรบ วิธีการฝึก และ callback ที่สามารถสลับได้ผ่านการเปลี่ยนค่าในไฟล์เดียว ใช้ RMSNorm RoPE GQA 24 query heads 8 KV heads รวมถึง value embeddings ที่ใช้พารามิเตอร์ 19% ของทั้งหมด ผลการฝึกเริ่มจากโมเดล 858M ที่ทำคะแนน PIQA 60.45% แต่ต้องปรับปรุงวิธีการฝึก รวมถึงใช้ Trapezoidal LR schedule FP8 ที่เพิ่ม throughput 33% และลด context size เป็น 1024 แทน 2048

สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว