Mesh LLM เปิดตัวระบบ AI กระจายศูนย์ที่ใช้ GPU ของผู้ใช้ในเครือข่ายหลายเครื่อง แทนการพึ่งพาเซิร์ฟเวอร์กลาง ช่วยลดต้นทุนการใช้งาน LLM ได้ถึง 50% โดยเปิดให้ใช้งานผ่าน API แบบ OpenAI-compatible ล่าสุด ระบบจัดการคำขอผ่าน 3 วิธี: ประมวลผลที่เครื่องที่ใช้งาน (local), ส่งไปประมวลผลที่เครื่องอื่นในเครือข่าย (peer), หรือแบ่งงานไปประมวลผลหลายเครื่องพร้อมกัน (split) สำหรับโมเดลขนาดใหญ่ มีโหมด 'split' ที่แบ่งงานการประมวลผลแบบ horizontal scaling ผ่าน iroh's peer-to-peer network ที่ใช้โปรโตคอล secure transport แบบ end-to-end encryption ซอฟต์แวร์ที่ใช้ติดตั้งบนเครื่องผู้ใช้มีขนาดเบา รองรับการใช้งาน LLM ที่มีขนาด token มากกว่า 100B โดยไม่ต้องพึ่งพาโครงสร้างพื้นฐานของคลาวด์ ผู้ใช้สามารถควบคุมการฝึกโมเดลและปรับแต่งการใช้งานได้โดยตรง Mesh LLM ใช้ iroh's peer-to-peer network ที่ทำหน้าที่เป็น node สำหรับทุกเครื่องในเครือข่าย ไม่ว่าจะเป็นเครื่องที่ส่งคำขอหรือประมวลผล ระบบยังรองรับการติดตั้งโมเดลขนาดใหญ่ถึง 235B parameters โดยแบ่งงานประมวลผลเป็น stages ผ่านการ partition โมเดลตามช่วง layer แล้วส่งต่อไปยังเครื่องในเครือข่ายแบบ pipeline ผู้ใช้สามารถเรียกใช้โมเดลผ่าน OpenAI client ที่ตั้งค่าเป็น http://localhost:9337/v1 ได้โดยไม่ต้องรู้ว่าโมเดลประมวลผลที่ไหน ระบบยังรองรับการฝึกโมเดลและปรับแต่งการใช้งานได้โดยตรง รวมถึงการแชร์ทรัพยากรการประมวลผลแบบ private หรือ public ได้ตามความต้องการ
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว