Beam ผู้ให้บริการแพลตฟอร์ม AI ประกาศเปิดตัวแพลตฟอร์ม Serverless ที่รองรับ GPU 4090s และ H100s พร้อมตัวอย่างโค้ดสำหรับใช้งานโมเดล LLM ผ่าน API ที่รองรับการประมวลผลแบบ Parallelization ถึง 100 คอนเทนเนอร์ แพลตฟอร์มใช้ Beta9 เป็นเครื่องมือ Open-source ที่ให้ผู้ใช้ตั้งค่าเองได้ฟรี หรือเลือกใช้บริการ Managed ผ่าน Beam ผู้ใช้สามารถสร้างคอนเทนเนอร์แยกต่างหากเพื่อวิ่งโค้ดที่สร้างโดย LLM หรือตั้งค่าอัตโนมัติสำหรับโมเดลที่กำหนดเองได้ พร้อมระบบ Task Queue ที่รองรับการส่งงานแบบ Background ด้วยการตั้งค่าเพียงไม่กี่บรรทัด แพลตฟอร์มยังมีฟีเจอร์ Scale-to-Zero ที่ทำงานแบบ Serverless ตั้งแต่เริ่มต้น
AIServerlessGPULLMBeam
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว