Hacker News·
FastRecall เปิดตัวระบบความจำ AI ราคาถูก ลดต้นทุนได้ถึง 50%
FastRecall เปิดตัวระบบความจำสำหรับโมเดล AI ที่ช่วยจัดการข้อมูลบริบทได้เร็ว ไม่มีความล่าช้า และไม่ต้องเสียค่าใช้จ่ายในการเรียกข้อมูล ระบบรองรับการใช้งานกับรูเตอร์และระบบหลายโมเดล ผู้ใช้จ่ายเพียงค่าความจุที่เก็บบนฮาร์ดดิสก์ ซึ่งเป็นส่วนที่มีต้นทุนต่ำที่สุดของระบบ ต่างจากเทคนิคการอัดข้อมูลที่ใช้โมเดล LLM ซึ่งมีความล่าช้าและข้อผิดพลาด ระบบใช้ SOTA model-free compaction เพื่อจัดการข้อมูลบริบทที่ยาวเกิน 1 ล้าน token ช่วยลดต้นทุนการใช้งาน token ได้ถึง 50% ที่สุดเมื่อใช้ร่วมกับระบบแคชของโมเดลเดิม ผู้ใช้สามารถเลือกใช้ฟีเจอร์ FlashCompact ผ่าน API ได้โดยไม่ต้องพึ่งพา API ของโมเดลที่ให้บริการ
AIระบบความจำลดต้นทุน
อ่านต่อ →