ทีมพัฒนา Open-Cowork สร้างตัวแทนอัตโนมัติสำหรับใช้งานคอมพิวเตอร์ผ่านภาพหน้าจอและอินพุตเมาส์-คีย์บอร์ด ภายใต้ใบอนุญาต MIT ตั้งเป้าแยกวงจรการทำงานของตัวแทนออกจากโมเดลหรือการสมัครสมาชิกใดๆ โดยรองรับโมเดลท้องถิ่นผ่าน Ollama และโมเดลบนคลาวด์จาก OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter พร้อมติดตามการกระทำของโมเดลระหว่างการดำเนินการ วงจรการทำงานหลักคือ จับภาพหน้าจอ ส่งข้อมูลไปยังโมเดล วิเคราะห์การกระทำ ดำเนินการ ตรวจสอบผลลัพธ์ แล้ววนซ้ำจนสำเร็จหรือมีข้อจำกัด ทีมแก้ไขปัญหาที่พบบ่อย 2 ประการ ได้แก่ การตรวจสอบความสามารถของโมเดลในการประมวลผลภาพก่อนเริ่มงาน และระบบตรวจจับการซ้ำซ้อนหรือการหยุดนิ่งเพื่อหยุดการดำเนินการแทนที่จะใช้ทรัพยากรทั้งหมด ผู้ใช้ยังสามารถติดตั้งโมเดลท้องถิ่นผ่าน Ollama ซึ่งจะเก็บข้อมูลภาพและคำขอโมเดลในเครื่อง แต่โมเดลขนาดเล็กมักมีความแม่นยำน้อยกว่าเมื่อต้องจัดการหน้าจอที่ซับซ้อน
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว