Web Agents ใช้ภาพหน้าจอแทน API ปรับตัวได้แม้เว็บเปลี่ยนรูปแบบ

Dhruv Batra อธิบายวิธีที่ web agents ใช้ข้อมูลภาพหน้าจอจากเบราว์เซอร์แทนการพึ่งพา API หรือโครงสร้างเว็บที่กำหนดตายตัว ตัวแทนดังกล่าววิเคราะห์พิกเซล ดำเนินการ และเรียนรู้จากปฏิสัมพันธ์กับเว็บไซต์จริง เมื่อการจัดวางเปลี่ยนแปลง ตัวแทนจะอัปเดตจากข้อมูลใหม่โดยไม่ต้องเขียนโค้ดปรับแต่งด้วยมือ การทดสอบพบว่าบนเว็บไซต์ออกแบบไม่ดี ตัวแทนสามารถนำทางอินเทอร์เฟซได้ดีกว่าผู้พัฒนาเอง เนื่องจากสามารถปรับตัวเข้ากับการเปลี่ยนแปลงได้โดยอัตโนมัติ วิธีนี้ลดข้อจำกัดของโครงสร้างเว็บที่ไม่ยืดหยุ่น ช่วยให้ระบบทำงานได้แม้เว็บมีการปรับปรุงบ่อยครั้ง

สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว