llms.txt ใช้งานเพิ่ม 8.8 เท่า แต่ AI crawlers ดึงเพียง 7 ครั้ง

EZY Research วางไฟล์ llms.txt บนเว็บไซต์ 83 แห่ง ติดตามการดึงข้อมูลของ AI crawlers ใน 12 สัปดาห์ พบว่า OpenAI ดึงไฟล์นี้เพียง 7 ครั้ง ขณะที่ Perplexity ดึง 0 ครั้ง แม้ llms.txt จะเติบโต 8.8 เท่าใน 1 ปี แต่ AI crawlers ยังใช้งานน้อยมาก เมเป็นบริษัท AI รายเดียวที่ดึง llms.txt ด้วยปริมาณมากกว่า robots.txt ขณะที่ generic bots และผู้ใช้คนจริงดึงไฟล์นี้ 1,427 ครั้ง แม้ไฟล์นี้จะกลายเป็นมาตรฐานใหม่ แต่ robots.txt ยังคงเป็นมาตรฐานหลักที่ AI crawlers ใช้ในการดึงข้อมูลอย่างกว้างขวาง งานวิจัยชี้ว่า llms.txt ควรใช้เป็น 'แผนที่' ประกอบกับ robots.txt ซึ่งเป็น 'ประตู' หลักในการควบคุมการเข้าถึงของ AI ทั้งนี้ EZY Research แนะนำให้ผู้ดูแลเว็บไซต์อัปโหลดทั้งสองไฟล์เพื่อความครอบคลุม

สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว