OpenAI ระบุว่าเหตุผลที่ Codex ตั้งค่า context window ที่ 272,000 tokens ไม่ใช่เพื่อควบคุมค่าใช้จ่ายตามข้อกำหนด 2x billing แต่เป็นเพราะต้นทุนการอ่าน cache เพิ่มขึ้นเมื่อขนาด context ใหญ่ขึ้น โดย Thibault Sottiaux ของ OpenAI อธิบายว่า agent ต้องส่ง context ซ้ำทุกครั้งที่เรียกใช้ tool ทำให้ context window ใหญ่ขึ้นส่งผลต่อต้นทุนสะสมใน session ยาว ข้อมูลระบุว่า model ของ Codex มี capacity จริงสูงถึง 1,050,000 tokens แต่ API คิดค่าใช้จ่าย 2x input และ 1.5x output เมื่อเกิน 272,000 tokens รวมทั้ง tokens ที่อยู่ใต้ขีดจำกัดด้วย ขณะที่ผู้ใช้งานรายงานว่า session บางครั้งเริ่ม compact ที่ 245,000 tokens ซึ่งเป็น 90% ของ 272,000 tokens อย่างไรก็ตาม OpenAI วางแผนจะเพิ่ม context window ให้สูงขึ้นโดยไม่กระทบต่อค่าใช้จ่าย แต่ยังไม่มีการประกาศในเอกสารใดๆ ขณะที่ผู้ใช้งานยังเสนอให้เปิดตัวฟีเจอร์ opt-in หรือกลับไปใช้ context window 372,000 tokens ซึ่งเป็นเรื่องที่ยังอยู่ในข้อเสนอแนะเปิดอยู่
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว