เมื่อ Benchmark โกหกคุณ, SWE-Bench ProMax กับคะแนนจริงที่โมเดลเก่งสุดทำได้แค่ 41.2%
โดย Nokka (นก-กา), นักเขียนอิสระสายเทคโนโลยี ผู้เขียนบทความอธิบายเทคโนโลยีให้คนทั่วไปเข้าใจ 30+ บทความบน dev.to | 5 กันยายน 2026
บทความนี้เขียนโดย AI (glm-5.3 via ollama-cloud) ผ่าน Hermes Agent ภายใต้การควบคุมและตรวจสอบคุณภาพโดยมนุษย์, Nokka (นก-กา), อ้างอิงจาก paper วิจัย SWE-Bench ProMax บน arXiv ฉบับเต็ม
เลข 90% ที่ทุกค่าย AI โชว์กันในปี 2026 อาจไม่ได้แปลว่าโมเดลเก่งขนาดนั้น paper วิจัยใหม่บน arXiv เปิดตัว benchmark ชื่อ SWE-Bench ProMax แล้วชี้ตัวเลขที่ต่างจากกระแสโดยสิ้นเชิง: เมื่อวัดด้วยงาน refactor จริงข้ามหลายไฟล์หลายภาษา โมเดลที่ดีที่สุดทำได้แค่ 41.2% [1]
แต่ก่อนจะไปถึงตัวเลขใหม่ เรื่องที่ทำให้ paper นี้คุ้มอ่านที่สุดคือส่วนแรก: มันอธิบายว่าทำไมคะแนน benchmark เดิมถึงเชื่อไม่ได้เท่าที่คิด และนี่คือเรื่องเล่าแบบนั้นครับ
ก่อนอื่น, ทำความเข้าใจศัพท์
- SWE-bench Verified: benchmark เก่าที่ใช้กันทั้งอุตสาหกรรม วัดจาก issue จริงบน GitHub ของโปรเจกต์ Python
- Gold patch: เฉลยที่นักพัฒนาตัวจริงเคย commit ไว้ใน repository สาธารณะ
- Data contamination: โมเดลเคยเห็นเฉลยระหว่างเทรนจากข้อมูลสาธารณะ ทำให้ “จำ” ได้แทนที่จะ “คิด”
- Refactoring: การปรับโครงสร้างโค้ดใหม่โดยพฤติกรรมภายนอกเป็นเหมือนเดิมทุกอย่าง
ถ้าให้อุปมา: สนามเดิมเหมือนข้อสอบที่ปล่อยเฉลยไว้ในห้องสมุดสาธารณะมาหลายปี นักเรียนคนไหนตั้งใจท่องห้องสมุดก็ทำข้อสอบได้เกือบเต็ม ส่วนข้อสอบใหม่ของ ProMax คือเขียนโจทย์สดจากงานจริงที่ยังไม่มีใครเคยเฉลยในที่สาธารณะ และบังคับให้แก้ทั้งเมือง ไม่ใช่เพียงบ้านหลังเดียว
สามปัญหาที่ทำให้ benchmark เดิมเชื่อไม่ได้
จากการตรวจสอบ (audit) ที่ paper อ้างถึง ปัญหาของ SWE-bench Verified มีสามชั้นที่ซ้อนกัน [1]
ชั้นที่หนึ่ง: test พังเกือบ 60% ในบรรดาโจทย์ที่โมเดล “ยังแก้ไม่ได้” เกือบ 60% มีปัญหาอยู่ที่ test เอง แบ่งเป็น 35.5% ที่ test แคบเกินไป (โมเดลแก้ถูกแล้วแต่ถูกตัดเพราะวิธีไม่ตรงกับที่คนเขียน test คิด) และ 18.8% ที่ test กว้างเกินไป (ตรวจสิ่งที่โจทย์ไม่เคยบอกให้ทำ) หนักสุดคือ OpenAI ถอด benchmark นี้ออกจากการใช้งานไปแล้วทั้งหมด
ชั้นที่สอง: โมเดลจำเฉลยได้ งานวิจัยพบว่าโมเดล frontier สามารถขึ้นมาซ้ำเฉลยจาก training data ได้เป๊ะๆ พูดง่ายๆ คือข้อสอบรั่วไหลแบบสมบูรณ์ เพราะเฉลยทั้งชุดเคยเปิดเผยสาธารณะบน GitHub มาก่อนหน้าการเทรน
ชั้นที่สาม: งานเล็กเกินไป 86% ของโจทย์ใน benchmark เดิมแก้ไฟล์เดียวเท่านั้น ขณะที่งานจริงของนักพัฒนาคือการแก้ข้ามสิบกว่าไฟล์ประสานกัน ผลคือ benchmark วัด “แก้บั๊กในบ้านหลังเดียว” แต่อ้างว่าวัด “บริหารเมืองทั้งเมือง”
ProMax แก้อย่างไร
ทีมวิจัยสร้าง benchmark ใหม่ด้วยวิธีที่หนักหน่วงกว่าเดิมมาก [1]
มิติ SWE-Bench ProMax สนามเดิม (Verified) จำนวนโจทย์ 170 งาน (คัดมาเข้ม) 500 ภาษา 7 ภาษา (Python, Java, TS, Go, C, C++, Rust) เกือบทั้งหมด Python ขนาดงานเฉลี่ย 11.4 ไฟล์ + 261.6 บรรทัด 86% แก้ไฟล์เดียว โจทย์ เขียนใหม่หมดจาก commit จริง ใช้ issue ดิบจาก GitHub Test มนุษย์รีวิวทุกชุด ตัดพวกแคบ/กว้างเกิน อัตโนมัติตัวอย่างโจทย์ที่หนักที่สุดในชุด: ย้าย framework ซอฟต์แวร์บินของ NASA ชื่อ F’ Prime จาก header แบบ monolithic ไปเป็น entry point รวมใหม่ แตะ 244 ไฟล์ทั้งโค้ดเบส โดยพฤติกรรมตอนรันต้องเหมือนเดิมทุกอย่าง [1]
ผลลัพธ์: ตัวเลขจริงเป็นอย่างไร
พอเอาโมเดล frontier ทั้ง proprietary และ open-weight มาวัดจริง ภาพที่ได้ต่างจากโฆษณาอย่างมีนัยยะ [1]
โมเดล Resolve rate ต้นทุนเฉลี่ยต่อโจทย์ GPT-5.2 41.2% (ดีสุด) $3.60 Claude Sonnet 4.6 38.8% $4.77 GLM-5 36.5% $0.24 Qwen3.5 36.5% $0.78สองข้อค้นพบที่ควรจำ
สองข้อค้นพบที่ผมคิดว่าคนอ่านควรจำ
ข้อแรก ราคาไม่ได้ซื้อความเก่งเสมอไป Claude Sonnet 4.6 ใช้เงินเฉลี่ย 4.77 ดอลลาร์ต่อโจทย์แต่แก้ได้ 38.8% ขณะที่ GLM-5 โมเดล open-weight จากจีนทำได้ใกล้เคียงที่ 36.5% ด้วยงบเพียง 24 เซนต์ คือต่างกันเกือบ 20 เท่าในราคาเพื่อความเก่งที่ต่างกัน 2 จุด ข้อสรุปของทีมวิจัยคือโมเดลเปิดกำลังตามติดระดับ frontier ในราคาเศษเสี้ยว
ข้อสอง โหมดล้มเหลวหลักคือการประสานข้ามไฟล์ การวิเคราะห์ trajectory พบว่าพอโมเดลล้ม มักล้มแบบเดียวกันหมด: แก้ไฟล์น้อยกว่าที่เฉลยต้องการ แต่คุยกับตัวเองหลายรอบกว่าปกติ แปลว่าปัญหาไม่ใช่ความฉลาดต่อครั้งคิด แต่คือการรักษาสภาพ “มองเห็นภาพทั้งเมืองไปตลอด” ที่ยังเป็นกำแพงจริงของงาน long-horizon
เชื่อมกับสิ่งที่เราคุยกันมาทั้งสัปดาห์
ผมชอบที่งานวิจัยนี้มาตอบข้อสงสัยที่ผมทิ้งไว้ในบท GPT-6 Astra พอดี เมื่อวานผมเขียนเตือนไว้ว่าตัวเลข benchmark ทั้งหมดมาจากการวัดของค่ายเอง วันนี้ paper อิสระฉบับนี้ยืนยันด้วยหลักฐานว่าความสงสัยนั้นมีมูล และวัดใหม่ให้ดูว่าพอเอาข้อสอบที่สดและยากจริงมา คะแนนลดจาก 90% เหลือ 41% [1]
มันยังเชื่อมกับบท long-running agents ที่เล่าว่าวงการกำลังปรับจูนโมเดลให้ทำงานยาวได้: ตัวเลข 41.2% คือคำตอบว่าการทำงานยาวแบบข้ามหลายไฟล์ยังห่างจาก “เก่งจริง” แค่ไหน และการวิเคราะห์ failure mode บอกว่าอนาคตการพัฒนาไม่น่าโฟกัสที่ความฉลาดต่อคำสั่ง แต่ที่การรักษาบริบทข้ามไฟล์
ข้อควรระวังในการอ่านงานวิจัยนี้เอง
เพื่อความสมดุล จุดที่ควรรู้ก่อนเชื่อ 41.2% เต็มๆ: benchmark ชุดนี้ตั้งใจเลือกงานหนัก โดยกรองงานเล็กออกไปตั้งแต่ต้น ดังนั้นมันไม่ใช่ตัวชี้วัด “งานทั่วไป” แต่คือตัวชี้วัด “เพดานบนของงานยาก” นักพัฒนาส่วนใหญ่ในชีวิตจริงยังเจองานแก้บั๊กเดี่ยวมากกว่า refactor 244 ไฟล์อยู่ดี และตัวเลข 170 โจทย์ถือว่าเล็กเมื่อเทียบกับ benchmark อื่น ทีมวิจัยเองก็ยอมรับว่านี่คือจุดเริ่มต้นของสนามใหม่ที่ยังต้องขยาย
สรุปมุมมองของผม
ผมมองว่า paper นี้สำคัญกับคนสองกลุ่ม
กลุ่มนักพัฒนาที่เลือกโมเดล
กลุ่มนักพัฒนาที่เลือกโมเดล: ตัวเลข GLM-5 ที่ 36.5% ในราคา 24 เซนต์คือสัญญาณตลาดที่ชัดที่สุดในปีนี้ สำหรับงาน refactor ทั่วไปที่ไม่ต้องการความแม่นสุดขั้ว โมเดลเปิดราคาเศษเสี้ยวอาจเป็นคำตอบเชิงประหยัดกว่าที่คิด ลองวัดกับงานจริงของทีมก่อนเชื่อโฆษณาฝั่งไหนก็ได้
กลุ่มคนที่ตามข่าว AI: กติกาใหม่ของการอ่านตัวเลขคือ ถามสามคำถามก่อนเชื่อทุกครั้ง: โจทย์ใหม่หรือเก่า (เสี่ยง contamination ไหม), ใครเป็นคนวัด (ค่ายเองหรืออิสระ), และขนาดงานเทียบงานจริงเป็นเท่าไหร่ คะแนนที่ผ่านคำถามทั้งสามเท่านั้นที่คุ้มนำไปตัดสินใจซื้อหรือวางระบบจริง
คำถามชวนคุย: ทีมของคุณเคยนำ benchmark สาธารณะมาทดสอบกับงานจริงของตัวเองไหม แล้วผลต่างจากคะแนนโฆษณามากน้อยแค่ไหน คอมเมนต์แลกเปลี่ยนกันได้ครับ
ถ้าชอบบทความแนววิเคราะห์งานวิจัย AI แบบอ่านต้นฉบับจริง ติดตาม Nokka ได้ที่ dev.to/sarantoon
📚 อ่านต่อในซีรีส์เดียวกัน: ผมเพิ่งเขียนเรื่อง GPT-6 Astra ที่ตั้งข้อสงสัยเรื่อง benchmark จากค่ายเอง และเรื่องโมเดลที่ทำงานทั้งสัปดาห์ได้ สามเรื่องนี้ต่อกันเป็นภาพเดียว (ส่วนประกอบ benchmark อย่าง Terminal-Bench ก็ถูกยกมาเทียบใน paper เดียวกัน [2])
แหล่งอ้างอิง
[1] arXiv. “SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring”. 2026. https://arxiv.org/abs/2608.09802
[2] Terminal-Bench. “Terminal-Bench 4.0 Leaderboard”. 2026. https://www.tbench.ai/
บทความนี้วิเคราะห์จาก paper วิจัย SWE-Bench ProMax ฉบับเต็มบน arXiv (ผมอ่านเนื้อหาจริง 92,827 ตัวอักษรระหว่างการค้นคว้า) ข้อมูล ณ 5 กันยายน 2026 Nokka